Multiagent Systems Einführung: Kommunikation

Präsentation zum Thema: "Multiagent Systems Einführung: Kommunikation"—  Präsentation transkript:

1 Multiagent Systems Einführung: Kommunikation
Computation Intelligence Seminar A Helmut GRABNER Multiagent Systems Einführung: Kommunikation Multiagent Systems: A Survey from a Machine Learning Perspective [Peter Stone, Manuela Veloso 2000]

2 Übersicht Kurze Wiederholung Homogeneous Communication MA
Beispiel: Reaktives Multiagentensystem Heterogeneous Communication MA Interaktionen Multiagent Q-Learning

3 Wiederholung - Einteilung

4 Homogeneous Communicating Multiagent Systems

5 Homogeneous Communicating Multiagent Systems Allgemein
Agenten können direkt (!) miteinander kommunizieren gleicher Aufbau, nur Input variiert

6 Homogeneous Communicating Multiagent Systems Beispiel: Pursuit domain
[Stephen, Merx 1990] Kommunikation um sicherzustellen, dass jeder an eine andere „Capture-Pos.“ fährt. (vgl. Homogeneous no communication.)

7 Homogeneous Communicating Multiagent Systems Aufgaben/Fragen
Verteiltes erfassen von Informationen Trafficopter Fragen Was, wann, wie und mit wem soll kommuniziert werden? Sensorinformationen/Ziele

8 Communication in Reactive Multiagent Robotic Systems
Homogeneous Communicating Multiagent Systems Reaktives Multiagentensystem Beispiel Communication in Reactive Multiagent Robotic Systems [Balch, Arkin 1994]

9 Beispiel: Reaktives Multiagentensystem Inhalt
Kommunikationsmethoden no communication State communication Goal communication Aufgaben Futtersuche (Forage – Task) Abgrasen (Graze – Task) Umgebung 2D, Roboter, Hindernisse, Arttraktoren Zusammenfassung

10 Agent (Roboter) als Automat
Beispiel: Reaktives Multiagentensystem - Kommunikationsmethode No communication Agent (Roboter) als Automat keine direkte Kommunikation, Jeder Agent ist auf seine Wahrnehmung der Welt beschränkt Unterscheidungen: andere Agenten (Roboter), Arttraktoren, Hindernisse

11 Kein direktes Senden, andere können den Zustand aber abfragen
Beispiel: Reaktives Multiagentensystem - Kommunikationsmethode State Communication Kein direktes Senden, andere können den Zustand aber abfragen Agenten erkennen den Status eines anderen Agent hat „Arbeit“ gefunden Agent fährt zu demjenigen

12 Explizite Kommunikation
Beispiel: Reaktives Multiagentensystem - Kommunikationsmethode Goal Communication Explizite Kommunikation Position des Arttraktors Sender – Übertragung – Empfänger Biologie: Honigbiene – Tanz Roboter fährt direkt zum Arttraktor eventuell kürzerer Weg

13 Beispiel: Reaktives Multiagentensystem - Aufgabe Forage-Task
Roboter sucht die Umgebung nach „Futter“ (Arttraktoren) ab und bringt diese „nach Hause“ Hindernisse in der Umgebung Die Masse eines Arttraktors bestimmt, wie schnell er transportiert werden kann. Mehrere Roboter gemeinsam können dies beschleunigen.

14 State und Goal communication
Beispiel: Reaktives Multiagentensystem – Aufgabe Forage-Task Kommunikationsmethoden No communication Automat State und Goal communication Realisiert mit 1 Bit: „Suchen“ oder „hinbewegen“ / „nach Hause“

15 5145 Schritte 4470 Schritte 3495 Schritte
Beispiel: Reaktives Multiagentensystem – Aufgabe Forage-Task Vergleiche 5145 Schritte 4470 Schritte 3495 Schritte

16 Roboter (1..5) x Arttraktoren (1..7) Steps (Zeitschritte)
Beispiel: Reaktives Multiagentensystem – Aufgabe Forage-Task Vergleichsmaß Roboter (1..5) x Arttraktoren (1..7) Steps (Zeitschritte) Vergleich (Division) der beiden Messungen (Speedup Vergleich) Mittelwert

17 Beispiel: Reaktives Multiagentensystem – Aufgabe Forage-Task Auswertung
Verbesserung Mittelwert beste schlechteste State vs. no 16 % 66 % -5 % Goal vs. no 19 % 59 % -7 % Goal vs. State 3 % 34 % -19 %

18 Beispiel: Reaktives Multiagentensystem – Aufgabe Graze-Task
„Abgrasen“ der gesamten Umgebung Hindernisse in der Umgebung

19 State und Goal communication
Beispiel: Reaktives Multiagentensystem – Aufgabe Graze-Task Kommunikationsmethoden No communication Automat State und Goal communication Realisiert mit 1 Bit: „Suchen“ oder „hinbewegen“ / „weiden“

20 Beispiel: Reaktives Multiagentensystem – Aufgabe Graze-Task Auswertung
Verbesserung Mittelwert beste schlechteste State vs. no 1 % 19 % 0 % Goal vs. no Goal vs. State Kommunikation bringt fasst nichts Wenn der Roboter „grast“ hinterlässt er unvermeidlich eine „Spur“ -> Diese Änderung der Umgebung kann als indirekte Kommunikation verstanden werden!

21 Beispiel: Reaktives Multiagentensystem Zusammenfassung
Kommunikation bringt viel, bei Anwendungen mit wenig impliziter Kommunikation (Forage) Kommunikation ist nicht notwendig, bei Anwendungen wo (viel) implizite Information vorhanden ist. Komplexere Kommunikationsstrategien bringen relativ kleinen Gewinn

22 Heterogeneous Communicating Multiagent Systems

23 Heterogeneous Communicating Multiagent Systems Allgemein
Verschieden auf jegliche Art sehr komplex und leistungsstark (allgemeinster Fall) Wohlwollend vs. Wettbewerb

24 Heterogeneous Communicating Multiagent Systems Beispiel: Pursuit domain
Extremfall: Ein „intelligenter“ Agent steuert mehrere ausführende (single agent)

25 Heterogeneous Communicating Multiagent Systems Aufgaben/Fragen
Untereinander verstehen Wohlwollend vs. Wettbewerb Trainer Verhandlungen Temperaturkontrolle Verpflichtungen Ressource Management

26 Interaktion

27 Möglichkeit zur Abstimmung von Aktionen
Interaktion Wozu? Möglichkeit zur Abstimmung von Aktionen Alternative: vollständige wechselseitige Modellierung bei homogenen: Modell der internen Zustände bei heterogenen: Komplizierter - Ziel, Aktionen, Wissen der anderen Agenten sind möglicherweise nicht bekannt und müssen durch Beobachtung modelliert werden.

28 Maximieren des Gesamtergebnisses
Interaktion Ziele Maximieren des Gesamtergebnisses Sicherstellung des Bestehens und der Leistungsfähigkeit des Gesamtsystems Arbeitsteilung (Bestimmung gemeinsamer Ziele/Aufgaben) Vermeidung von Redundanzen Abhängigkeiten der Aktionen der einzelnen Agenten (Reihenfolge) Behandlung von Interferenzen und Konflikten („widersprüchliche“ Ziele) Vermeidung unnötiger Konflikte Kombination unterschiedlichen Wissens Erfüllungen von Nebenbedingungen (z.B. begrenzte Ressourcen)

29 ? Speech acts Kommunikation „extra - Environment“
Interaktion Wie? Speech acts Kommunizieren mittels Aktionen Kommunikation „extra - Environment“ ?

30 Interaktion Begriffe Interaktion: Wechselbeziehung, bes. die Kommunikation zw. Individuen innerhalb einer Gruppe. Kommunikation: Prozess der Mitteilung; der wechselseitige Austausch von Gedanken, Meinungen, Wissen, Erfahrungen und Gefühlen sowie die Übertragung von Nachrichten und Informationen Koordination: Abstimmen verschiedener Vorgänge Kooperation: Zusammenarbeit Konkurrenz: Wettbewerb

31 Interaktion Agenteninteraktion
Kommunikation (communication) Verständigung mehrerer Agenten untereinander Koordination (coordination) jene Kommunikation welche zur aufgabenbezogenen Tätigkeit notwendig ist Kooperation (cooperation) jene Kommunikation welche zur Koordination und Vereinbarung gemeinsamer Ziele notwenig ist Verhandlung (negotiation) jene Kommunikation für die Aushandlung der Kompromisse

32 Interaktion Kommunikationstypen
keine Kommunikation indirekte Kommunikation Austausch von Information über einen gemeinsamen Informationsraum (Umwelt) einfache Kommunikation individueller Austausch von einfachen Nachrichten bzw. Ereignissen Kommunikation basierend auf Konversation Austausch von strukturierten Nachrichten Konversationstheorie: Äußerungen werden mit Handlung gleichgesetzt (Sprechen ist eine Art Aktion) und wie sie die Zukunft verändern (Ich verurteile Sie zu...)

33 Interaktion Agentenkommunikation
Voraussetzungen für erfolgreiche Kommunikation (heterogene Agenten) Gemeinsame Ontologie Gemeinsame Begriffsmenge (Vokabular) Gemeinsame Semantik für diese Begriffe Gemeinsame Kommunikationssprache in Syntax und Semantik Technische Voraussetzungen (Übertragungskanäle,..)

34 Interaktion Knowledge Interchange Format (KIF)
Zwischensprache zur Übersetzung einer Wissensbasis von einer Repräsentation zu einer anderen. Muss mächtig genug sein, um alle in der Sprache formierten Wissensinhalte zu transportieren Deklarative Semantik Bedeutung von Ausdrücken mittels Interpretation über Modelle (logisch verwertbar) (Common Lisp ähnlich)

35 Interaktion Knowledge Query and Manipulation Language (KQML)
spezifiziert ein Nachrichtenformat zum Austausch von Informationen Nachricht wird in eine Struktur gebracht, die von jedem Agenten verstanden wird. Die Nachricht selbst jedoch muss nicht unbedingt verstanden werden. 3 Ebenen Inhaltsebene aktueller Nachrichteninhalt (z.B.: in KIF) Nachrichtenebene spezifiziert den Nachrichtentyp/Nachrichtenparameter (Fragen, Mitteilen, „tu was“, Benachrichtigen,...) Kommunikationsebene Sender/Empfänger

36 Interaktion Simple Knowledge Transfer Protocol (SKTP)
content SKTP message communication application ISO/OSI presentation session transport network data link physical Inhaltsebene (content Layer) Inhalt der Nachricht. Das in „Wörtern“ ausgedrückte „Wissen“ Nachrichteneben (message Layer) Nachrichtentyp, Thema der Nachricht Kommunikationsebene (communication Layer) Daten aus der KQML Nachricht für die Datenübertragung (Adressen)

37 Interaktion Beispiel: KQML
Nachrichtenebene Kommunikationsebene Inhaltseben (ask-one : sender helmut : receiver boerse_server : replay-with euro_kurs : content (WERT EURO_DOLLAR ?wert) : language Prolog : ontology Boerse) (tell : sender boerse_server : receiver helmut : in-replay-to euro_kurs : content (WERT EURO_DOLLAR ) : language Prolog : ontology Boerse) Nachrichtentypen: Anfragen: ask-one, ask-all,... Antworten: replay, sorry,... Informationsverm.: tell,... Funktionsangebot: advertiese,... Zustand: ready, standby,...

38 Interaktion Koordination von Agenten
Welcher Agent soll was machen – Verteilte Künstliche Intelligenz Kooperation Notwendig? Selbstsüchtig Delegieren von Aufgaben (hierarchische Strukturen) Konkurrenz Marktmechanismus Gegenseitige Kooperation (Abmachungen) Manager - mehrere Anbieter keine zentrale Kontrolle jeder Partner evaluiert Information aus seinem Standpunkt

39 Interaktion Koordinationsvarianten
direkter Nachrichtenaustausch (point to point) message parsing Klassisch: Verbindungsarten (Client/Server), Protokolle, Synchronisation,... Blackboard (broadcast) Verwendung von gemeinsamen Datenstrukturen (shared memory) Agent entscheidet wann und was er bekannt gibt und ob er wann und welche Informationen sucht und diese bewertet Synchron und Asynchron Meeting

40 Multiagent Q-Learning
Beispiel für die Komplexität, ohne Theorie Multiagent Q-Learning [Hu, Wellmann 2002]

41 Multiagent Q-Learning Multiagent Q-Learning
Was soll in dem aktuellen Zustand gemacht werden? Join Action Values Ein Agent muss n Q-Tables (eine für ihn und je eine für die anderen Agenten - Modellierung) erstellen

42 Multiagent Q-Learning Singleagent vs. Multiagent
Q-Function Optimal Q-value aktueller Reward + zukünftige Rewards wenn die optimale Strategie verwendet wird aktueller Reward + zukünftige Rewards wenn alle Agenten die optimale Strategie (Nash-Gleichgewicht) verwenden werden

43 Multiagent Q-Learning Beispiel
Agent 1 und Agent 2 jeweils in die diagonale Ecke Gewinner: der als erster angekommen ist (oder beide zugleich – Ziel) kein Zusammenstoß

44 Beispiel: Multiagent Q-Learning States,...
States: 9 x 9 Anfangszustand (0, 2) Aktionen: 4 Q Table: 81 x 4 = 324

45 Beispiel: Multiagent Q-Learning Ergebnis
im Zustand (0, 2) Agent 2 Links Hinauf Agent 1 Rechts 86, 87 83, 85 96, 91 95, 95 Spieltheorie Nash Gleichgewicht Wie kann Kooperation aus Handlungen von Egoisten entstehen? Bimatrix-game (Gefangenen Dilemma)

46 Multiagent Q-Learning Komplexität
m = Anzahl der Zustände n = Anzahl der Agenten A = möglichen Aktionen Ein Agent muss n Q – Functions lernen!