Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Multiagent Systems Einführung: Kommunikation Multiagent Systems: A Survey from a Machine Learning Perspective [Peter Stone, Manuela Veloso 2000] Computation.

Ähnliche Präsentationen


Präsentation zum Thema: "Multiagent Systems Einführung: Kommunikation Multiagent Systems: A Survey from a Machine Learning Perspective [Peter Stone, Manuela Veloso 2000] Computation."—  Präsentation transkript:

1 Multiagent Systems Einführung: Kommunikation Multiagent Systems: A Survey from a Machine Learning Perspective [Peter Stone, Manuela Veloso 2000] Computation Intelligence Seminar A Helmut GRABNER

2 Übersicht Kurze Wiederholung Homogeneous Communication MA Beispiel: Reaktives Multiagentensystem Heterogeneous Communication MA Interaktionen Multiagent Q-Learning

3 Wiederholung - Einteilung

4 Homogeneous Communicating Multiagent Systems

5 Homogeneous Communicating Multiagent Systems Allgemein Agenten können direkt (!) miteinander kommunizieren gleicher Aufbau, nur Input variiert

6 Homogeneous Communicating Multiagent Systems Beispiel: Pursuit domain [Stephen, Merx 1990] Kommunikation um sicherzustellen, dass jeder an eine andere Capture-Pos. fährt. (vgl. Homogeneous no communication.)

7 Homogeneous Communicating Multiagent Systems Aufgaben/Fragen Aufgaben Verteiltes erfassen von Informationen Trafficopter Fragen Was, wann, wie und mit wem soll kommuniziert werden? Sensorinformationen/Ziele

8 Homogeneous Communicating Multiagent Systems Reaktives Multiagentensystem Beispiel Communication in Reactive Multiagent Robotic Systems [Balch, Arkin 1994]

9 Beispiel: Reaktives Multiagentensystem Inhalt Kommunikationsmethoden no communication State communication Goal communication Aufgaben Futtersuche (Forage – Task) Abgrasen (Graze – Task) Umgebung 2D, Roboter, Hindernisse, Arttraktoren Zusammenfassung

10 Beispiel: Reaktives Multiagentensystem - Kommunikationsmethode No communication Agent (Roboter) als Automat keine direkte Kommunikation, Jeder Agent ist auf seine Wahrnehmung der Welt beschränkt Unterscheidungen: andere Agenten (Roboter), Arttraktoren, Hindernisse

11 Beispiel: Reaktives Multiagentensystem - Kommunikationsmethode State Communication Kein direktes Senden, andere können den Zustand aber abfragen Agenten erkennen den Status eines anderen Agent hat Arbeit gefunden Agent fährt zu demjenigen

12 Beispiel: Reaktives Multiagentensystem - Kommunikationsmethode Goal Communication Explizite Kommunikation Position des Arttraktors Sender – Übertragung – Empfänger Biologie: Honigbiene – Tanz Roboter fährt direkt zum Arttraktor eventuell kürzerer Weg

13 Beispiel: Reaktives Multiagentensystem - Aufgabe Forage-Task Roboter sucht die Umgebung nach Futter (Arttraktoren) ab und bringt diese nach Hause Hindernisse in der Umgebung Die Masse eines Arttraktors bestimmt, wie schnell er transportiert werden kann. Mehrere Roboter gemeinsam können dies beschleunigen.

14 Beispiel: Reaktives Multiagentensystem – Aufgabe Forage-Task Kommunikationsmethoden No communication Automat State und Goal communication Realisiert mit 1 Bit: Suchen oder hinbewegen / nach Hause

15 Beispiel: Reaktives Multiagentensystem – Aufgabe Forage-Task Vergleiche 5145 Schritte4470 Schritte3495 Schritte

16 Beispiel: Reaktives Multiagentensystem – Aufgabe Forage-Task Vergleichsmaß Roboter (1..5) x Arttraktoren (1..7) Steps (Zeitschritte) Vergleich (Division) der beiden Messungen (Speedup Vergleich) Mittelwert

17 Beispiel: Reaktives Multiagentensystem – Aufgabe Forage-Task Auswertung Forage - TaskVerbesserung Mittelwertbesteschlechteste State vs. no16 %66 %-5 % Goal vs. no19 %59 %-7 % Goal vs. State3 %34 %-19 %

18 Beispiel: Reaktives Multiagentensystem – Aufgabe Graze-Task Abgrasen der gesamten Umgebung Hindernisse in der Umgebung

19 Beispiel: Reaktives Multiagentensystem – Aufgabe Graze-Task Kommunikationsmethoden No communication Automat State und Goal communication Realisiert mit 1 Bit: Suchen oder hinbewegen / weiden

20 Beispiel: Reaktives Multiagentensystem – Aufgabe Graze-Task Auswertung Kommunikation bringt fasst nichts Wenn der Roboter grast hinterlässt er unvermeidlich eine Spur -> Diese Änderung der Umgebung kann als indirekte Kommunikation verstanden werden! Graze - TaskVerbesserung Mittelwertbesteschlechteste State vs. no1 %19 %0 % Goal vs. no1 %19 %0 % Goal vs. State0 %

21 Beispiel: Reaktives Multiagentensystem Zusammenfassung Kommunikation bringt viel, bei Anwendungen mit wenig impliziter Kommunikation (Forage) Kommunikation ist nicht notwendig, bei Anwendungen wo (viel) implizite Information vorhanden ist. Komplexere Kommunikationsstrategien bringen relativ kleinen Gewinn

22 Heterogeneous Communicating Multiagent Systems

23 Heterogeneous Communicating Multiagent Systems Allgemein Verschieden auf jegliche Art sehr komplex und leistungsstark (allgemeinster Fall) Wohlwollend vs. Wettbewerb

24 Heterogeneous Communicating Multiagent Systems Beispiel: Pursuit domain Extremfall: Ein intelligenter Agent steuert mehrere ausführende (single agent)

25 Untereinander verstehen Wohlwollend vs. Wettbewerb Trainer Verhandlungen Temperaturkontrolle Verpflichtungen Ressource Management Heterogeneous Communicating Multiagent Systems Aufgaben/Fragen

26 Interaktion

27 Interaktion Wozu? Möglichkeit zur Abstimmung von Aktionen Alternative: vollständige wechselseitige Modellierung bei homogenen: Modell der internen Zustände bei heterogenen: Komplizierter - Ziel, Aktionen, Wissen der anderen Agenten sind möglicherweise nicht bekannt und müssen durch Beobachtung modelliert werden.

28 Interaktion Ziele Maximieren des Gesamtergebnisses Sicherstellung des Bestehens und der Leistungsfähigkeit des Gesamtsystems Arbeitsteilung (Bestimmung gemeinsamer Ziele/Aufgaben) Vermeidung von Redundanzen Abhängigkeiten der Aktionen der einzelnen Agenten (Reihenfolge) Behandlung von Interferenzen und Konflikten (widersprüchliche Ziele) Vermeidung unnötiger Konflikte Kombination unterschiedlichen Wissens Erfüllungen von Nebenbedingungen (z.B. begrenzte Ressourcen)

29 Interaktion Wie? Speech acts Kommunizieren mittels Aktionen Kommunikation extra - Environment ?

30 Interaktion Begriffe Interaktion: Wechselbeziehung, bes. die Kommunikation zw. Individuen innerhalb einer Gruppe. Kommunikation: Prozess der Mitteilung; der wechselseitige Austausch von Gedanken, Meinungen, Wissen, Erfahrungen und Gefühlen sowie die Übertragung von Nachrichten und Informationen Koordination: Abstimmen verschiedener Vorgänge Kooperation: Zusammenarbeit Konkurrenz: Wettbewerb

31 Interaktion Agenteninteraktion Kommunikation (communication) Verständigung mehrerer Agenten untereinander Koordination (coordination) jene Kommunikation welche zur aufgabenbezogenen Tätigkeit notwendig ist Kooperation (cooperation) jene Kommunikation welche zur Koordination und Vereinbarung gemeinsamer Ziele notwenig ist Verhandlung (negotiation) jene Kommunikation für die Aushandlung der Kompromisse

32 Interaktion Kommunikationstypen keine Kommunikation indirekte Kommunikation Austausch von Information über einen gemeinsamen Informationsraum (Umwelt) einfache Kommunikation individueller Austausch von einfachen Nachrichten bzw. Ereignissen Kommunikation basierend auf Konversation Austausch von strukturierten Nachrichten Konversationstheorie: Äußerungen werden mit Handlung gleichgesetzt (Sprechen ist eine Art Aktion) und wie sie die Zukunft verändern (Ich verurteile Sie zu...)

33 Interaktion Agentenkommunikation Voraussetzungen für erfolgreiche Kommunikation (heterogene Agenten) Gemeinsame Ontologie Gemeinsame Begriffsmenge (Vokabular) Gemeinsame Semantik für diese Begriffe Gemeinsame Kommunikationssprache in Syntax und Semantik Technische Voraussetzungen (Übertragungskanäle,..)

34 Interaktion Knowledge Interchange Format (KIF) Zwischensprache zur Übersetzung einer Wissensbasis von einer Repräsentation zu einer anderen. Muss mächtig genug sein, um alle in der Sprache formierten Wissensinhalte zu transportieren Deklarative Semantik Bedeutung von Ausdrücken mittels Interpretation über Modelle (logisch verwertbar) (Common Lisp ähnlich)

35 Interaktion Knowledge Query and Manipulation Language (KQML) spezifiziert ein Nachrichtenformat zum Austausch von Informationen Nachricht wird in eine Struktur gebracht, die von jedem Agenten verstanden wird. Die Nachricht selbst jedoch muss nicht unbedingt verstanden werden. 3 Ebenen Inhaltsebene aktueller Nachrichteninhalt (z.B.: in KIF) Nachrichtenebene spezifiziert den Nachrichtentyp/Nachrichtenparameter (Fragen, Mitteilen, tu was, Benachrichtigen,...) Kommunikationsebene Sender/Empfänger

36 Interaktion Simple Knowledge Transfer Protocol (SKTP) content SKTP message communication application ISO/OSI presentation session transport network data link physical Inhaltsebene (content Layer) Inhalt der Nachricht. Das in Wörtern ausgedrückte Wissen Nachrichteneben (message Layer) Nachrichtentyp, Thema der Nachricht Kommunikationsebene (communication Layer) Daten aus der KQML Nachricht für die Datenübertragung (Adressen)

37 Interaktion Beispiel: KQML (ask-one : sender helmut : receiver boerse_server : replay-with euro_kurs : content (WERT EURO_DOLLAR ?wert) : language Prolog : ontology Boerse) (tell : sender boerse_server : receiver helmut : in-replay-to euro_kurs : content (WERT EURO_DOLLAR ) : language Prolog : ontology Boerse) Nachrichtenebene Kommunikationsebene Inhaltseben Nachrichtentypen: Anfragen: ask-one, ask-all,... Antworten: replay, sorry,... Informationsverm.: tell,... Funktionsangebot: advertiese,... Zustand: ready, standby,...

38 Interaktion Koordination von Agenten Welcher Agent soll was machen – Verteilte Künstliche Intelligenz Kooperation Notwendig? Selbstsüchtig Delegieren von Aufgaben (hierarchische Strukturen) Konkurrenz Marktmechanismus Gegenseitige Kooperation (Abmachungen) Manager - mehrere Anbieter keine zentrale Kontrolle jeder Partner evaluiert Information aus seinem Standpunkt

39 Interaktion Koordinationsvarianten direkter Nachrichtenaustausch (point to point) message parsing Klassisch: Verbindungsarten (Client/Server), Protokolle, Synchronisation,... Blackboard (broadcast) Verwendung von gemeinsamen Datenstrukturen (shared memory) Agent entscheidet wann und was er bekannt gibt und ob er wann und welche Informationen sucht und diese bewertet Synchron und Asynchron Meeting

40 Multiagent Q-Learning Beispiel für die Komplexität, ohne Theorie Multiagent Q-Learning [Hu, Wellmann 2002]

41 Multiagent Q-Learning Was soll in dem aktuellen Zustand gemacht werden? Join Action Values Ein Agent muss n Q-Tables (eine für ihn und je eine für die anderen Agenten - Modellierung) erstellen

42 Multiagent Q-Learning Singleagent vs. Multiagent SingleagentMultiagent Q-Function Optimal Q-valueaktueller Reward + zukünftige Rewards wenn die optimale Strategie verwendet wird aktueller Reward + zukünftige Rewards wenn alle Agenten die optimale Strategie (Nash- Gleichgewicht) verwenden werden

43 Multiagent Q-Learning Beispiel Agent 1 und Agent 2 jeweils in die diagonale Ecke Gewinner: der als erster angekommen ist (oder beide zugleich – Ziel) kein Zusammenstoß

44 Beispiel: Multiagent Q-Learning States,... States: 9 x 9 Anfangszustand (0, 2) Aktionen: 4 Q Table: 81 x 4 = 324

45 Beispiel: Multiagent Q-Learning Ergebnis Spieltheorie Nash Gleichgewicht Wie kann Kooperation aus Handlungen von Egoisten entstehen? Bimatrix-game (Gefangenen Dilemma) im Zustand (0, 2) Agent 2 LinksHinauf Agent 1 Rechts86, 8783, 85 Hinauf96, 9195, 95

46 Multiagent Q-Learning Komplexität m = Anzahl der Zustände n = Anzahl der Agenten A = möglichen Aktionen Ein Agent muss n Q – Functions lernen!


Herunterladen ppt "Multiagent Systems Einführung: Kommunikation Multiagent Systems: A Survey from a Machine Learning Perspective [Peter Stone, Manuela Veloso 2000] Computation."

Ähnliche Präsentationen


Google-Anzeigen