Lernende Agenten Seminar Softwareagenten Wintersemester 2001/2002 Norman Neuhaus

Gliederung zEinleitung zGrundlagen des Lernens zDer UPC-Algorithmus zLTEAM zFazit

Wieso lernende Agenten? zEinsatz in komplexen, evt. dynamischen Umgebungen zAutomatische Ermittlung optimaler Parameter zpersonalisierte Anwendungen möglich, ohne Anwender Regeln programmieren zu lassen

Zentralisiertes Lernen zJeder Agent lernt für sich alleine ztrotzdem sind mehrere Agenten in einer Umgebung möglich

Dezentralisiertes Lernen zLernen erfolgt arbeitsteilig zkann als Spezialisierung und/oder Parallelisierung erfolgen

Weitere Unterscheidungen zIst der Agent selbst im System aktiv oder lernt er auf Basis der Beobachtung anderer Agenten? zWann und in welcher Form erfolgt eine Rückmeldung? zLernumgebung ist immer abhängig von gestellter Aufgabe

Credit Assignment Problem zFür Lernen muß immer eine Rückmeldung erfolgen zProblem: Wie kann ich einer einzelnen Aktion eines einzelnen Agenten den richtigen Anteil am Gesamterfolg zurechnen? zBeispiel: Wir haben einen Gesamterfolg von 2600 Punkten erzielt. Inwieweit ist Aktion 5 von Agent B dafür verantwortlich?

Lernmethoden zAuswendiglernen Wissen wird nur gespeichert und wiederholt zLernen unter Anleitung Wissen wird in eigene Daten eingebettet zLernen durch Erfahrung z.B. durch Reinforcement Learning zLernen durch Analogieschluss bei Lösung neuer Probleme durch ähnliche Probleme zLernen durch Entdeckung Agent stellt Hypothesen auf

UPC-Algorithmus zFür alle möglichen Aktionen in einer Situation hat jeder Agent UPC Werte zUtility (Nützlichkeit) ist der erwartete Wert der Lösung nach Ausführen der Aktion zProbability ist die Wahrscheinlichkeit einer gewünschten Lösung zCost sind die mit einer Aktion verbundenen Kosten zAußerdem noch das Potential, das diese Aktion das Gesamtsystem weiterbringt zAus diesen Werten wird der erwartete Nutzen einer Aktion berechnet, die Bewertungsfunktion kann individuell angepaßt werden

UPC Lernphase Bewertung dieser Aktion zWahrscheinlichkeit P(Aktion) = Summe der Bewertung aller Aktionen zBewertungsfunktion: f (U, P, C, Potential) = U * P + Potential zLernfunktion

LTEAM-Beispiel zExperiment von Nagendar Prasad, Lesser und Lander zdient zum Erlernen von Rollen in einer Umgebung mit mehreren Agenten zGesucht wird hierbei die kostengünstigste Lösung für die Konstruktion eines Dampfkondensators

LTEAM-Aufbau zEs gibt sieben Agenten, jeder Agent ist für einen Teilbereich des Problems wie z.B. den Motor zuständig zvier der Agenten können entscheiden, welche Rolle sie einnehmen (hier entweder eine neue Lösung erstellen, oder eine bestehende verbessern)

Durchführung zZuerst 100 Durchgänge Lernphase zDanach wurden 150 Berechnungen, die von LTEAM und seinem Vorgänger TEAM durchgeführt werden Organisation von TEAM

Ergebnisse der Lernphase Organisation LTEAM nach Lernphase

Ergebnisse LTEAM zResultat: LTEAM erzielte durchschnittlich 3,2% bessere Ergebnisse, da es besser angepaßt ist.

Fazit zEs gibt viele verschiedene Alternativen, lernende Agenten zu konstruieren. Welche dabei gewählt werden sollte, hängt von der Aufgabenstellung ab. zWie das Beispiel LTEAM zeigt, sind durch Lernen optimierte Agenten in der Lage bessere Ergebnisse zu liefern als herkömmliche Systeme. zLernende Agenten sind auf jeden Fall ein spannendes Feld, das sicherlich in naher Zukunft noch weitere Fortschritte machen wird. Es ist also zu befürchten, wir uns damit demnächst noch mehr befassen werden.