Rationale Agenten

Agenten Agent: Nimmt Umgebung über Sensoren wahr und beeinflusst diese durch Aktuatoren. Rationaler Agent: Maximiert Erfolgskriterium Was sind Sensoren, Aktuatoren, Umgebung, Erfolgskriterium?

Agenten: Beispiele Roboter: Autonomes Fahrzeug: Sensoren: Kamera, taktile Sensoren Aktuator: Greifer Umgebung: Schraube, Gewinde Erfolgskriterium: Schraube eindrehen Autonomes Fahrzeug: Sensoren: Laser range scanner, GPS Aktuatoren: Räder Umgebung: Wüste Erfolgskriterium: Ziel schnell erreichen

Agenten: Beispiele Spielautomat: Expertensystem („Software-Agent“): Sensoren: Knöpfe, Hebel Aktuatoren: Z.B. Bildschirm, Zahlenräder, Glocke Umgebung: Spieler Erfolgskriterium: Spaß machen + Geld abnehmen Expertensystem („Software-Agent“): Sensoren: Datenempfang Aktuatoren: Versenden von Daten Umgebung: Ratsuchender Erfolgskriterium: Nach wenigen Anfragen richtige Auskunft geben

Agenten: Beispiele Staubsaugerwelt: Umgebung: Felder A, B, ggf. mit Schmutz Sensoren: Für Position und Schmutz Aktuator: Nach rechts / links bewegen, Sauger

Agentenfunktion / Agentenprogramm Agentenfunktion wählt Aktion in Abhängigkeit von der Wahrnehmungsfolge aus Kann im Prinzip als Lookup Table dargestellt werden … … die aber i.a. sehr groß ist. Agentenprogramm implementiert die Agentenfunktion (irgendwie) Programm ersetzt die Tabelle Leistet i.a. „Datenkompression“ der Tabelle durch Aufstellen (häufig impliziter) Regeln

Agentenfunktion der Staubsaugerwelt Wahrnehmungsfolge Aktion A, sauber Rechts A, schmutzig Saugen B, sauber Links B, schmutzig … B, schmutzig, B, sauber B, sauber, B, sauber, B, sauber B, sauber, B, sauber, B, schmutzig 100x (B, sauber)

Bemerkungen Tabelle unendlich groß, da beliebig lange Wahrnehmungsfolgen! Je nach den gewählten Aktionen muss nicht unbedingt jede Zeile der Tabelle zur Anwendung kommen Einfacher: Agentenprogramm Da Tabelle jede mögl. Wahrnehmungsfolge abdeckt, können im Prinzip beliebig komplexe Agentenfunktionen realisiert werden, die vergangene Wahrnehmungen einbeziehen (Bsp. letzte Zeile) und nicht leicht durch Programm (Regeln) zu erfassen sind.

Agentenprogramm für Staubsaugerwelt Aktuelle Wahrnehmung Aktion A oder B, schmutzig Saugen A, sauber Rechts B, sauber Links Achtung: Programm implementiert nur sehr einfache Agentenfunktion, die vergangene Wahrnehmungen nicht berücksichtigt. D.h. wenn z.B. alle sauber, oszilliert der Sauger zwischen den Feldern

Typisierung von Umgebungen Grad der Beobachtbarkeit Deterministisch / Stochastisch Episodisch / Sequenziell Statisch / Dynamisch Diskret / Stetig Einzelagent / Multiagenten

Grad der Beobachtbarkeit Problem: Was erfassen die Sensoren? Staubsauger: Position des Saugers Zustand des aktuellen / benachbarten Feldes Zwei Arten von teilweiser Beobachtbarkeit: Teil der Umgebung ist unzugänglich für Sensoren (z.B. Nachbarfeld) Beobachtung ist ungenau (z.B. Sensor verschmutzt)

Deterministisch / Stochastisch Zukünftiger Zustand der Umgebung hängt allein vom gegenwärtigen Zustand + den Aktionen ab Stochastisch: Umgebung enthält Zufallselemente, ihre Entwicklung ist daher auch bei vollständiger Beobachtung nicht vorhersagbar Praxis: Umgebung ist nicht vollständig beobachtbar und erscheint daher stochstisch

Episodisch / Sequenziell Zeit verläuft in „atomaren Episoden“ Wahrnehmung – Aktion – Wahrnehmung – … Nächste Episode nur abh. von gegenwärtiger Episode (d.h. Wahrnehmung + Aktion), d.h.: Außer den Aktionen des Agenten und den vorhersehbaren Reaktionen der Umgebung passiert nichts zwischen den Wahrnehmungen Aktionen beeinflussen die Umgebung nur für die nächste Episode, nicht für spätere Bsp.: Teile auf Fließband aussortieren Sequenziell: Aktionen beinflussen Zukunft Agent muss vorausdenken

Statisch / Dynamisch Statisch: Umgebung ändert sich nur durch Aktionen des Agenten Dynamisch: Umgebung ändert sich auch unabhängig von den Aktionen, z.B. auch wenn der Agent nicht beobachtet!

Diskret / Stetig Betrifft Bsp.: Zeit Wahrnehmungen Aktionen Bsp.: Schach: Diskrete Zeit, Wahrnehmungen, Aktionen Schachfigur setzen: Stetige Zeit, stetige Wahrnehmungen (z.B. Druck der Figur auf Finger), stetige Aktionen (Muskeln steuern) Technisch meist diskrete Darstellung stetiger Vorgänge (z.B. Kamera mit 25 frames/sec)

Einzelagent / Multiagenten Unterscheide: Kooperative Multiagenten Konkurrierende Agenten Realwelt: Häufig Mischungen Bsp. Autorennen: Crashvermeidung – Kooperation Geschwindigkeit – Konkurrenz

Agentenprogrammierung Agentenfunktion definiert Verhalten Programm realisiert dieses Verhalten Programm leitet Aktion nur aus aktueller Wahrnehmung ab, nicht aus der Wahrnehmungsfolge! Wird damit Abhängigkeit der Aktionen von der Vergangenheit aufgegeben? - Nein, denn es steht dem Programm frei, vergangene Wahrnehmungen zu speichern andere Informationen (z.B. Extrakt aus Wahrnehmungen, vergangene Aktionen) zu speichern.

Typisierung der Agentenprogrammierung Einfacher Reflex-Agent Modellbasierter Reflex-Agent Zielbasierter Agent Nutzenbasierter Agent Lernender Agent Beschreibung wird von 1 nach 5 weniger detailliert: Def. des Reflex-Agenten liefert Bauplan praktisch mit, Lernende Agenten sind sehr komplex!

Einfache Reflex-Agenten Aktion hängt nur von aktueller Wahrnehmung ab, nicht von Vergangenheit Kein Gedächtnis

Reflex-Agenten Vorteile: Nachteile: Einfach Ggf. schnelle Reaktion (Hardware!) Nachteile: Versagt, wenn aktuelle Wahrnehmung zur Entscheidungsfindung nicht ausreicht (teilweise Beobachtbarkeit) Gleiche Wahrnehmungen führen immer zu gleichen Reaktionen: Gefahr von Endlosschleifen Bsp. Staubsauger ohne Positionssensor: Starte in A Wahrnehmung: Schmutz, Reflex: Saugen! Wahrnehmung: Sauber, Reflex: Rechts! Wahrnehmung: Sauber, Reflex: Rechts! usw.

Modellbasierte Reflex-Agenten Erweiterung: Agent hat „inneren Zustand“ Zustände speichern Informationen über Zeitliche Entwicklung der Umgebung (unabh. von Aktionen) Wirkung der Aktionen (soweit nicht dauerhaft beobachtbar) Aber: Keine „innere Simulation“

Zielbasierte Agenten Bisher wurde Ziel implizit in den Regeln codiert Jetzt: Zieldefinition Aktion ist nicht mehr fest an Regeln gebunden, sondern wird aus Überlegung „was passiert wenn“ abgeleitet

Nutzenbasierte Agenten Nachteil zielbasierter Agenten: „Binäre“ Zieldefinition Jede Entscheidung, die (irgendwie) zum Ziel führt, ist ok. Nutzenfunktion ordnet aktuellen oder zukünftigen Zuständen (reelle) Bewertungen zu, die Nützlichkeit zum Erreichen des Ziels angeben. Vorteil: Günstige Wege zum Ziel können von ungünstigen unterschieden werden Nachteil: Aufstellen der Nutzenfunktion verlangt viel Information

Nutzenbasierte Agenten

Lernende Agenten Leistungselement = Einer der vier anderen Agententypen Lernelement: Verändert Leistungselement gemäß Kritik Kritik: Feedback über Resultate der Aktionen, wird gewonnen durch Vergleich des erreichten Zustands der Umwelt (durch Sensoren ermittelt) und Leistungsbewertung. Problemgenerator: Bewirkt Aktionen, die nicht unbedingt zum Ziel führen, aber Erfahrungen ermöglichen