Selbstorganisation und Lernen Carsten Keßler Seminar Robotfußball, SoSe 2003

Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

Einleitung Anpassungs- / Lernfähigkeit ist ein Hauptaugenmerk bei autonomen Agenten Der Lernprozess besteht häufig aus einer indirekten Programmierung des Agenten („Reinforcement Learning“) Carsten Keßler: Selbstorganisation und Lernen

Einleitung Engere Definition von Selbständigkeit: Echte Selbständigkeit muss Eigeninitiative beinhalten Carsten Keßler: Selbstorganisation und Lernen

Einleitung – die „Vision“ Startzustand: Roboter, gesteuert durch ein neuronales Netz das neuronale Netz ist in einem „Tabula rasa“ Zustand der Roboter reagiert nicht auf seine Sensor-Messwerte Aktivitäten sind rein zufällig die Umgebung enthält statische und dynamische Objekte Carsten Keßler: Selbstorganisation und Lernen

Einleitung – die „Vision“ Die Aufgabe: komplett internes Ziel für den Roboter definieren, damit: er anfängt, sich zu bewegen während der Bewegung ein Bild von seiner Umgebung entwickelt dies sollte unabhängig von den Sensoren und der Fortbewegungsart des Roboters sein Carsten Keßler: Selbstorganisation und Lernen

Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Carsten Keßler: Selbstorganisation und Lernen

Künstliche neuronale Netze Die Nervenzelle als biologisches Vorbild Quelle: Prof. Lippe, Skript „Softcomputing“ Carsten Keßler: Selbstorganisation und Lernen

Künstliche neuronale Netze Schematische Darstellung eines künstlichen Neurons Quelle: Dan Patterson – Künstliche neuronale Netze Carsten Keßler: Selbstorganisation und Lernen

Künstliche Neuronale Netze Formal: Tupel, bestehend aus Eingabevektor Gewichtsvektor Aktivierungsfunktion Ausgabefunktion Carsten Keßler: Selbstorganisation und Lernen

Künstliche neuronale Netze Quelle: Prof. Lippe, Skript „Softcomputing“ Carsten Keßler: Selbstorganisation und Lernen

Künstliche neuronale Netze Quelle: Prof. Lippe, Skript „Softcomputing“ Carsten Keßler: Selbstorganisation und Lernen

Künstliche neuronale Netze Typen des Lernens Entwicklung neuer Verbindungen Löschen existierender Verbindungen Modifikation der Gewichte Modifikation des Schwellenwertes Modifikation der Aktivierungs- / Ausgabefunktion Entwickeln neuer Zellen Löschen bestehender Zellen Carsten Keßler: Selbstorganisation und Lernen

Künstliche neuronale Netze Lernstrategien überwacht (supervised learning) bestärkend (reinforcement learning) unüberwacht (unsupervised learning) Carsten Keßler: Selbstorganisation und Lernen

Künstliche neuronale Netze Anwendungen Diagnostik Vorhersage Mustererkennung Optimierung Risikoabschätzung Steuerung .......... Carsten Keßler: Selbstorganisation und Lernen

Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

Das Modell Der Ansatz: der Agent überwacht selbst seinen eigenen Lernprozess Carsten Keßler: Selbstorganisation und Lernen

Das Modell Problem: die Sensorwerte müssen mit einem Modell vorausberechenbar sein, um im nächsten Schritt die gemessenen mit den vorausberechneten Werten zu vergleichen Carsten Keßler: Selbstorganisation und Lernen

Das Modell Ausgabe des Controllers: xt є Rn: Vektor der Sensorwerte zum Zeitpunkt t c: Parameter Vektor Carsten Keßler: Selbstorganisation und Lernen

Das Modell Das adaptive Modell soll xt+1 berechnen: Carsten Keßler: Selbstorganisation und Lernen

Das Modell der Fehler dabei beträgt: Carsten Keßler: Selbstorganisation und Lernen

Das Modell Lernregeln: für das Modell: für den Controller: Carsten Keßler: Selbstorganisation und Lernen

Das Modell Der Khepera Roboter 8 IR-Sensoren 2 Motoren max. 1m/s erweiterbar Quelle: http://www.k-team.com Carsten Keßler: Selbstorganisation und Lernen

Das Modell Beispiel der Roboter bewegt sich mit konstanter Geschwindigkeit der Output des Controllers gibt nur die Drehgeschwindigkeit an Modellierung durch ein einzelnes Neuron: Carsten Keßler: Selbstorganisation und Lernen

Carsten Keßler: Selbstorganisation und Lernen Quelle: Der / Liebscher: True autonomy from self-organized adaptivity Carsten Keßler: Selbstorganisation und Lernen

Carsten Keßler: Selbstorganisation und Lernen Quelle: Der / Liebscher: True autonomy from self-organized adaptivity Carsten Keßler: Selbstorganisation und Lernen

Carsten Keßler: Selbstorganisation und Lernen Quelle: Der / Liebscher: True autonomy from self-organized adaptivity Carsten Keßler: Selbstorganisation und Lernen

Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

Roboter mit Eigeninitiative Das Problem: Bislang war die Geschwindigkeit gegeben Das Modell strebt möglichst konstant bleibende Sensorwerte an  Das ist gegeben, wenn der Roboter nichts tut Carsten Keßler: Selbstorganisation und Lernen

Roboter mit Eigeninitiative Die Lösung: Der Roboter bekommt einen Anreiz zur Aktivität Dazu wird im Vorhersagemodell „die Zeit umgedreht“ Carsten Keßler: Selbstorganisation und Lernen

Roboter mit Eigeninitiative Die Zeitschleife: Carsten Keßler: Selbstorganisation und Lernen

Roboter mit Eigeninitiative Dabei entsteht der Fehler mit  Der Fehler ist klein, wenn das aktuelle Verhalten des Roboters gut durch das Modell repräsentiert wird Carsten Keßler: Selbstorganisation und Lernen

Roboter mit Eigeninitiative Berücksichtigung der Dynamik, die nicht durch das Modell beschrieben ist (Störung, Messfehler, „Rauschen“): Carsten Keßler: Selbstorganisation und Lernen

Roboter mit Eigeninitiative Daraus folgt: Der Fehler durch das Rauschen pflanzt sich in der Zeit „rückwärts“ fort Der Modellfehler wird minimiert, wenn die Roboter-Sensormesswerte instabil sind  Anreiz zur Aktivität Carsten Keßler: Selbstorganisation und Lernen

Roboter mit Eigeninitiative Verhalten des Roboters: Der Roboter zeigt sofort Aktivität, wenn er im Tabula rasa Zustand gestartet wird Beim Aufprall auf Hindernisse wird der Messfehler sprunghaft so groß, dass der Roboter sofort umdreht Carsten Keßler: Selbstorganisation und Lernen

Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

Visuelle Sensoren Carsten Keßler: Selbstorganisation und Lernen Quelle: Der / Liebscher: True autonomy from self-organized adaptivity. Carsten Keßler: Selbstorganisation und Lernen

Visuelle Sensoren Eingabevektor: x=(vl, vr, s1,…sK) vl, vr: Geschwindigkeiten der Räder si: Pixelwerte der Kamera im R3 Carsten Keßler: Selbstorganisation und Lernen

Visuelle Sensoren Preprocessing: Binäre Klassifizierung der Pixel, ob sie der Farbe des Balles entsprechen oder nicht Herunterskalieren des Bildes auf 32 * 32 Pixel in Graustufen Erzeugen eines Bewegungsvektors im R2 für den Ball aus 2 aufeinander folgenden Bildern Carsten Keßler: Selbstorganisation und Lernen

Visuelle Sensoren Der Controller besteht aus 2 Neuronen Neuron 1 regelt die Geschwindigkeit gefüttert mit der Geschwindigkeit des Balles in Fahrtrichtung sowie den Sensormesswerten von den Rädern  Funktioniert wie eben gesehen Carsten Keßler: Selbstorganisation und Lernen

Visuelle Sensoren Der Controller besteht aus 2 Neuronen Neuron 2 regelt die Lenkung wird gefüttert mit den Pixelwerten aus dem vorher aufbereiteten Bild Annahme: die Komponente g2 des Bewegungsvektors g soll sich nicht ändern Carsten Keßler: Selbstorganisation und Lernen

Visuelle Sensoren Fehlerberechnung Carsten Keßler: Selbstorganisation und Lernen

Visuelle Sensoren Ausgabefunktionen Carsten Keßler: Selbstorganisation und Lernen

Visuelle Sensoren Lernregeln Carsten Keßler: Selbstorganisation und Lernen

Visuelle Sensoren Ergebnisse: Anpassung der Geschwindigkeit funktioniert beim Pioneer ähnlich gut wie beim Khepera Anpassung der Richtung aufgrund der Kameradaten bereitet noch Probleme, die allerdings technischer Natur sind Carsten Keßler: Selbstorganisation und Lernen

Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

Zusammenfassung Wir haben gesehen, wie: Roboter mit Hilfe von neuronalen Netzen lernen können Sie mit Hilfe von neuronalen Netzen dazu gebracht werden können, Aktivität zu entwickeln Wie die Verarbeitung von visuellen Informationen in dieses Modell integriert werden kann Carsten Keßler: Selbstorganisation und Lernen

Zusammenfassung Bezug zum Roboterfußball: Zur Zeit noch keine praktische Anwendung der hier vorgestellten Ergebnisse In der Anwendung dominiert noch die klassische KI Ergebnisse sind noch sehr frisch, daher wahrscheinlich in Zukunft auch relevant für die Praxis Carsten Keßler: Selbstorganisation und Lernen

Vielen Dank für die Aufmerksamkeit! Carsten Keßler: Selbstorganisation und Lernen