Selbstorganisation und Lernen

Präsentation zum Thema: "Selbstorganisation und Lernen"—  Präsentation transkript:

1 Selbstorganisation und Lernen
Carsten Keßler Seminar Robotfußball, SoSe 2003

2 Überblick Einleitung Künstliche neuronale Netze Das Modell
Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

3 Überblick Einleitung Künstliche neuronale Netze Das Modell
Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

4 Einleitung Anpassungs- / Lernfähigkeit ist ein Hauptaugenmerk bei autonomen Agenten Der Lernprozess besteht häufig aus einer indirekten Programmierung des Agenten („Reinforcement Learning“) Carsten Keßler: Selbstorganisation und Lernen

5 Einleitung Engere Definition von Selbständigkeit:
Echte Selbständigkeit muss Eigeninitiative beinhalten Carsten Keßler: Selbstorganisation und Lernen

6 Einleitung – die „Vision“
Startzustand: Roboter, gesteuert durch ein neuronales Netz das neuronale Netz ist in einem „Tabula rasa“ Zustand der Roboter reagiert nicht auf seine Sensor-Messwerte Aktivitäten sind rein zufällig die Umgebung enthält statische und dynamische Objekte Carsten Keßler: Selbstorganisation und Lernen

7 Einleitung – die „Vision“
Die Aufgabe: komplett internes Ziel für den Roboter definieren, damit: er anfängt, sich zu bewegen während der Bewegung ein Bild von seiner Umgebung entwickelt dies sollte unabhängig von den Sensoren und der Fortbewegungsart des Roboters sein Carsten Keßler: Selbstorganisation und Lernen

8 Überblick Einleitung Künstliche neuronale Netze Das Modell
Roboter mit Eigeninitiative Visuelle Sensoren Carsten Keßler: Selbstorganisation und Lernen

9 Künstliche neuronale Netze
Die Nervenzelle als biologisches Vorbild Quelle: Prof. Lippe, Skript „Softcomputing“ Carsten Keßler: Selbstorganisation und Lernen

10 Künstliche neuronale Netze
Schematische Darstellung eines künstlichen Neurons Quelle: Dan Patterson – Künstliche neuronale Netze Carsten Keßler: Selbstorganisation und Lernen

11 Künstliche Neuronale Netze
Formal: Tupel, bestehend aus Eingabevektor Gewichtsvektor Aktivierungsfunktion Ausgabefunktion Carsten Keßler: Selbstorganisation und Lernen

12 Künstliche neuronale Netze
Quelle: Prof. Lippe, Skript „Softcomputing“ Carsten Keßler: Selbstorganisation und Lernen

13 Künstliche neuronale Netze
Quelle: Prof. Lippe, Skript „Softcomputing“ Carsten Keßler: Selbstorganisation und Lernen

14 Künstliche neuronale Netze
Typen des Lernens Entwicklung neuer Verbindungen Löschen existierender Verbindungen Modifikation der Gewichte Modifikation des Schwellenwertes Modifikation der Aktivierungs- / Ausgabefunktion Entwickeln neuer Zellen Löschen bestehender Zellen Carsten Keßler: Selbstorganisation und Lernen

15 Künstliche neuronale Netze
Lernstrategien überwacht (supervised learning) bestärkend (reinforcement learning) unüberwacht (unsupervised learning) Carsten Keßler: Selbstorganisation und Lernen

16 Künstliche neuronale Netze
Anwendungen Diagnostik Vorhersage Mustererkennung Optimierung Risikoabschätzung Steuerung Carsten Keßler: Selbstorganisation und Lernen

17 Überblick Einleitung Künstliche neuronale Netze Das Modell
Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

18 Das Modell Der Ansatz: der Agent überwacht selbst seinen eigenen Lernprozess Carsten Keßler: Selbstorganisation und Lernen

19 Das Modell Problem: die Sensorwerte müssen mit einem Modell vorausberechenbar sein, um im nächsten Schritt die gemessenen mit den vorausberechneten Werten zu vergleichen Carsten Keßler: Selbstorganisation und Lernen

20 Das Modell Ausgabe des Controllers:
xt є Rn: Vektor der Sensorwerte zum Zeitpunkt t c: Parameter Vektor Carsten Keßler: Selbstorganisation und Lernen

21 Das Modell Das adaptive Modell soll xt+1 berechnen:
Carsten Keßler: Selbstorganisation und Lernen

22 Das Modell der Fehler dabei beträgt:
Carsten Keßler: Selbstorganisation und Lernen

23 Das Modell Lernregeln: für das Modell: für den Controller:
Carsten Keßler: Selbstorganisation und Lernen

24 Das Modell Der Khepera Roboter 8 IR-Sensoren 2 Motoren max. 1m/s
erweiterbar Quelle: Carsten Keßler: Selbstorganisation und Lernen

25 Das Modell Beispiel der Roboter bewegt sich mit konstanter Geschwindigkeit der Output des Controllers gibt nur die Drehgeschwindigkeit an Modellierung durch ein einzelnes Neuron: Carsten Keßler: Selbstorganisation und Lernen

26 Carsten Keßler: Selbstorganisation und Lernen
Quelle: Der / Liebscher: True autonomy from self-organized adaptivity Carsten Keßler: Selbstorganisation und Lernen

27 Carsten Keßler: Selbstorganisation und Lernen
Quelle: Der / Liebscher: True autonomy from self-organized adaptivity Carsten Keßler: Selbstorganisation und Lernen

28 Carsten Keßler: Selbstorganisation und Lernen
Quelle: Der / Liebscher: True autonomy from self-organized adaptivity Carsten Keßler: Selbstorganisation und Lernen

29 Überblick Einleitung Künstliche neuronale Netze Das Modell
Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

30 Roboter mit Eigeninitiative
Das Problem: Bislang war die Geschwindigkeit gegeben Das Modell strebt möglichst konstant bleibende Sensorwerte an  Das ist gegeben, wenn der Roboter nichts tut Carsten Keßler: Selbstorganisation und Lernen

31 Roboter mit Eigeninitiative
Die Lösung: Der Roboter bekommt einen Anreiz zur Aktivität Dazu wird im Vorhersagemodell „die Zeit umgedreht“ Carsten Keßler: Selbstorganisation und Lernen

32 Roboter mit Eigeninitiative
Die Zeitschleife: Carsten Keßler: Selbstorganisation und Lernen

33 Roboter mit Eigeninitiative
Dabei entsteht der Fehler mit  Der Fehler ist klein, wenn das aktuelle Verhalten des Roboters gut durch das Modell repräsentiert wird Carsten Keßler: Selbstorganisation und Lernen

34 Roboter mit Eigeninitiative
Berücksichtigung der Dynamik, die nicht durch das Modell beschrieben ist (Störung, Messfehler, „Rauschen“): Carsten Keßler: Selbstorganisation und Lernen

35 Roboter mit Eigeninitiative
Daraus folgt: Der Fehler durch das Rauschen pflanzt sich in der Zeit „rückwärts“ fort Der Modellfehler wird minimiert, wenn die Roboter-Sensormesswerte instabil sind  Anreiz zur Aktivität Carsten Keßler: Selbstorganisation und Lernen

36 Roboter mit Eigeninitiative
Verhalten des Roboters: Der Roboter zeigt sofort Aktivität, wenn er im Tabula rasa Zustand gestartet wird Beim Aufprall auf Hindernisse wird der Messfehler sprunghaft so groß, dass der Roboter sofort umdreht Carsten Keßler: Selbstorganisation und Lernen

37 Überblick Einleitung Künstliche neuronale Netze Das Modell
Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

38 Visuelle Sensoren Carsten Keßler: Selbstorganisation und Lernen
Quelle: Der / Liebscher: True autonomy from self-organized adaptivity. Carsten Keßler: Selbstorganisation und Lernen

39 Visuelle Sensoren Eingabevektor: x=(vl, vr, s1,…sK)
vl, vr: Geschwindigkeiten der Räder si: Pixelwerte der Kamera im R3 Carsten Keßler: Selbstorganisation und Lernen

40 Visuelle Sensoren Preprocessing:
Binäre Klassifizierung der Pixel, ob sie der Farbe des Balles entsprechen oder nicht Herunterskalieren des Bildes auf 32 * 32 Pixel in Graustufen Erzeugen eines Bewegungsvektors im R2 für den Ball aus 2 aufeinander folgenden Bildern Carsten Keßler: Selbstorganisation und Lernen

41 Visuelle Sensoren Der Controller besteht aus 2 Neuronen
Neuron 1 regelt die Geschwindigkeit gefüttert mit der Geschwindigkeit des Balles in Fahrtrichtung sowie den Sensormesswerten von den Rädern  Funktioniert wie eben gesehen Carsten Keßler: Selbstorganisation und Lernen

42 Visuelle Sensoren Der Controller besteht aus 2 Neuronen
Neuron 2 regelt die Lenkung wird gefüttert mit den Pixelwerten aus dem vorher aufbereiteten Bild Annahme: die Komponente g2 des Bewegungsvektors g soll sich nicht ändern Carsten Keßler: Selbstorganisation und Lernen

43 Visuelle Sensoren Fehlerberechnung
Carsten Keßler: Selbstorganisation und Lernen

44 Visuelle Sensoren Ausgabefunktionen
Carsten Keßler: Selbstorganisation und Lernen

45 Visuelle Sensoren Lernregeln
Carsten Keßler: Selbstorganisation und Lernen

46 Visuelle Sensoren Ergebnisse:
Anpassung der Geschwindigkeit funktioniert beim Pioneer ähnlich gut wie beim Khepera Anpassung der Richtung aufgrund der Kameradaten bereitet noch Probleme, die allerdings technischer Natur sind Carsten Keßler: Selbstorganisation und Lernen

47 Überblick Einleitung Künstliche neuronale Netze Das Modell
Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung Carsten Keßler: Selbstorganisation und Lernen

48 Zusammenfassung Wir haben gesehen, wie:
Roboter mit Hilfe von neuronalen Netzen lernen können Sie mit Hilfe von neuronalen Netzen dazu gebracht werden können, Aktivität zu entwickeln Wie die Verarbeitung von visuellen Informationen in dieses Modell integriert werden kann Carsten Keßler: Selbstorganisation und Lernen

49 Zusammenfassung Bezug zum Roboterfußball:
Zur Zeit noch keine praktische Anwendung der hier vorgestellten Ergebnisse In der Anwendung dominiert noch die klassische KI Ergebnisse sind noch sehr frisch, daher wahrscheinlich in Zukunft auch relevant für die Praxis Carsten Keßler: Selbstorganisation und Lernen

50 Vielen Dank für die Aufmerksamkeit!
Carsten Keßler: Selbstorganisation und Lernen