Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Seminar Robotfußball, SoSe 2003 Selbstorganisation und Lernen Carsten Keßler.

Ähnliche Präsentationen


Präsentation zum Thema: "Seminar Robotfußball, SoSe 2003 Selbstorganisation und Lernen Carsten Keßler."—  Präsentation transkript:

1 Seminar Robotfußball, SoSe 2003 Selbstorganisation und Lernen Carsten Keßler

2 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 2 von 50 Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung

3 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 3 von 50 Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung

4 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 4 von 50 Einleitung Anpassungs- / Lernfähigkeit ist ein Hauptaugenmerk bei autonomen Agenten Der Lernprozess besteht häufig aus einer indirekten Programmierung des Agenten (Reinforcement Learning)

5 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 5 von 50 Einleitung Engere Definition von Selbständigkeit: Echte Selbständigkeit muss Eigeninitiative beinhalten

6 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 6 von 50 Einleitung – die Vision Startzustand: Roboter, gesteuert durch ein neuronales Netz das neuronale Netz ist in einem Tabula rasa Zustand der Roboter reagiert nicht auf seine Sensor- Messwerte Aktivitäten sind rein zufällig die Umgebung enthält statische und dynamische Objekte

7 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 7 von 50 Einleitung – die Vision Die Aufgabe: komplett internes Ziel für den Roboter definieren, damit: er anfängt, sich zu bewegen während der Bewegung ein Bild von seiner Umgebung entwickelt dies sollte unabhängig von den Sensoren und der Fortbewegungsart des Roboters sein

8 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 8 von 50 Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren

9 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 9 von 50 Künstliche neuronale Netze Die Nervenzelle als biologisches Vorbild Quelle: Prof. Lippe, Skript Softcomputing

10 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 10 von 50 Künstliche neuronale Netze Schematische Darstellung eines künstlichen Neurons Quelle: Dan Patterson – Künstliche neuronale Netze

11 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 11 von 50 Künstliche Neuronale Netze Formal: Tupel, bestehend aus Eingabevektor Gewichtsvektor Aktivierungsfunktion Ausgabefunktion

12 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 12 von 50 Künstliche neuronale Netze Quelle: Prof. Lippe, Skript Softcomputing

13 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 13 von 50 Künstliche neuronale Netze Quelle: Prof. Lippe, Skript Softcomputing

14 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 14 von 50 Künstliche neuronale Netze Typen des Lernens Entwicklung neuer Verbindungen Löschen existierender Verbindungen Modifikation der Gewichte Modifikation des Schwellenwertes Modifikation der Aktivierungs- / Ausgabefunktion Entwickeln neuer Zellen Löschen bestehender Zellen

15 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 15 von 50 Künstliche neuronale Netze Lernstrategien überwacht (supervised learning) bestärkend (reinforcement learning) unüberwacht (unsupervised learning)

16 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 16 von 50 Künstliche neuronale Netze Anwendungen Diagnostik Vorhersage Mustererkennung Optimierung Risikoabschätzung Steuerung

17 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 17 von 50 Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung

18 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 18 von 50 Das Modell Der Ansatz: der Agent überwacht selbst seinen eigenen Lernprozess

19 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 19 von 50 Das Modell Problem: die Sensorwerte müssen mit einem Modell vorausberechenbar sein, um im nächsten Schritt die gemessenen mit den vorausberechneten Werten zu vergleichen

20 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 20 von 50 Das Modell Ausgabe des Controllers: x t є R n: Vektor der Sensorwerte zum Zeitpunkt t c: Parameter Vektor

21 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 21 von 50 Das Modell Das adaptive Modell soll x t+1 berechnen:

22 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 22 von 50 Das Modell der Fehler dabei beträgt:

23 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 23 von 50 Das Modell Lernregeln: für das Modell: für den Controller:

24 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 24 von 50 Das Modell Der Khepera Roboter 8 IR-Sensoren 2 Motoren max. 1m/s erweiterbar Quelle:

25 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 25 von 50 Das Modell Beispiel der Roboter bewegt sich mit konstanter Geschwindigkeit der Output des Controllers gibt nur die Drehgeschwindigkeit an Modellierung durch ein einzelnes Neuron:

26 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 26 von 50 Quelle: Der / Liebscher: True autonomy from self-organized adaptivity

27 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 27 von 50 Quelle: Der / Liebscher: True autonomy from self-organized adaptivity

28 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 28 von 50 Quelle: Der / Liebscher: True autonomy from self-organized adaptivity

29 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 29 von 50 Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung

30 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 30 von 50 Roboter mit Eigeninitiative Das Problem: Bislang war die Geschwindigkeit gegeben Das Modell strebt möglichst konstant bleibende Sensorwerte an Das ist gegeben, wenn der Roboter nichts tut

31 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 31 von 50 Roboter mit Eigeninitiative Die Lösung: Der Roboter bekommt einen Anreiz zur Aktivität Dazu wird im Vorhersagemodell die Zeit umgedreht

32 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 32 von 50 Roboter mit Eigeninitiative Die Zeitschleife:

33 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 33 von 50 Roboter mit Eigeninitiative Dabei entsteht der Fehler mit Der Fehler ist klein, wenn das aktuelle Verhalten des Roboters gut durch das Modell repräsentiert wird

34 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 34 von 50 Roboter mit Eigeninitiative Berücksichtigung der Dynamik, die nicht durch das Modell beschrieben ist (Störung, Messfehler, Rauschen):

35 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 35 von 50 Roboter mit Eigeninitiative Daraus folgt: Der Fehler durch das Rauschen pflanzt sich in der Zeit rückwärts fort Der Modellfehler wird minimiert, wenn die Roboter-Sensormesswerte instabil sind Anreiz zur Aktivität

36 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 36 von 50 Roboter mit Eigeninitiative Verhalten des Roboters: Der Roboter zeigt sofort Aktivität, wenn er im Tabula rasa Zustand gestartet wird Beim Aufprall auf Hindernisse wird der Messfehler sprunghaft so groß, dass der Roboter sofort umdreht

37 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 37 von 50 Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung

38 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 38 von 50 Visuelle Sensoren Quelle: Der / Liebscher: True autonomy from self-organized adaptivity.

39 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 39 von 50 Visuelle Sensoren Eingabevektor: x=(v l, v r, s 1,…s K ) v l, v r : Geschwindigkeiten der Räder s i : Pixelwerte der Kamera im R 3

40 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 40 von 50 Visuelle Sensoren Preprocessing: Binäre Klassifizierung der Pixel, ob sie der Farbe des Balles entsprechen oder nicht Herunterskalieren des Bildes auf 32 * 32 Pixel in Graustufen Erzeugen eines Bewegungsvektors im R 2 für den Ball aus 2 aufeinander folgenden Bildern

41 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 41 von 50 Visuelle Sensoren Der Controller besteht aus 2 Neuronen Neuron 1 regelt die Geschwindigkeit gefüttert mit der Geschwindigkeit des Balles in Fahrtrichtung sowie den Sensormesswerten von den Rädern Funktioniert wie eben gesehen

42 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 42 von 50 Visuelle Sensoren Der Controller besteht aus 2 Neuronen Neuron 2 regelt die Lenkung wird gefüttert mit den Pixelwerten aus dem vorher aufbereiteten Bild Annahme: die Komponente g 2 des Bewegungsvektors g soll sich nicht ändern

43 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 43 von 50 Visuelle Sensoren Fehlerberechnung

44 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 44 von 50 Visuelle Sensoren Ausgabefunktionen

45 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 45 von 50 Visuelle Sensoren Lernregeln

46 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 46 von 50 Visuelle Sensoren Ergebnisse: Anpassung der Geschwindigkeit funktioniert beim Pioneer ähnlich gut wie beim Khepera Anpassung der Richtung aufgrund der Kameradaten bereitet noch Probleme, die allerdings technischer Natur sind

47 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 47 von 50 Überblick Einleitung Künstliche neuronale Netze Das Modell Roboter mit Eigeninitiative Visuelle Sensoren Zusammenfassung

48 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 48 von 50 Zusammenfassung Wir haben gesehen, wie: Roboter mit Hilfe von neuronalen Netzen lernen können Sie mit Hilfe von neuronalen Netzen dazu gebracht werden können, Aktivität zu entwickeln Wie die Verarbeitung von visuellen Informationen in dieses Modell integriert werden kann

49 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 49 von 50 Zusammenfassung Bezug zum Roboterfußball: Zur Zeit noch keine praktische Anwendung der hier vorgestellten Ergebnisse In der Anwendung dominiert noch die klassische KI Ergebnisse sind noch sehr frisch, daher wahrscheinlich in Zukunft auch relevant für die Praxis

50 Seminar Robotfußball, SoSe 2003Carsten Keßler: Selbstorganisation und Lernen 50 von 50 Vielen Dank für die Aufmerksamkeit!


Herunterladen ppt "Seminar Robotfußball, SoSe 2003 Selbstorganisation und Lernen Carsten Keßler."

Ähnliche Präsentationen


Google-Anzeigen