Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Tormann Lorenz Maierhofer 9930610. Die Test-Umgebung Tor: 5x Roboter-Durchmesser Ball: Wird jeweils in Richtung einer zufälligen Position im Tor geschossen.

Ähnliche Präsentationen


Präsentation zum Thema: "Tormann Lorenz Maierhofer 9930610. Die Test-Umgebung Tor: 5x Roboter-Durchmesser Ball: Wird jeweils in Richtung einer zufälligen Position im Tor geschossen."—  Präsentation transkript:

1 Tormann Lorenz Maierhofer 9930610

2 Die Test-Umgebung Tor: 5x Roboter-Durchmesser Ball: Wird jeweils in Richtung einer zufälligen Position im Tor geschossen Stoppt der Ball, so wird er wieder neu Richtung Tor geschossen

3 Der Roboter (1) Kamera: Öffnungswinkel 100° Bounding Box: Runde Hülle statt Keksdosen- Form Abstands-Sensoren: 8x in 45°-Schritten Nur zur Kollisionserkennung

4 Sensor-Auswertung (1) Absolute Ball-Position: Durch Schwerpunkt und Radius (Trigonometrisch) Ball-Geschwindigkeit & Richtung: Positions-Mittlung über mehrere Bilder, Median, nur grobe Klassifizierung (Stop/in Bewegung;...) Abschätzung des Torlinien-Übertritts: Je näher der Ball, desto schlechter die Schätzung – zu ungenau, weil....

5 Probleme (1) Durch den grossen Öffnungswinkel der Kamera verzerrt sich das Bild (Entzerrung nötig) In der Nähe wird der Ball sehr leicht aus dem Blickbereich verloren Ball-Radius springt besonders bei nahem, schnellen Ball

6 Lernen (1) Lernalgorithmus: Q(λ)-Learning (mit Optionen) Zustandsmenge: Bestehend aus Features: Ball-Geschwindigkeit: Stopp / In Bewegung Ball-Richtung: In Richtung Tor / Weg vom Tor / Ball ist zu langsam

7 Zustandsmenge (1) Ball-Position relativ: nah am Roboter / weit weg / sehr weit weg / unbekannt Ball-Position absolut: 3-Teilung des Spielfeldes in Bereiche nach Entfernung vom Tor

8 Zustandsmenge (2) Roboter-Positionen Lernziel ist u.a., dass sich der Tormann möglichst - nie in far aufhält - wenig in left/right ist

9 Zustandsmenge (3) Zusätzliche Zustände: - Kollision - Hindernis links/rechts/vorn/hinten - Kontakt mit dem Ball - Ball ist im Tor

10 Zustandsmenge (4) Gesamt: 2x3x4x3x6+7=439 Zustände Aber: Viele Zustände fallen in der Praxis weg Beispiel: Ballposition unbekannt => nur Roboterposition Effektiv (für das Lernen relevant): 194 Zustände

11 Aktionen / Optionen (1) Drehe, um Ball im Blickfeld zu behalten Fahre zurück auf die Torlinie Fahre auf den Ball zu und schieße ihn weg Fahre links/rechts zur X-Koordinate des Balles Fahre links/rechts je nach Ballposition im Bild Schieße Ball weg (nur bei Kontakt wählbar) (Fahre nach links / Fahre nach rechts – Aktionen schließlich nicht verwendet) ! Optionen selbst nicht in jeder Situation erfolgreich !

12 Reward-Vergabe (1) Ball im Tor: -0.25 Kontakt mit Ball: +1.0 Kollision: -0.5 Hindernis in der Nähe: -0.05 Roboter sehr weit weg vom Tor: -0.05 Ball aus dem Blickfeld: 0.0 ! Ansonsten: 0.0

13 Lernen (2) Gesamt: 194 effektive Zustände 6 Optionen, 0 Aktionen Lernerfolg: relativ rasch, da - wenige Zustände sehr häufig auftreten und entscheidend sind - nur Entscheiden zwischen Optionen, die bereits Basisfunktionalität besitzen

14 Lernerfolg (1) Durchschnittliche Ballkontakte pro Episode: ~4.4 Grundverhalten bereits nach 15-25 Episoden Danach relativ wenig Verbesserung

15 Vergleich mit programmierter Lösung: Vergleichs-Controller: - Sensor-Auswertung wie beim Lernen - Optionen nur geringfügig angepasst - Optionswahl durch Ballposition und Roboter-Position - Hauptsächlich benutzte Option: Fahre links/rechts auf die Höhe des Balles

16 Vergleich mit programmierter Lösung: Programmiert: ~5.6 Ballkontakte/Episode ~1.3 min/Episode Gelernt (1450 Episoden) ~4.4 Ballkontakte/Episode ~0.9 min/Episode

17 Fazit Solide Ballerkennung / Ballauswertung für gutes Verhalten unumgänglich Rundum-Kamera große Verbesserung Reward-Vergabe schwierig...

18 Fragen?


Herunterladen ppt "Tormann Lorenz Maierhofer 9930610. Die Test-Umgebung Tor: 5x Roboter-Durchmesser Ball: Wird jeweils in Richtung einer zufälligen Position im Tor geschossen."

Ähnliche Präsentationen


Google-Anzeigen