Autonome Roboter Teams für Fußball und Katastrophenhilfe Prof. Dr. B. Nebel, Univ. Freiburg, FAW Autonome Roboter Teams für Fußball und Katastrophenhilfe Verteiltes Wahrnehmen und Handeln Roboter Fußball & der RoboCup Wettkampf Kooperative Wahrnehmung Individuelle Fähigkeiten & Koordination Roboter zur Katastrophenhilfe & der TechX Wettkampf Schlussbemerkungen

Verteiltes Wahrnehmen und Handeln in dynamischer Umgebung Unsere Sicht von Algorithmen ändert sich: Von zentralistischen Algorithmen … … hin zur Echtzeit-Interaktion verteilter Rechner mit ihrer Umwelt Verschmelzung verschiedener Sensormodalitäten Erreichen von Zielen durch Kooperation und Interaktion Beispiele: Sensornetzwerke Handy & Eigenheim Automatisierung Roboter Teams A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Die RoboCup Initiative Fußball als a Benchmark für die Forschung [Kitano et al 97]: Seit 1997 jährliche Wettkämpfe und Workshops, seit 2001 RoboCup Rescue Einige RoboCup Ligen: „Soccer Mid-Size“ Liga (CS Freiburg) „Rescue Simulation“ Liga (ResQ Freiburg) „Rescue Robot“ Liga (RescueRobots Freiburg) Andere Wettkämpfe: Sick AG Competition TechX Challenge Singapur Goal CS Freiburg against CMU Hammerheads (RoboCup´01) A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Robotik Projekte der Gruppe von Prof. Dr. Nebel „Rettungsroboter“ (2003-2007) Roboter Fußball (1998-2002) All-Terrain Sicherheit & Rettung (2008-) Dieser Vortrag A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

CS Freiburg: Roboter Hardware Pioneer 1 Roboter (von ActivMedia) Notebook (mit Linux) WLAN Kicker: Eigenbau mit der SICK AG Sensors Digital Sony Kamera SICK Laser Scanner RAD-Odometrie Kicker Sensors A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Sensordaten Interpretation Eingabe: Laser Scanner Daten (360 Entfernungsmessungen in 180°, 1cm Genauigkeit, 30 Scans/Sekunde) Odometrie (Translation, Rotation, 10 Messungen/Sekunde) Video (30 Bilder pro Sekunde) Ausgabe: Eigene Pose (Position und Orientierung) = „Selbstlokalisierung“ Posen und Geschwindigkeiten anderer Spieler (Mitspieler und Gegner) Ball Position und Geschwindigkeit A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Multi-Roboter Sensorverarbeitung Alle Spieler senden ihre Schätzungen (eigene Position, Ball Position, Position anderer Spieler) mit einem Zeitstempel zu einem globalen Integrations-Modul. Schätzungen werden vereint Freund-Feind Erkennung: Unsere Spieler funken ihre eigene Position Globale Ballposition Schätzung: Globale Sicht von allen Kameras des Teams  Erkennung von Phantom Bällen (sehr wichtig für den Torwart) Generell: Kooperative Wahrnehmung A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Spieler 2 „halluziniert“ False Positives ? Spieler 2 „halluziniert“ A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Demokratische Phantom Ball Eliminierung: Markov Localization Vorhersageschritt (von bekannter Richtung und Geschwindigkeit auf 2-dimensionalen Grid) Berechnet die zukünftige Ballposition, gegeben das Bewegungsmodell und die momentane Ballposition (Positionen als Wahrscheinlichkeitsdichte) Aktualisierungsschritt Korrigiert momentan geschätzte Position nach der Bayes´ Regel gegeben eine Beobachtung, z.B. Kamera sieht den Ball bei ~3m und -20°, und das Beobachtungsmodell A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Phantom Bälle: Filterung durch Wahrscheinlichkeitsverteilung after 2nd measurement (2) after 3rd measurement (3) after 4th measurement (1) after 5th measurement (2) after 6th measurement (3) after 1st measurement (1) Ballposition wird im Gebiet höchster Wahrscheinlichkeit angenommen. Bei RoboCup 2000 wurden 938 von 118388 (0.8%) Ball-Beobachtungen durch die “Markov localization” gefiltert. A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Die Notwendigkeit kooperativer Ballbeobachtung Minho (Portugal) schießt von der anderen Seite des Feldes auf unser Tor. Unser “Goalie” erhält diese Information schon früher von seinen Kameraden und kann deshalb auch früher reagieren. A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Individuelle Spieler Verhalten Mit dem Ball MoveTrickShoot: beim Lauf auf das Tor, täusche eine Richtung an und drehe im letzten Moment auf die andere Ecke DribbleBall: Lauf mit dem Ball auf as Tor zu ShootPos: Pass auf eine bestimmte Position, oft in der Nähe des gegnerischen Tors InboundShoot: Schuss auf die Bande nach Berechnung TurnBall: Drehung mit Ball in Richtung gegnerisches Tor Ohne Ball ObserveBall, SearchBall, GotoPosition, WaitPass, GetBall, GotoBall . . . A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Spieler Verhalten: Bandenschuss & Trickschuss Bandenschuss gegen COPS Stuttgart Trickschuss gegen Sharif (Iran) A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Roboter Teams für Fußball und Katastrophenhilfe Kooperatives Handeln Fehlende Koordination führt zu Schwarmverhalten Verringerung von Störverhalten erwünscht Keine Angriffe auf eigene Mitspieler Keine Blockierung des angreifenden oder verteidigenden Roboter Verwendung von Kompetenzbereichen auf dem Feld Aufgabenverteilung und Neuverteilung Der Spieler der dem Ball am nächsten ist sollte zu diesem gehen Wenn ein Spieler verhindert ist, sollte ein anderer seine Aufgabe übernehmen Gemeinsame Aktions-Ausführung: Passspiel Verwendung von dynamischen Rollenwechseln A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Kooperation: Dynamische Rollenverteilung Jeder Spieler hat eine von 4 Rollen: „goalie“: Torwart (fest) „active“: Spieler mit dem Ball „supporter“: Spieler in geg. Hälfte „strategic“: Spieler in eig. Hälfte Platzierung: jede Rolle bevorzugt bestimmte Positionen, abhängig von der Situation: Ball Position, Positionen der Mitspieler und Gegner Defensive oder Offensive Aktive Rolle Strategische Rolle Unterstützende Rolle A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Dynamischer Rollenwechsel Jeder Spieler berechnet einen Nutzenwert für jeden Spieler und jede Rolle und verschickt diesen Der Nutzen hängt von der Entfernung des Spielers zu der bevorzugten Position der Rolle ab Jeder Spieler versucht den Gesamtnutzen der Gruppe zu maximieren unter der Annahme das dies alle Mitspieler tun Rollen werden nur dann vertauscht wenn min. zwei Spieler einer Meinung sind Anmerkung: Lokale Ansichten der Roboter können variieren! A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Beispiel des Rollenwechsels Verteidigung gegen Artisti Veneti (Italien) . Die Rollen des aktiven und strategischen Spielers werden einige male gewechselt A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Gemeinsame Ausführung: Ein Pass . . . der leider nicht geklappt hat Ein Pass im Semi-Finale gegen das italienische ART Team (RoboCup 1999). Basierend auf folgender Direktive: “Wenn es nicht möglich ist direkt zu schießen, warte auf den supporter und spiele dann einen Pass“ A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Roboter für Sicherheit und Katastrophenhilfe (S&R) „Vereinfachte“ Bedingungen bei RoboCup Soccer: Die Welt besteht aus 8 Farben (auch normierte Beleuchtung) Die Welt ist klein (ca. 14 x 12 Meter) Der Boden ist flach Wissenschaftliche Herausforderung S&R: Hoher grad an Realitätsnähe, z.B. „unstrukturierte“ Umgebung Sozialer Nutzen: Roboter sollen Aufgaben übernehmen die für Menschen lebensgefährlich sind Hohe Nachfrage bei „First Respondern“, z.B. Feuerwehr und Polizei Bisher nur „ferngesteuerte“ Einsätze bei z.B. 9/11 und Kathrina A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

TechX Wettkampf in Singapur Szenario Beschreibung Suche selbständig nach einem Zielgebäude auf einem größeren Gelände, bestehend aus Gebäuden Unwegsamen Gelände (Wiese und Steigungen) Hindernissen die umfahren oder überwunden werden müssen Fahre eine Treppe um das Zielgebäude zu betreten Erreiche das Zielstockwerk über einen Aufzug Durchsuche alle Räume nach Zielobjekten und berühre diese Fahr zurück zur Startposition (Eingang vom Gelände) Skizze der Organisatoren Volle Autonomie, z.B. jeglicher Funkkontakt ist verboten „Mission not accomplished“ nach verstreichen einer Stunde oder wenn ein Ziel übersehen wurde Preisgeld: 500.000€ für den schnellsten Roboter der alle Ziele findet A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

TechX Wettkampf in Singapur Missionsinformation 1.) Bild des Gebäudeeingangs 2.) Bild des Aufzugs 3.) Text Information A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

TechX Wettkampf in Singapur Zielobjekte die erkannt werden müssen Kiste Mülleimer Koffer Puppe A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

TechX Wettkampf in Singapur Unterschiede zur „DARPA Grand Challenge“ DARPA GC: Ausreichend GPS Wegpunkte mit “Fahrkorridor” “Befahrbarkeit” des Geländes ist einfach erkennbar (Straße) Strassen sind von Gebäuden entfernt (auch Innerorts) TechX: Drei GPS Wegpunkte (Start, Ende, und das Zielgebäude) Navigation auf jeder Geländeart erlaubt Robot navigiert nah zu Gebäuden (GPS Probleme) RNDF Fahrkorridor A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Systemübersicht teleMAX Roboter der TELEROB AG All-Terrain Roboter mit 4 Flippern 6 DOF Manipulator 1h Autonomie Dimensionen: 45cm x 100cm – 160cm (abh. Von Flippern) Gewicht: ~100kg mit Sensoren Klettersteigung: 45° Hindernissüberwindung: 0.5m Made in Germany Der teleMAX EOD Roboter A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Systemübersicht Sensoren 3D Scanner: Macht 3D Scans während der Fahrt Sieht alles, z.B. Hindernisse, innerhalb von 80 Meter vor den Roboter Sick LMS291 rotiert um seine Achse Amtec PR070 Modul für die Rotation 2D Laser (sieht 360°) Zur Lokalisierung 2D/3D Hokuyo URG-04LX Zur „Manipulation“ an der Hand angebracht (misst Entfernungen) Video Kameras vorne und hinten am Roboter Zur Manipulation und Terrain Klassifikation Crossbow AHRS440 Trägheitssensor Berechnet die 6D Pose des Roboters Trimble Pathfinder ProXT GPS 6 teleMAX mit Sensoren A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Roboter Teams für Fußball und Katastrophenhilfe System Übersicht GPS Positionsbestimmung – Verringerung von „Multipath“ Fehler ca. 5.0 Meter Fehler ca. 3.5 Meter 30 Minuten Fahrt A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

System Übersicht 3D Karte von Laser Daten und Rad-Odometrie Gebäude 52 Gebäude 51 Wegweiser Bäume Vom Roboter erstellte 3D Karte (Uni Freiburg) A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Kartierung des Geländes Beispiel: „Closing the Loop“ A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Roboter Teams für Fußball und Katastrophenhilfe Navigation Klassifikation von „unwegsamen Gelände“ durch Verhaltenskarten Unwegsames Gelände Höhenkarte Eingezeichnete Verhalten mit Parameter, z.B. Startposition und Winkel Klassifizierte Karte Verhaltenskarte A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Tiefenbilder des Models (von verschiedenen Ansichten) Objekterkennung Objekterkennung 3D Scan der momentanen Szene Aus der 3D Objektdatenbank Merkmalerkennung Tiefenbilder des Models (von verschiedenen Ansichten) Tiefenbild der momentanen Szene A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Befahren einer Treppe Neues und altes System „Lurker“ während RoboCup 2006 (voll autonom) Telemax in unserem Labor 2008 (ferngesteuert) A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Roboter Teams für Fußball und Katastrophenhilfe Schlussbemerkungen Methoden für das verteilte Wahrnehmen und Handeln werden zunehmend wichtiger Die Verschmelzung mehrerer „Meinungen“ führt zu einer robusteren Wahrnehmung der Welt … … und die Koordination einzelner Aktionen zu effizientem Handeln Wettkämpfe, wie RoboCup und TechX, sind Beispiele für das „Benchmarking“ von Robotersystemen Die Anforderungen steigen schrittweise Jahr für Jahr, wie z.B. beim spielen verschiedener Golfplätze Wenn man es richtig angeht, kann man auch einen Weltmeistertitel gewinnen A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Roboter Teams für Fußball und Katastrophenhilfe Ergebnisse In der Mid-sized Liga 2ter Platz bei RoboCup German Open 2002 1ter Platz bei RoboCup 2001 1ter Platz bei RoboCup German Open 2001 1ter Platz bei RoboCup 2000 1ter Platz bei RoboCup'98 In der Rescue Simulation Liga (ResQ Freiburg): 1ter Platz bei den GermanOpen 2003 1ter Platz bei den GermanOpen 2004 1ter Platz bei der RoboCup Weltmeisterschaft 2004 in Portugal Gewinner des Infrastruktur-Wettkampfs bei RoboCup 2004 1ter Platz bei den GermanOpen 2005 Gewinner des Infrastruktur-Wettkampfs bei RoboCup 2005 In der Rescue Robot Liga (RescueRobots Freiburg): 2ter Platz bei den GermanOpen 2005 „Mobility Award“ bei den GermanOpen 2005 1ter Platz "Best in class Autonomy" bei RoboCup 2005 in Osaka 1ter Platz "Best in class Autonomy" bei RoboCup 2006 in Bremen In der Rescue Simulation Liga (RescueRobots Freiburg): 1ter Platz in der „Virtual robots competition“ bei RoboCup 2006 Gewinner des Infrastruktur-Wettkampfs bei RoboCup 2006 Beim “Sick Robot Day” 2007 1ter Platz A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Roboter Teams für Fußball und Katastrophenhilfe Vielen Dank für ihre Aufmerksamkeit! A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe

Wettkämpfe & Wissenschaft Wettkämpfe fördern den „State of the art“ in der Wissenschaft Direkte Vergleiche Entwicklung neuer, innovativer Lösungen Probleme: Ausnutzen von „Löchern“ in den Regeln Fokus auf den Wettkampf Wie baut man ein erfolgreiches System: Konzeptionelle Details sind sehr wichtig (z.B. Selbstlokalisierung, Team Koordination) Kombination, Integration & Robustheit spielen eine wichtige Rolle Resultate werden in Workshops ausgetauscht A. Kleiner, Univ. Freiburg Roboter Teams für Fußball und Katastrophenhilfe 35