Projekt A4: Alignment of Situation Models Gert Rickheit Sven Wachsmuth Constanze Vorwerg Agnes Swadzba SFB-Kolloqium,

Alignment of Situation Models Projekt A4 2 Aus der Sicht eines Roboters Wahrnehmung komplexer Räume Mit Menschen über Räume sprechen Vereinfachung der Komplexität durch: Erzeugen von Situationsmodelle Alignment der Modelle Nutzen der Modelle zur Reduktion des visuellen Verarbeitungsaufwands Welche Schritte sind notwendig? BIRON

Alignment of Situation Models Projekt A4 3 Perzeption der Szene Fokus auf 3D-Datenakquise Verschiedene Möglichkeiten: Stereo-Kameras Laserscanner Unsere Wahl: Swissranger SR3000 3D Time-of-Flight (ToF) Camera 176 x 144 Pixelsensoren Abstandsberechung aus Zeitdifferenz zwischen Senden und Empfangen eines Infrarotsignals

Alignment of Situation Models Projekt A4 4 Beispieldaten eines Büros

Alignment of Situation Models Projekt A4 5 Erweiterung des Sichtfelds Aufnahme einer Sequenz von 3D-Punktwolken Registrierung und Rekonstruktion zu einer globalen Punktwolke Diplomarbeit: Estimation of Camera Motion from Depth Image Sequences

Alignment of Situation Models Projekt A4 6 Erweiterung des Sichtfelds

Alignment of Situation Models Projekt A4 7 Analyse der Szenen Datengetriebene Analyse der 3D-Punktwolken Extraktion von geometrischen Raumprimitiven: Beschränkung auf von Menschen gestaltete Innenräume Extraktion von planaren Flächen: Gegebene Anordnung der 3D-Punkte in eine 2D-Matrix Region Growing über die 8-er Nachbarschaft durch Punkte die 4 Kriterien erfüllen Kriterien: planar, valid, conormal, coplanar

Alignment of Situation Models Projekt A4 8 Analyse der Szenen

Alignment of Situation Models Projekt A4 9 Ziele der Szenenanalyse Menschen haben beim Betreten eines Raumes ein Raumkonzept im Kopf Alignment des Roboter auf dieses Konzept Durch ähnliche Konzepte wird die Kommunikation effektiver, einfacher und schneller Strategien: Aushandeln im Dialog (Koordination) Annahmen aus Daten generieren Aus Handlungen generieren usw. Wahrnehmung ist durch aktuelle Situation determiniert

Alignment of Situation Models Projekt A4 10 Raumerkennung Raumerkennung auf Basis planaren Strukturen Experiment: Raumkategorien: Büro, Seminarraum, Flur Ziel: Klassifikation von Perzepten (3D-Punktwolken) in einer der 3 Raumkategorien (sowohl von bereits bekannten wie auch von unbekannten Räumen) Merkmale: Statistiken auf extrahierten Ebenen

Alignment of Situation Models Projekt A untersuchte Statistiken Anzahl der Punkte pro planare Fläche Winkel zwischen allen Flächenpaaren Winkel zwischen nah benachbarten Flächenpaaren Größen- verhältnisse zwischen allen Flächenpaaren

Alignment of Situation Models Projekt A4 12 Durchführung des Experiments 300 Aufnahmen pro Raum als Trainingsdaten 270 Aufnahmen zum Trainieren der Klassifikatoren Neuronale Netze (NN) Support Vector Machine (SVM) Mischverteilungsklassifkator (MVK) 30 Aufnahmen zum Testen der Raumwiedererkennung 300 Aufnahmen von 3 weiteren Räume zum Testen der Kategorisierungsleistung bei unbekannten Räumen

Alignment of Situation Models Projekt A4 13 Ergebnisse Trainingsräume

Alignment of Situation Models Projekt A4 14 Ergebnisse Testräume

Alignment of Situation Models Projekt A4 15 Ergebnisse

Alignment of Situation Models Projekt A4 16 Ausblick Nächste Schritte: Experimente mit anderen Räumen (z.B. Wohnzimmer, Schlafzimmer, Küche) Untersuchung alternativer Statistiken Weitere Ziele: Generieren von Szenenmodellen basierend auf planaren Strukturen und extrahierten Merkmalen Integration von Farbinformation Verwenden von Objektdetektoren Wissen über menschliche Modelle integrieren Weltwissen über Räume aufbauen Mögliche Dimensionen (Raumkonzept, Farbkategorien, Größenbeziehungen, räumliche Bezugssystem, usw.)? Alignment auf und Abhängigkeit zwischen den Dimensionen?