Laser-pointer based HRI Paul-Émile Arnaly Christian Knapp Lehrstuhl für Steuerungs- und Regelungstechnik Technische Universität München Abschlusspräsentation Betreuer: Dr.-Ing. Drazen Brscic http://www.lsr.ei.tum.de

Agenda Aufgabenstellung und Projektziel Projektverlauf und Lösungsansätze Ergebnisse

Projektziel Teilaufgaben Implementierung Laserpunkt Verfolgung in Kamerabildern Implementierung Mausinterface Detektion der Projektion, Kamera Selbstkalibrierung Test: Laserpointer basierte “Fernbedienung” eines interaktiven Programms wie z.B. Google Earth Eventuell: Übertragung auf Roboterinterface

Logitech Webcam Pro 9000 Imaging Source DFK 21F04 Hardware Auflösung: 640x480 25 fps Automatische Blendenwahl Imaging Source DFK 21F04 Auflösung: 320x240 30 fps Manuelle Blendenwahl am Objektiv

Laserpunkterkennung Ohne Hintergrundsubstraktion Schwellwertbildung: eine Stufe unter sum(Bild)=0 Ohne Hintergrundsubstraktion Wenn Schwellwert unter Schwellwertuntergrenze Kein Laserpunkt im Bild Position des ersten pix > 0 ist Laserpunkt Reduzierung Schwellwert um 7 Stufen Mit Hintergrundsubstraktion Suche ersten pix>0 & Abstand zu erstem LP>20 Wenn Suche über gesamtes Bild nicht erfolgreich Zweiter Laserpunkt im Bild Kein zweiter Laserpunkt

Mausansteuerung Klick erfolgt nicht gleichzeitig mit erscheinen des Laserpunkts Ansteuerungsschwierigkeiten Zeigen nicht möglich Zeigen /aus/ein -> Klick Scroll mit zwei Laserpointern Maus kommt in die Mitte Scroll auf der Seite Sicherer, akkurater Geringe Geschwindigkeit Gut für Google Earth/Maps Zu langsam beim Dokumentscrolling t 1 sec

Befehlsinterpretation 0: Kein Laserpunkt erkannt 1: Ein Laserpunkt erkannt im Hauptfeld erkannt N: Ein Laserpunkt im Zoomfeld erkannt 2: Zwei Laserpunkte erkannt *: Laserpunkt neben letzte bekannte Position t: Timer

Verzerrungskorrektur Fullscreen schwarz/weiß Hintergrund-substraktion Canny Edge Detector Hough line Filter Selektion der 4 Richtigen Linien Schnittpunkte ergeben korrespondierende Ecken

Zusammenfassung Ergebnisse Aufgaben für zukünftige Arbeit Genauigkeit ausreichend für grundlegende Interaktion Gute Nutzbarkeit unter „Normalen“ Umgebungsbedingungen Energieschwache Laserpointer nutzlos Erhöhung der Auflösung der Kamera Automatische Einstellung der Schwellwertuntergrenze und sonstigen Kameraparametern Automatisierung der Blendeneinstellung Benutzerfreundlichkeit

Ausblick Zeitlicher Signal im Laserstrahl Farblicher Signal im Laserstrahl 3D Erweiterung: Stereoskopisches Verfahren Farben 3D Polarisation 3D „Image Switch“ 3D (Active 3D mit LCD Brillen)

Ausblick - Videoprojektorroboter 3M ultra mini Video Projektor Dr. Matsumaru's Bio-Robotics & Human-Mechatronics Laboratory (2008) Star Wars - George Lucas (1977)

Vorführung Programvorführung … 12

Fragen & Diskussion ?