Masterseminar Robert Neßelrath Lehrstuhl Wahlster 2007 Framework zum Klassifizieren von Gesten basierend auf multiplen Sensoren.

Präsentation zum Thema: "Masterseminar Robert Neßelrath Lehrstuhl Wahlster 2007 Framework zum Klassifizieren von Gesten basierend auf multiplen Sensoren."—  Präsentation transkript:

1 Masterseminar Robert Neßelrath Lehrstuhl Wahlster 2007 Framework zum Klassifizieren von Gesten basierend auf multiplen Sensoren

2 Übersicht Wiimote WEKA – Klassifikator Vorverarbeitung der Beschleunigungsdaten Modularisierung des Frameworks Klassifikationsebene Anwendungsebene Präsentation des aktuellen Entwicklungsstatus Offene Probleme

3 Übersicht Wiimote WEKA – Klassifikator Vorverarbeitung der Beschleunigungsdaten Modularisierung des Frameworks Klassifikationsebene Anwendungsebene Präsentation des aktuellen Entwicklungsstatus Offene Probleme

4 Wiimote Kommunikation über Bluetooth Eingabe 12 Knöpfe 3 Beschleunigungssensoren mit Messbereich von -/+ 3g Infrarotsensor zum Erkennen von 2 Infrarotspots Ausgabe Vibrationseffekte Lautsprecher LEDs Erweiterungsmöglichkeit über Steckkontakt entweder mit klassischem Controller oder Nunchunk-Controller (Analogstick mit Bewegungssensor)

5 Kompatible Bluetoothstacks Windows XP native Stack funktioniert nicht Blue Soleil Widcomm Stack Toshiba Notebook Stack Apple iBook Linux BlueZ Bluetooth Driver

6 Auslesen der Wiimote- Informationen 2 Modi: Wiimote sendet permanent den Zustand von Knöpfen und Sensoren Wiimote sendet nur bei Knopfdruck APIs für verschiedene Programmiersprachen unterstützen das Auslesen der Information, u.a. Java, C, C#, Flash, Perl… weitere Informationen unter: http://www.wiili.org/index.php/Wiimote-api http://www.wiili.org/index.php/Wiimote-api

7 Messwerte Zustand der Knöpfe Position der Infrarotspots Werte der Beschleunigungssensoren Informationen über evtl. angeschlossenen Controller graphische Darstellung der Beschleunigungsdaten über ein Zeitintervall

8 Messwerte (cont.) Linksbewegung Rechtsbewegung Kreisbewegung

9 Übersicht Wiimote WEKA – Klassifikator Vorverarbeitung der Beschleunigungsdaten Modularisierung des Frameworks Klassifikationsebene Anwendungsebene Präsentation des aktuellen Entwicklungsstatus Offene Probleme

10 WEKA Waikato Environment for Knowledge Analysis entwickelt an der University of Waikato in Neuseeland umfangreiche Javabibliothek zur Klassifikation und Clustering implementiert viele aktuelle Machine Learning und Data Mining Algorithmen Funktionen sind entweder über eine graphische Benutzeroberfläche oder eine Java API ansprechbar http://www.cs.waikato.ac.nz/~ml/index.htm

11 WEKA Klassifikator verschiedene Klassifikatoren verfügbar Entscheidungsbäume Naive Bayes Neuronale Netze …

12 WEKA Klassifikator outlooktemperaturehumiditywindyplay sunny85 FALSEno rainy6570FALSEyes overcast8175FALSEyes nominale Attribute numerische Attribute Fixe Anzahl an Attributen Attribute der Daten bestehen aus nominalen und numerischen Werten Beispiel für Datensatz:

13 Übersicht Wiimote WEKA – Klassifikator Vorverarbeitung der Beschleunigungsdaten Modularisierung des Frameworks Klassifikationsebene Anwendungsebene Präsentation des aktuellen Entwicklungsstatus Offene Probleme

14 Vorverarbeitung der Beschleunigungsdaten Problem: gemessene Gesten sind unterschiedlich lang werden dadurch durch unterschiedlich große Datensätze beschrieben Weka akzeptiert nur feste Anzahl an Attributen Daten müssen vereinheitlicht werden, das Signal aber weiterhin möglichst eindeutig beschreiben

15 Vorverarbeitung der Beschleunigungsdaten 1. Ansatz: äquidistantes Gitter über Daten legen

16 Vorverarbeitung der Beschleunigungsdaten Vorteile: einfache Idee schnelle Implementierung gute Ergebnisse für einfache Bewegungen Nachteil: Schwächen beim Erkennen von komplizierten Gesten wie z.B. Zahlen oder Buchstaben

17 Vorverarbeitung der Beschleunigungsdaten 2. Ansatz: Beschreiben der Kurven durch Attribute Mittelwert Standardabweichung Maximalwert Minimalwert Haltung des Controllers am Anfang/Ende der Bewegung Dauer der Bewegung Anzahl lokale Maxima/Minima in Intervallen

18 Vorverarbeitung der Beschleunigungsdaten Maxima / Minima ermitteln

19 Vorverarbeitung der Beschleunigungsdaten Vorteile: Bessere Klassifikationsergebnisse Erkennung von periodischen Vorgängen unterschiedlicher Länge

20 Übersicht Wiimote WEKA – Klassifikator Vorverarbeitung der Beschleunigungsdaten Modularisierung des Frameworks Klassifikationsebene Anwendungsebene Präsentation des aktuellen Entwicklungsstatus Offene Probleme

21 Modularisierung des Frameworks Anwendungsebene Klassifikator Sensor TCP/IP Socket Klassifikationsebene TCP/IP Socket

22 Klassifikationsebene Implementiert in Java Kommunikation erfolgt über Socketverbindung Plattformunabhängigkeit Zusätzliche Möglichkeit, Gestenklassifikations- Methoden direkt aufzurufen

23 Klassifikationsebene TCP / IP Socket Klassifikator (z.B. Weka) Java - Schnittstelle Datenbank mit erlernten Signalen Klassifikator Schnittstelle - Signal beschreibende Attribute finden - von Klassifikator lesbares Datenformat erzeugen - Zugriff auf Klassifikator – Methoden zum -Lernen -Klassifizieren von Signalen - Organisation der erlernten Daten in Datenbanken Java Daemon Aufgaben: Reaktion auf Anfragen der Anwendungen -Gesten erlernen -Gesten erkennen XML Anfragen parsen Klassifikator Methoden aufrufen Schnittstelle zur Anwendungsebene

24 Klassifikationsebene Kommunikation in Xml 1.234 … 0.863 ….324 …

25 Klassifikationsebene - schickt zu erlernendes Signal an den Server - schickt zu klassifizierendes Signal an den Server Antwort ist das klassifizierte Tag - prüft, ob erlernte Daten für User vorhanden sind - prüft, ob ein Tag für einen User bereits erlernt wurde Evtl. noch weitere Funktionalität nötig, zum Beispiel das Löschen von Tags

26 Anwendungsebene Implementiert in C#.NET Starke Modularisierung Soll das schnelle Ersetzen von Sensoren ermöglichen Anwendungsentwickler können schnell auf die Funktionalität der Gestenerkennung zugreifen

27 Anwendungsebene Wiimote API Sensorschnittstelle Anwendung zum Erlernen von GestenGestengesteuerte Anwendung Kommunikationsschnittstelle zur Klassifikationsebene TCP / IP Socket Wiimote Zugriff Sensorzugriff

28 Übersicht Wiimote WEKA – Klassifikator Vorverarbeitung der Beschleunigungsdaten Modularisierung des Frameworks Klassifikationsebene Anwendungsebene Präsentation des aktuellen Entwicklungsstatus Offene Probleme

29 Übersicht Wiimote WEKA – Klassifikator Vorverarbeitung der Beschleunigungsdaten Modularisierung des Frameworks Klassifikationsebene Anwendungsebene Präsentation des aktuellen Entwicklungsstatus Offene Probleme

30 Finden von Attributen um die Erkennung evtl. noch Verbessern zu können Ähnliche Probleme aus der Signal-, Sprach- und Bilderkennung können Ideen geben Offene Probleme