Multimediapraktikum SS07 Vision-Based Motion Analysis Handgestenerkennung
Übersicht 1. Aufgabenstellung 2. Handtracking 1. Farbsegmentierung 2. Camshift 3. Klassifizierung 1. Features 2. Naive Bayes 4. Funktionsweise 5. Demo
Aufgabenstellung Programm zur Erkennung von Händen und Bestimmung ihrer Positionen über Kamera- Aufnahme, Klassifizierung der Handgesten mit Hilfe berechneter Merkmalen
Implementierung Handtracking (OpenCV) Farbsegmentierung der rechten und linken Hand (verschieden farbige Handschuhe) mit hilfe eines Farbraumes. Z.b. La*b* oder YCbCr Farbräume Tracking mit Hilfe des Camshift-Algorithmus D-Histogramme Backproject
Implementierung Klassifizierung (Weka) Features berechnen verschiedene Features für jede Hand Feature für den Abstand der zwei Händen Klassifizierung mittels Naive Bayes
Funktionsweise Training Name der Geste in Textfeld schreiben Training-Button klicken Positioniere die Hände so vor der Kamera, dass jede Hand auf ein Rechteck liegt Sobald Elipsen im Bild zu sehen sind, Geste vorführen Geste beendet sobald beide Hände aus dem Bild genommen werden. (3-4 wiederholen) Ende-Button drücken Trainingsende Save-Button: Trainingsdaten werden in eine arff- Datei gespeichert.
Funktionsweise Gestenerkennung Hände vor der Kamera positionieren, so dass jede Hand auf ein Rechteck liegt Sobald Elipsen im Bild zu sehen sind, Geste vorführen Geste beendet sobald beide Hände aus dem Bild genommen werden Berechnete Features werden dem Klassifikator übergeben und basierend auf den Trainingsdaten wird die Geste einer Klasse zugewiesen. (Nur bei mind. 70% Übereinstimmung)