Gestenerkennung Von albert gass

Gliederung Einleitung Visuelle Gestenerkennung Merkmale einleitendes Zitat Visuelle Gestenerkennung Allgemein Merkmale Farben Geometrie der Objekte

gliederung Modellierung der beteiligten Daten Art der Datenaufnahme Daten-Handschuhe partiell gefärbte Handschuhe natürliche Erkennung Zeichnen-Modell Hand-Erkennung Phasen der Gestenerkennung Algorithmen und Verfahren Rubine Alg., SiGrid Alg., DTW, HHM

Gliederung Schwierigkeiten Quellen Hardware Beleuchtung Perspektive Feinheit der Gesten Quellen

einleitung "Computers became primary objects of our attention resulting in an area called “human computer interaction.” Today, however, we must ask: Are we actually interested in interacting with computers? Isn’t our goal rather to interact with information, to communicate and to collaborate with people? Shouldn’t the computer move into the background?" - N., Streiz

einleitung Computer treten mehr in den Hintergrund Unterstützende Funktion Integration als Kommunikationsapparat Intelligenz und Autonomie Heutige Bedienungserleichterungen: Touchscreens PDAs Graphic-Tablets

Visuelle gestenerkennung

allgemein Basiert auf Bildverarbeitung Verfolgung von Bewegungen -> Erkennen von Gesten Verfolgung von ausgezeichneten Markern/Merkmalen bzw. Eigenschaften

merkmale

farben einfachste Eigenschaft Beschreibung jedes Pixels eines digitalen Bildes mit seiner Farbe Aufgespannter Farbraum als Schwellenwert Abhängigkeit von der Beleuchtung

Geometrie der objekte einfache Objekte komplexe Objekte z.B.: Kreis menschliches Gesicht mehrere Objekte müssen parallel erkannt werden

Modellierung der beteiligten Daten

Art der datenaufnahme

Daten-handschuhe korrekte Position hohe Genauigkeit und Geschwindigkeit gute Kompatibilität Nachteil Bewegungseinschränkung

Partiell gefärbte Handschuhe Position durch Farberkennung zuverlässig Einschränkung der Natürlichkeit

Natürliche Erkennung keine zusätzliche Hardware nötig Darstellung der natürlichen Hand basiert auf Modellen, konzipiert für Aussehen Erscheinung Zugriff auf maschinelles Lernen

Zeichnen-modell erfolgreich für stiftbasierte Benutzerschnittstellen

Hand-erkennung Unterteilung in Vorder- und Hintergrund Pigmentierung YUV-Farbmodell Gauss Statistisches Modell Farben-Normierung Beschleunigt die Rechengeschwindigkeit Kontur eines Objekts

Phasen der Gestenerkennung Data Acquisition Sammeln der wichtigen Daten Gesture Modeling Anwendung der empfangenen Daten auf das jeweilige Modell meist sind einige Vorprozesse nötig Feature Extraction weich und reibungslos Merkmale können zu Trainingszwecken und als Vorlage dienen Recognition Stage Klassifizierung der Geste

Algorithmen und Verfahren

Rubine Algorithmus entwickelt von Dean Rubine (1991) Basis vieler Algorithmen zur Gestenerkennung merkt sich in periodischen Intervallen die Position Feature-Ermittlung Sinus, Cosinus Entfernungen Dauer und Geschwindigkeit

Sigrid Algorithmus entwickelt von Beat Signer, Moira Noirre und Ueli Kurrmann (2007) Basiert auf Bit-Signaturen in einem Grid n gleich große Quadrate Eindeutigkeit durch Bit-String Transformation des Zeichenvorgangs auf Grid Vergleich mit bereits bekannten Bit-Strings Levensthein Distanz Hamming Distanz

Dynamic time warping misst Ähnlichkeiten zweier Sequenzen unabhängig von Zeit Geschwindigkeit Rechenaufwand O(n²) Anwendung Sprach-, Unterschriften- und Umrisserkennung

Hidden markov model stochastisches Modell Markov-Kette mit unbeobachteten Zuständen Übergang auf zufällig Weise von einem in einen anderen Zustand Anwendung Sprach- und Gestenerkennung Spamfilter Schriftenerkennung

Schwierigkeiten

hardware Wahl der verwendeten Hardware zur Erfassung davon abhängig ist: Qualität des Ausgangsmaterials gewünschte Informationen Infrarot-, Restlicht- oder Normalbilder hohe Auflösung für feine Details hohe Frequenz der Aufnahme (vor allem bei Bewegungsabläufen)

Beleuchtung Einschränkungen der Farbqualität durch Schatten und Reflexion Verfälschung der Farben durch auftretende Blendeffekte Verdunkelung der Farbtöne durch Schatten Zusammensetzung des Lichts natürliches und künstliches Licht unterschiedliche Blauanteile

Perspektive Entfernung zur Kamera eintretender Winkel vom Objekt auftretende Phänomene Objekte werden überdeckt Objekte werden verzerrt dargestellt je nach Entfernung Gesten schwer erkennbar Lösung mehrere Kameras verwenden

Feinheit der Gesten wann und welche Gesten sollen erkannt werden Bewegungen metrisch erfassen mögliche Probleme bei zu starker Feinheit Fehlinterpretation unbewusster Bewegungen leichtes Zittern

Quellen http://www.ampublisher.com/Mar%202012/IPCV-1203-015-Hand-Gesture- Modeling-Recognition-Geometric-Features-Review.pdf http://de.wikipedia.org/wiki/Wikipedia:Hauptseite http://users.informatik.haw-hamburg.de/~ubicomp/projekte/master10-11- aw1/kilan/bericht.pdf