SEP Mimikerkennung in Videobildern Christoph Mayer Sylvia Pietzsch

Inhalt Generelles zur Mimikerkennung Auswahl bisheriger Arbeiten Wozu Mimikerkennung? Einsatzgebiete Die sechs Hauptmimiken Wieso ist Mimikerkennung schwierig? Auswahl bisheriger Arbeiten Arbeit von Tian, Kanade und Cohn Arbeit von Schweiger, Bayerl und Neumann Unsere Vorgehensweise Zusammenfassung

Wozu Mimikerkennung? Traditionelle Kommunikation zwischen Mensch und Computer: Tastatur, Maus, Bildschirm Zwischenmenschliche Kommunikation: Sprache, Mimik, Gestik Ziel der Mimikerkennung durch den Computer: Übertragung intuitiver Kommunikation auf die Mensch-Maschine-Schnittstelle

Einsatzgebiete Interaktiver Verkaufsagent Cosima Automobil und Flugzeug: Erkennung von Müdigkeit, Aggression von Autofahrern, Piloten, Fluglotsen Emotionale Computer Erfassung der Kundenzufriedenheit Interaktive Lehr- und Lernsysteme

Die sechs Hauptmimiken Ekman und Friesen: sechs Hauptmimiken, die in allen Kulturkreisen erkannt und angewendet werden  Überraschung, Lachen, Angst, Wut, Trauer, Ekel 42 „Action Units“ im Gesicht kodieren Muskelbewegungen im Gesicht (FACS)

Wieso ist Mimikerkennung schwierig? Feine, diffizile Bewegungen, die schwer zu messen sind Intuitive Bewegungen, die man nicht bewusst ausführt und daher nicht bewusst umschreiben kann Unterschiedliche Gesichtsproportionen und Hautfarben Unterschiedliche Intensität von Mimiken in verschiedenen Kulturkreisen

Arbeit von Tian, Kanade und Cohn Erkennung mittels Falten und Action Units Klassifikation mit neuronalem Netz Arbeit mit zwei Datenbanken: Cohn-Kanade und Ekman-Hager

Arbeit von Schweiger, Bayerl und Neumann Verwendung von Optical Flow Aufteilung des Gesichts in sechs Bereiche Bildung eines Bewegungsvektors pro Bereich Klassifikation mit neuronalem Netz  ähnlicher Ansatz wie in unserem Projekt

Unsere Vorgehensweise Zweidimensionales Gesichtsmodell: 134 Punkte beschreiben Augen, Augenbrauen, Nase, Mund, Gesichtskontur 17 Parameter beschreiben Deformationen Dynamisches Gitter mit 140 Punkten wird über das Gesicht gelegt. An den Gitterpunkten wird der Optical Flow berechnet.

Unsere Vorgehensweise (2) Verwendung der Cohn-Kanade-Facial-Expression-Database Datenreduktion und Finden von Haupt-komponenten mittels Hauptachsen-transformation Klassifikation mittels binärer Entschei-dungsbäume (C4.5-Algorithmus) Erstellung der Entscheidungsbäume mittels WEKA

Zusammenfassung Mimikerkennung zur Verbesserung der Kommunikation zwischen Mensch und Maschine Sechs Hauptmimiken Verschiedene Herangehensweisen: Action Units, Optical Flow, Faltenbildung … Darstellung der Herangehensweise in unserem Projekt mittels Gesichtsmodell und Optical Flow