SEP Mimikerkennung in Videobildern

Präsentation zum Thema: "SEP Mimikerkennung in Videobildern"—  Präsentation transkript:

1 SEP Mimikerkennung in Videobildern
Christoph Mayer Sylvia Pietzsch

2 Inhalt Generelles zur Mimikerkennung Auswahl bisheriger Arbeiten
Wozu Mimikerkennung? Einsatzgebiete Die sechs Hauptmimiken Wieso ist Mimikerkennung schwierig? Auswahl bisheriger Arbeiten Arbeit von Tian, Kanade und Cohn Arbeit von Schweiger, Bayerl und Neumann Unsere Vorgehensweise Zusammenfassung

3 Wozu Mimikerkennung? Traditionelle Kommunikation zwischen Mensch und Computer: Tastatur, Maus, Bildschirm Zwischenmenschliche Kommunikation: Sprache, Mimik, Gestik Ziel der Mimikerkennung durch den Computer: Übertragung intuitiver Kommunikation auf die Mensch-Maschine-Schnittstelle

4 Einsatzgebiete Interaktiver Verkaufsagent Cosima
Automobil und Flugzeug: Erkennung von Müdigkeit, Aggression von Autofahrern, Piloten, Fluglotsen Emotionale Computer Erfassung der Kundenzufriedenheit Interaktive Lehr- und Lernsysteme

5 Die sechs Hauptmimiken
Ekman und Friesen: sechs Hauptmimiken, die in allen Kulturkreisen erkannt und angewendet werden  Überraschung, Lachen, Angst, Wut, Trauer, Ekel 42 „Action Units“ im Gesicht kodieren Muskelbewegungen im Gesicht (FACS)

6 Wieso ist Mimikerkennung schwierig?
Feine, diffizile Bewegungen, die schwer zu messen sind Intuitive Bewegungen, die man nicht bewusst ausführt und daher nicht bewusst umschreiben kann Unterschiedliche Gesichtsproportionen und Hautfarben Unterschiedliche Intensität von Mimiken in verschiedenen Kulturkreisen

7 Arbeit von Tian, Kanade und Cohn
Erkennung mittels Falten und Action Units Klassifikation mit neuronalem Netz Arbeit mit zwei Datenbanken: Cohn-Kanade und Ekman-Hager

8 Arbeit von Schweiger, Bayerl und Neumann
Verwendung von Optical Flow Aufteilung des Gesichts in sechs Bereiche Bildung eines Bewegungsvektors pro Bereich Klassifikation mit neuronalem Netz  ähnlicher Ansatz wie in unserem Projekt

9 Unsere Vorgehensweise
Zweidimensionales Gesichtsmodell: 134 Punkte beschreiben Augen, Augenbrauen, Nase, Mund, Gesichtskontur 17 Parameter beschreiben Deformationen Dynamisches Gitter mit 140 Punkten wird über das Gesicht gelegt. An den Gitterpunkten wird der Optical Flow berechnet.

10 Unsere Vorgehensweise (2)
Verwendung der Cohn-Kanade-Facial-Expression-Database Datenreduktion und Finden von Haupt-komponenten mittels Hauptachsen-transformation Klassifikation mittels binärer Entschei-dungsbäume (C4.5-Algorithmus) Erstellung der Entscheidungsbäume mittels WEKA

11 Zusammenfassung Mimikerkennung zur Verbesserung der Kommunikation zwischen Mensch und Maschine Sechs Hauptmimiken Verschiedene Herangehensweisen: Action Units, Optical Flow, Faltenbildung … Darstellung der Herangehensweise in unserem Projekt mittels Gesichtsmodell und Optical Flow