Erkennung von Gesichtsausdrücken anhand von Bildbewegungen (Irfan Essa & Alex Pentland) Hauptseminar Smart Environments Joachim Biggel 11.12.2003.

Präsentation zum Thema: "Erkennung von Gesichtsausdrücken anhand von Bildbewegungen (Irfan Essa & Alex Pentland) Hauptseminar Smart Environments Joachim Biggel 11.12.2003."—  Präsentation transkript:

1 Erkennung von Gesichtsausdrücken anhand von Bildbewegungen (Irfan Essa & Alex Pentland) Hauptseminar Smart Environments Joachim Biggel

2 Überblick 1. Motivation 2. Grundlagen 3. FACS: zum Vergleich kurz vorgestellt 4. Gesichtsmodell …von Essa und Pentland 5. Mimikmodell 6. Ergebnisse: Tests mit dem neuen Modell 7. Evaluation: Vergleich mit FACS, Vor- und Nachteile des neuen Modells 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell 6. Ergebnisse 7. Evaluation

3 Gesichtsausdrücke … als wichtiges Kommunikationsmittel
… zur Beurteilung der Gefühlslage bessere Interaktion Mensch – Maschine möglich (z.B. Online-Shopping, Smart Rooms) Einsatz in anderen Gebieten (z.B. Zusammenarbeit mit Psychologen) 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell 6. Ergebnisse 7. Evaluation

4 Unterscheidung Gesichtsmodell – Mimikmodell:
- Repräsentation des Gesichts - Bewegungen im Gesicht verfolgen und darstellen Mimikmodell: - einzigartiges Charakteristikum für jeden Gesichtsausdruck - Klassifizierung und Erkennung von Ausdrücken 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell 6. Ergebnisse 7. Evaluation Unterscheidung bei diesem Vortrag Gesichtsmodell: für Tracking der Bewegungen im Gesicht

5 Facial Action Coding System
FACS Facial Action Coding System bereits 1978 von Ekman und Friesen entwickelt nur Mimikmodell wird von vielen anderen Ansätzen verwendet 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell 6. Ergebnisse 7. Evaluation FACS: von vielen anderen Ansätzen als Mimikmodelll verwendet; Ansätze versuchen geeignetes Gesichtsmodell für FACS zu erstellen

6 Verwendung von 46 sog. Action Units (AUs) = lokales. Bewegungsgebiet
Verwendung von 46 sog. Action Units (AUs) = lokales Bewegungsgebiet im Gesicht AUs beinhalten jeweils die betroffenen Muskeln der Bewegung Darstellung jeder optisch unterscheidbaren Bewegung (AUs kombinierbar) Erkennung von Ausdrücken durch beteiligte AUs (je nach Intensität auf einer 5-Punkte Skala) Beispiel: - Anheben der Augenbrauen = AU 2 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell 6. Ergebnisse 7. Evaluation AU‘s von Freude erwähnen

7 FACS+ keine Gemeinsamkeiten mit FACS FACS+ = Gesichtsmodell
3-D Abbild eines Gesichts Grundlage für das folgende Mimikmodell dient zur Verfolgung der Gesichtsbewegungen 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ - Erstellung - Initialisierung - Verfolgung - Kontrolle Mimikmodell 6. Ergebnisse 7. Evaluation …als Erstes zum Gesichtsmodell, welches verwendet wird -> FACS+

8 Gesicht vorerst als grobes Mesh (Netz) aus Dreiecken
Ziel: Bewegungspunkte und Muskeln im Bild entsprechen Kanten der Dreiecke im Mesh Lösung: Anpassung durch Verfeinerung des Mesh grobes Mesh Muskeln (Striche) und angepasstes Mesh Bewegungspunkte (Punkte, Kreise) 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ - Erstellung - Initialisierung - Verfolgung - Kontrolle Mimikmodell 6. Ergebnisse 7. Evaluation Evtl. noch gelbe Kreise erklären->Hauptbewegungspunkte

9 Übertragen von markanten Bewegungspunkten auf das Bild
Vorgehen: 1. Gesicht und seine Eigenschaften (Nase, Mund, Augen) im Bild lokalisieren (automatisch mit Eigenspace-Methode) 2. diese Positionen, um Gesicht auf Mesh zu verformen 3. markante Bewegungspunkte auflegen und aufs Bild übertragen 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ - Erstellung - Initialisierung - Verfolgung - Kontrolle Mimikmodell 6. Ergebnisse 7. Evaluation Initialisierung = Übertragen von Markanten Bewegungspunkten aufs Bild Animation mit 4 bildern, die nacheinander kommen und jeweils dazu die Erklärung Eigenspace-Methode von Pentland und Moghaddam 1. 2. 3.

10 Verfolgung des Gesichts durch Berechnung des optischen Flusses
 optischer Flussvektor vi(t) = Geschwindigkeit und Richtung der Pixel im Bild t zu t+1 Mapping des optischen Flusses auf Bewegungspunkte im Gesichtsmodell Problem: optischer Flussvektor 2-dimensional; Modell mit Bewegungspunkten 3-dimensional Lösung: 3-D Gesicht mit Laser einscannen  liefert Funktion zur Umrechnung von 2-D in 3-D 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ - Erstellung - Initialisierung - Verfolgung - Kontrolle Mimikmodell 6. Ergebnisse 7. Evaluation

11 evtl. störhafte, ungenaue Eingangsdaten  kann zu enormen
evtl. störhafte, ungenaue Eingangsdaten  kann zu enormen Abweichungen führen deshalb: Kontrollmechanismus mit Kalman-Filter  Kalman-Filter : 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ - Erstellung - Initialisierung - Verfolgung - Kontrolle Mimikmodell 6. Ergebnisse 7. Evaluation bisherige Zustände des Systems ermittelt Vorteil bei Kalman –Filter: keine Verzögerung im System, da rekursive Vorgehensweise Schätzung für neuen Zustand korrigieren neue Messungen rekursiv neuer Zustand des Systems (Weiterverarbeitung)

12 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4
1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell 6. Ergebnisse 7. Evaluation

13 Mimikmodell Problem: einzigartiges Charakteristikum für jeden Ausdruck Lösung: Erstellung von Merkmalsvektoren als Mimiktemplate für jeden Ausdruck  Merkmalsvektor: Erstellung aus Muscle Actuation Profiles 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell - Merkmalsvektor - Erkennung 6. Ergebnisse 7. Evaluation Muscle Actuation Profile = Darstellung der Muskelaktivitäten Abgeleitet aus errechneten Geschwindigkeiten v(edge)

14 Merkmalsvektor = Höchststand jedes Muskels im Profile
für jeden Ausdruck einen Merkmalsvektor (Mimiktemplate) erstellen 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell - Merkmalsvektor - Erkennung 6. Ergebnisse 7. Evaluation Merkmalsvektor für Ärger

15 Skalarprodukt: Merkmalsvektor der Bildsequenz x Mimiktemplate Ergebnis 1 bedeutet vollständige Übereinstimmung 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell - Merkmalsvektor - Erkennung 6. Ergebnisse 7. Evaluation Linien: vorliegender Vektor Balken: Aufnahme

16 zu Grunde liegender Datenbestand:
- Aufnahmesequenzen: 30 Frames/Sekunde; 450x380 Pixel - 20 Personen mit Ausdrücken: Lachen, Überraschung, Ärger, Ekel, Augenbrauen heben und Trauer Durchführung: - Merkmalsvektoren von 2 zufällig ausgewählten Personen - 52 Gesichtsausdrücke von 7 verschiedenen Personen Ergebnis: 98 % Trefferquote 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell Ergebnisse 7. Evaluation

17 Vergleich zu Ansätzen mit FACS: 80-90 % Trefferquote
Gründe: - Schwierigkeiten, alle 46 AUs und Kombinationen darzustellen - AUs decken nur lokale Gebiete ab  keine einzigartige, genaue Beschreibung von Ausdrücken - zeitlicher Verlauf der Muskelaktivitäten nur linear angenähert 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell Ergebnisse 7. Evaluation - Vergleich mit FACS - Vor- und Nachteile

18 Vorteile: - sehr detaillierte Darstellung des Gesichts und Bewegungen mit verwendetem Gesichtsmodell - Mimiktemplates basieren auf wirklichen Bilddaten und Messungen, nicht auf Heuristiken Nachteile: - Verwendung des optischen Flusses: Fehler evtl. durch wechselnde Lichtverhältnisse oder Bewegungen des Kopfes 1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell Ergebnisse 7. Evaluation - Vergleich mit FACS - Vor- und Nachteile Heuristiken  z.B. wenn man FACS verwenden würde Eigene Meinung: kein direkter Vergleich, nur eigene Datenbank verwendet größere Datenbank verwenden, Tests auf gleichen Datenbanken durchführen

19 Was ist bei diesem Ansatz hervorzuheben? Fragen?
1. Motivation 2. Grundlagen 3. FACS – Facial Action Coding System 4. FACS+ 5. Mimikmodell Ergebnisse 7. Evaluation - verwendet zwar schon vorhandenes FACS+, aber Trennung von FACS-Standard -> ist möglich, sogar besser

20 …Vielen Dank für eure Aufmerksamkeit!