Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine- Schnittstellen Chakib Bensajjay Erstgutachter: Prof. Dr. Dr. h.c. mult. Wolfgang Wahlster Zweitgutachter: Dr.-Ing. Christian Müller Betreuer: Dipl.-Inform. Michael Feld

1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren

1 Einführung 3 Wiss. Fragestellung 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 2 Adaptive Systeme

1 Einführung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 3 Wiss. Fragestellung

1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren

1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 5 Kopfhaltungsanalyse

1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 6 Bildakquisition (Framework )

1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 7 Evaluation

1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 4 Kamera basierte Verfahren 8 Zusammenfassung

 Forschungsziele: Verbesserte Sicherheit und Komfort im Automobilbereich  Mensch-Maschine-Interaktion  Adaptive Systeme  Sensoren als Wissensquelle  Kameras

 Indikator für Aufmerksamkeit  Blickrichtung  Nicht-intrusive Akquisition  Speicherung in zentraler Wissensbasis  ADAPTION Als Eingabemodalität ◦ Blickgesteuerte Interaktion

 Möglichst viele Bildinformationen Sammeln  Bildanalyse und Anforderung  Abhängigkeit von:  Kameraeigenschaften  Vorwissen  System für Kamera Ansteuerung  Bildsequenz und Informationen über Kameras für die Analyse zur Verfügung stellen.

1 Einführung 3 Wiss. Fragestellung 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 2 Adaptive Systeme

 Von adaptierbaren zu adaptiven Systeme  System kann selbständig an neue Bedingungen angepasst werden.  bessere Szeneninterpretation  Wissen über den Benutzer sammeln  Benutzermodell aufbauen  Adaption

System Mimik Sprache Gestik Graphics Audio-Signal

Benutzer-Kontext Fahrer dreht sich nach rechts Interaktions-Kontext Der Zustand dauert für bestimmtes Zeitintervall !! System-Aktion Warnsignal wird ausgelöst

Benutzer-Kontext Der Beifahrer schaut zum Fenster Interaktions-Kontext Momentan ist ein touristisches Denkmal zu sehen System-Aktion Informationen über das Denkmal werden ausgegeben

Benutzer-Kontext Der Fahrer gibt einen Sprachbefehl: „Fenster schließen“ Interaktion-Kontext Der Fahrer schaut nach rechts System Aktion Fenster rechts wird geschlossen Fenster schließen

1 Einführung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 3 Wiss. Fragestellung

 Welche kamera-basierten Verfahren sind zur Erfassung wesentlicher Zustandseigenschaften des Fahrers geeignet?  Wie gut lässt sich die Kopfhaltung des Fahrers/Benutzers bestimmen?  Wie kann eine universelle Architektur zur Ansteuerung von Kameras im Fahrzeug aussehen?

1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren

Aktueller Zustand. Frontalansicht. Seitenansicht. Augenzustand (auf/zu). Mund (auf/zu/ Form) Schlussfolgerung.Blickrichtung.Ablenkung.Müdigkeit.Wachsamkeit.Emotion Bildanalyse (Merkmalsextraktion)

Müdigkeit

Lidschlagrate

Müdigkeit Lidschlagrate Augenzustand (zu / Auf)

Müdigkeit Lidschlagrate Augenzustand (zu / Auf) Augenbereich lokalisieren

Müdigkeit Lidschlagrate Augenzustand (zu / Auf) Augenbereich lokalisieren Gesicht lokalisieren

Müdigkeit Lidschlagrate Augenzustand (zu / Auf) Augenbereich lokalisieren Gesicht lokalisieren Bild

Müdigkeit Lidschlagrate Augenzustand (zu / Auf) Augenbereich lokalisieren Gesicht lokalisieren Bild Vorwissen

Müdigkeit Lidschlagrate Augenzustand (zu / Auf) Augenbereich lokalisieren Gesicht lokalisieren Bild Vorwissen Merkmale

Müdigkeit Lidschlagrate Augenzustand (zu / Auf) Augenbereich lokalisieren Gesicht lokalisieren Bild Vorwissen Merkmale

 Nicht-intrusive Analyse  Intrusive Analyse

Holistische und analytische Verfahren  Holistische Verfahren  Bild wird als Ganzes betrachtet  Vortrainierte Daten zur Erstellung von Klassifikatoren  Adaboost  Support Vector Machine  Neural Network  Meistens für die Wiedererkennung des Gesichts oder relevante Bildregionen verwendbar  Aufwändige Datenvorbereitung

 Analytische Verfahren ( Merkmalsbasierte Verfahren)  Extraktion relevanter Merkmale zur Gesichtsfindung  Kanten  Farbe  Position der Augen  Mund  Nase  Augenbrauen  Landmarken

1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 5 Kopfhaltungsanalyse

Erkennung der Kopfhaltung Augenbereich lokalisieren Gesicht lokalisieren Bild  Kodierung möglicher Kopfhaltungen (statische Analyse)  3D Modell erstellen (Geometrie des Gesichts)

 Grobe Schätzung der Kopfhaltung  Information über die Richtung der Kopfhaltung ( nach links/rechts, nach oben/unten)  Berechnung der Kopfhaltungswinkel  horizontaler / vertikaler Drehwinkel

Kopfhaltung Berechnung der Kopfhaltungswinkel Neue Merkmalen statt Augenerkennung Gesichtsfindung Bild Grobe Schätzung der Kopfhaltung

 Welche relevante Merkmale kann man extrahieren ?  Geometrie des Gesichts  Hautfarbe  Gesichtsregionen (Augen, Mund, Nase …)

 Welche relevante Merkmale kann man extrahieren ?  Geometrie des Gesichts  Hautfarbe  Gesichtsregionen (Augen, Mund, Nase.. )  Aufwändig ( höherer Rechenaufwand )

 Farbmodell  RGB, Ycbcr, HSV  Welches Threshold-Intervall ist zur Hautsegmentierung und Hintergrundextrahierung geeignet ?

H Darstellung CR Darstellung V Darstellung

H Darstellung CR Darstellung V Darstellung Gesichtsdetail bewahren

H Darstellung CR Darstellung V Darstellung Hintergrund entfernen Gesichtsdetail bewahren

H Darstellung CR Darstellung V Darstellung Hintergrund entfernen Gesichtsdetail bewahren Suche nach Hautfarbe Region

H Darstellung CR Darstellung V Darstellung Hintergrund entfernen Gesichtsdetail bewahren Suche nach dem gesamten Gesicht Suche nach Hautfarbe Region

Extraktion der Hautregion Gesichtsfindung

Extraktion der Hautregion

Gesichtsfindung Startpunkt für die Suche nach der Gesichtskontur

Kopfhaltung Berechnung der Kopfhaltungswinkel Neue Merkmalen statt Augenerkennung Gesichtsfindung Bild Grobe Schätzung der Kopfhaltung

 Kann man die Richtung der Kopfhaltung direkt aus der Geometrie des Gesichts ableiten ?

Gesicht durch Rechtecke modellieren Position des Gesichts Seitenverhältnis Position (x, y)

Horizontale Drehung Position X

Vertikale Drehung Position Y

Kopfhaltung Berechnung der Kopfhaltungswinkel Neue Merkmale statt Augenberereich Gesichtsfindung Bild Grobe Schätzung der Kopfhaltung (X,Y)

 Vorhandene Modelle  Kodierung der unterschiedlichen Kopfhaltungen  Verwendung von Gesichtsmerkmalen  Augen/Mund/Nase

 Abstandspunkte- statt Augenerkennung. Abstandspunkte

Horizontaler Winkel Vertikaler Winkel

1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 6 Bildakquisition (Framework )

 Client/ Server Modell ◦ Bilddaten im Netzwerk für verschiedenen Bildanalyse zur Verfügung stellen ◦ Information über an das System angeschlossene Kameras  Zugriff auf Kameras ◦ Java Media Framework (JMF)  Datenübertragung  TCP  Steuerungskanal  Datenkanal

1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 7 Evaluation

 Gesichtserkennung ◦ Farbe ◦ Helligkeit, Schatten, Autoumgebung.  Erkennung der Abstandspunkte ◦ Verdeckung (Occlusion)  Modell zur Berechnung der Winkel ◦ Geometrie des Gesichts.

 Gesichtserkennung ◦ Farbe ◦ Helligkeit, schatten, Auto Umgebung.  Erkennung der Abstandspunkte ◦ Verdeckung (Occlusion)  Modell zur Berechnung der Winkel ◦ Geometrie des Gesichts.

 Testdurchführung  Helligkeit und Schatten  In Autoumgebung (Fahrersitzplatz, Rücksitzplatz)  Kameraplatzierung (frontale Aufnahme)  3 Bildsequenzen:  Bildsequenzen 1 und 2: Höhere und niedrige Helligkeit  Bildsequenz 3: Schatten vorhanden

( 3,-72°) (0,-45° ) (0°, 0°) (0,34°) (-8°,45°) (34°,U)

(0°,-75° ) (0°,-64°) (0°, 0°) (18°,20) (25°,46°) (90°,0°)

 Abweichung zur tatsächlicher Kopfhaltung  Testdaten: ◦ (110) Bilder aus Datensatz (Pointing 04 Database) ◦ 2 Klassen :  Horizontaler Drehungswinkel  {-90, -75,-60,-45,-30,-15, 0,15, 30, 45, 60,75,90 }  Vertikaler Drehungswinkel  { -90,-60,-30,-15, 0,15,30, 60, 90 }

 Gut  <15°  Fast 15°-20 °  Fehlerhaft  >20°

1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 videBildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 4 Kamera basierte Verfahren 8 Zusammenfassung

 Kameraeinsatz in Fahrzeugen  Einsatz der Kopfhaltung in multimodalen und adaptiven Systeme  Kopfhaltungsanalyse ◦ Gesichtsfindung (Hautfarbe ) ◦ Manipulation der Hue-und Chrominanzfarben ◦ Neue Merkmale und Modell zur Berechnung der Drehwinkel (Abstandspunkte)  Framework für Bild- und Videoakquisition

Vielen Dank für Ihre Aufmerksamkeit !