Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine- Schnittstellen Chakib Bensajjay Erstgutachter: Prof. Dr. Dr.

Präsentation zum Thema: "Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine- Schnittstellen Chakib Bensajjay Erstgutachter: Prof. Dr. Dr."—  Präsentation transkript:

1 Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine- Schnittstellen Chakib Bensajjay Erstgutachter: Prof. Dr. Dr. h.c. mult. Wolfgang Wahlster Zweitgutachter: Dr.-Ing. Christian Müller Betreuer: Dipl.-Inform. Michael Feld

2 1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren

3 1 Einführung 3 Wiss. Fragestellung 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 2 Adaptive Systeme

4 1 Einführung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 3 Wiss. Fragestellung

5 1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren

6 1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 5 Kopfhaltungsanalyse

7 1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 6 Bildakquisition (Framework )

8 1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 7 Evaluation

9 1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 4 Kamera basierte Verfahren 8 Zusammenfassung

10  Forschungsziele: Verbesserte Sicherheit und Komfort im Automobilbereich  Mensch-Maschine-Interaktion  Adaptive Systeme  Sensoren als Wissensquelle  Kameras

11

12

13  Indikator für Aufmerksamkeit  Blickrichtung  Nicht-intrusive Akquisition  Speicherung in zentraler Wissensbasis  ADAPTION Als Eingabemodalität ◦ Blickgesteuerte Interaktion

14  Möglichst viele Bildinformationen Sammeln  Bildanalyse und Anforderung  Abhängigkeit von:  Kameraeigenschaften  Vorwissen  System für Kamera Ansteuerung  Bildsequenz und Informationen über Kameras für die Analyse zur Verfügung stellen.

15 1 Einführung 3 Wiss. Fragestellung 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 2 Adaptive Systeme

16  Von adaptierbaren zu adaptiven Systeme  System kann selbständig an neue Bedingungen angepasst werden.  bessere Szeneninterpretation  Wissen über den Benutzer sammeln  Benutzermodell aufbauen  Adaption

17 System Mimik Sprache Gestik Graphics Audio-Signal

18 Benutzer-Kontext Fahrer dreht sich nach rechts Interaktions-Kontext Der Zustand dauert für bestimmtes Zeitintervall !! System-Aktion Warnsignal wird ausgelöst

19 Benutzer-Kontext Der Beifahrer schaut zum Fenster Interaktions-Kontext Momentan ist ein touristisches Denkmal zu sehen System-Aktion Informationen über das Denkmal werden ausgegeben

20 Benutzer-Kontext Der Fahrer gibt einen Sprachbefehl: „Fenster schließen“ Interaktion-Kontext Der Fahrer schaut nach rechts System Aktion Fenster rechts wird geschlossen Fenster schließen

21 1 Einführung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 3 Wiss. Fragestellung

22  Welche kamera-basierten Verfahren sind zur Erfassung wesentlicher Zustandseigenschaften des Fahrers geeignet?  Wie gut lässt sich die Kopfhaltung des Fahrers/Benutzers bestimmen?  Wie kann eine universelle Architektur zur Ansteuerung von Kameras im Fahrzeug aussehen?

23 1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren

24 Aktueller Zustand. Frontalansicht. Seitenansicht. Augenzustand (auf/zu). Mund (auf/zu/ Form) Schlussfolgerung.Blickrichtung.Ablenkung.Müdigkeit.Wachsamkeit.Emotion Bildanalyse (Merkmalsextraktion)

25 Müdigkeit

26 Lidschlagrate

27 Müdigkeit Lidschlagrate Augenzustand (zu / Auf)

28 Müdigkeit Lidschlagrate Augenzustand (zu / Auf) Augenbereich lokalisieren

29 Müdigkeit Lidschlagrate Augenzustand (zu / Auf) Augenbereich lokalisieren Gesicht lokalisieren

30 Müdigkeit Lidschlagrate Augenzustand (zu / Auf) Augenbereich lokalisieren Gesicht lokalisieren Bild

31 Müdigkeit Lidschlagrate Augenzustand (zu / Auf) Augenbereich lokalisieren Gesicht lokalisieren Bild Vorwissen

32 Müdigkeit Lidschlagrate Augenzustand (zu / Auf) Augenbereich lokalisieren Gesicht lokalisieren Bild Vorwissen Merkmale

33 Müdigkeit Lidschlagrate Augenzustand (zu / Auf) Augenbereich lokalisieren Gesicht lokalisieren Bild Vorwissen Merkmale

34  Nicht-intrusive Analyse  Intrusive Analyse

35 Holistische und analytische Verfahren  Holistische Verfahren  Bild wird als Ganzes betrachtet  Vortrainierte Daten zur Erstellung von Klassifikatoren  Adaboost  Support Vector Machine  Neural Network  Meistens für die Wiedererkennung des Gesichts oder relevante Bildregionen verwendbar  Aufwändige Datenvorbereitung

36  Analytische Verfahren ( Merkmalsbasierte Verfahren)  Extraktion relevanter Merkmale zur Gesichtsfindung  Kanten  Farbe  Position der Augen  Mund  Nase  Augenbrauen  Landmarken

37 1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 7 Evaluation Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 5 Kopfhaltungsanalyse

38 Erkennung der Kopfhaltung Augenbereich lokalisieren Gesicht lokalisieren Bild  Kodierung möglicher Kopfhaltungen (statische Analyse)  3D Modell erstellen (Geometrie des Gesichts)

39

40  Grobe Schätzung der Kopfhaltung  Information über die Richtung der Kopfhaltung ( nach links/rechts, nach oben/unten)  Berechnung der Kopfhaltungswinkel  horizontaler / vertikaler Drehwinkel

41 Kopfhaltung Berechnung der Kopfhaltungswinkel Neue Merkmalen statt Augenerkennung Gesichtsfindung Bild Grobe Schätzung der Kopfhaltung

42  Welche relevante Merkmale kann man extrahieren ?  Geometrie des Gesichts  Hautfarbe  Gesichtsregionen (Augen, Mund, Nase …)

43  Welche relevante Merkmale kann man extrahieren ?  Geometrie des Gesichts  Hautfarbe  Gesichtsregionen (Augen, Mund, Nase.. )  Aufwändig ( höherer Rechenaufwand )

44  Farbmodell  RGB, Ycbcr, HSV  Welches Threshold-Intervall ist zur Hautsegmentierung und Hintergrundextrahierung geeignet ?

45 H Darstellung CR Darstellung V Darstellung

46 H Darstellung CR Darstellung V Darstellung Gesichtsdetail bewahren

47 H Darstellung CR Darstellung V Darstellung Hintergrund entfernen Gesichtsdetail bewahren

48 H Darstellung CR Darstellung V Darstellung Hintergrund entfernen Gesichtsdetail bewahren Suche nach Hautfarbe Region

49 H Darstellung CR Darstellung V Darstellung Hintergrund entfernen Gesichtsdetail bewahren Suche nach dem gesamten Gesicht Suche nach Hautfarbe Region

50 Extraktion der Hautregion Gesichtsfindung

51 Extraktion der Hautregion

52 Gesichtsfindung Startpunkt für die Suche nach der Gesichtskontur

53 Kopfhaltung Berechnung der Kopfhaltungswinkel Neue Merkmalen statt Augenerkennung Gesichtsfindung Bild Grobe Schätzung der Kopfhaltung

54  Kann man die Richtung der Kopfhaltung direkt aus der Geometrie des Gesichts ableiten ?

55 Gesicht durch Rechtecke modellieren Position des Gesichts Seitenverhältnis Position (x, y)

56 Horizontale Drehung Position X

57 Vertikale Drehung Position Y

58 Kopfhaltung Berechnung der Kopfhaltungswinkel Neue Merkmale statt Augenberereich Gesichtsfindung Bild Grobe Schätzung der Kopfhaltung (X,Y)

59  Vorhandene Modelle  Kodierung der unterschiedlichen Kopfhaltungen  Verwendung von Gesichtsmerkmalen  Augen/Mund/Nase

60  Abstandspunkte- statt Augenerkennung. Abstandspunkte

61 Horizontaler Winkel Vertikaler Winkel

62 1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 6 Bildakquisition (Framework )

63  Client/ Server Modell ◦ Bilddaten im Netzwerk für verschiedenen Bildanalyse zur Verfügung stellen ◦ Information über an das System angeschlossene Kameras  Zugriff auf Kameras ◦ Java Media Framework (JMF)  Datenübertragung  TCP  Steuerungskanal  Datenkanal

64

65 1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 Bildakquisition (Framework) 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 8 Zusammenfassung 4 Kamera basierte Verfahren 7 Evaluation

66  Gesichtserkennung ◦ Farbe ◦ Helligkeit, Schatten, Autoumgebung.  Erkennung der Abstandspunkte ◦ Verdeckung (Occlusion)  Modell zur Berechnung der Winkel ◦ Geometrie des Gesichts.

67  Gesichtserkennung ◦ Farbe ◦ Helligkeit, schatten, Auto Umgebung.  Erkennung der Abstandspunkte ◦ Verdeckung (Occlusion)  Modell zur Berechnung der Winkel ◦ Geometrie des Gesichts.

68  Testdurchführung  Helligkeit und Schatten  In Autoumgebung (Fahrersitzplatz, Rücksitzplatz)  Kameraplatzierung (frontale Aufnahme)  3 Bildsequenzen:  Bildsequenzen 1 und 2: Höhere und niedrige Helligkeit  Bildsequenz 3: Schatten vorhanden

69 ( 3,-72°) (0,-45° ) (0°, 0°) (0,34°) (-8°,45°) (34°,U)

70 (0°,-75° ) (0°,-64°) (0°, 0°) (18°,20) (25°,46°) (90°,0°)

71

72  Abweichung zur tatsächlicher Kopfhaltung  Testdaten: ◦ (110) Bilder aus Datensatz (Pointing 04 Database) ◦ 2 Klassen :  Horizontaler Drehungswinkel  {-90, -75,-60,-45,-30,-15, 0,15, 30, 45, 60,75,90 }  Vertikaler Drehungswinkel  { -90,-60,-30,-15, 0,15,30, 60, 90 }

73  Gut  <15°  Fast 15°-20 °  Fehlerhaft  >20°

74

75 1 Einführung 3 Wiss. Fragestellung 2 Adaptive Systeme 6 videBildakquisition (Framework) 7 Evaluation 5 Kopfhaltungsanalyse Optische Kopfhaltungserkennung im Auto als Wissensquelle für multimodale Mensch-Maschine-Schnittstellen 4 Kamera basierte Verfahren 8 Zusammenfassung

76  Kameraeinsatz in Fahrzeugen  Einsatz der Kopfhaltung in multimodalen und adaptiven Systeme  Kopfhaltungsanalyse ◦ Gesichtsfindung (Hautfarbe ) ◦ Manipulation der Hue-und Chrominanzfarben ◦ Neue Merkmale und Modell zur Berechnung der Drehwinkel (Abstandspunkte)  Framework für Bild- und Videoakquisition

77 Vielen Dank für Ihre Aufmerksamkeit !