Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Dirk Albrecht Arbeitsberatung der ITG Fachgruppe Digitale Bildcodierung Ilmenau, D-Objektmodellierung für Facial Animation

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 1. Objektorientierte Bildcodierung 2. 3D parametrisches Gesichtsmodell 3. Objekterkennung / Objektverfolgung 4. Auswertung der Mimikparameter 5. Zusammenfassung und Ausblick Gliederung

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Objektorientierte Bildcodierung 2. 3D parametrisches Gesichtsmodell 3. Objekterkennung / Objektverfolgung 4. Auswertung der Mimikparameter 5. Zusammenfassung und Ausblick Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Gliederung

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Synthetic Natural Hybrid Coding (SNHC) Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Objektbasierte Videocodierung Object based Analysis-Synthesis Coding Knowledge based Object Coding Semantic based Object Coding 2D- und 3D-Source Models, Wireframes Face Model, Candide Gesichtsausdruck etc.

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Einschränkung auf Head and Shoulder Szenario Gesicht frontal zur Kamera Gemäßigte Kopfbewegung Trennung von Kopf- und Schulterbereich Lokale Gesichtsbewegung Video AnalyseSyntheseKanal FAP-, FDP- Encoder FAP-, FDP- Decoder

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Head and Shoulder Szenario - Bedingungen Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 1. Objektorientierte Bildcodierung 2. 3D parametrisches Gesichtsmodell 3. Objekterkennung / Objektverfolgung 4. Auswertung der Mimikparameter 5. Zusammenfassung und Ausblick Gliederung

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 3D-Kopfmodell nach Rydfalk Parametrisches Gesichts- modell Candide lokales KO-System 79 Knoten 108 Dreiecke im Bildsystem P = [R] P * + P U MPEG-4 definiert mindestens 50 Knotenpunkte - für eine gute Abbildung werden 500 erwartet

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Animation über Action Units (AU) Ausgangspunkt: Neutrales Gesicht Blick in Richtung z-Achse alle Muskeln entspannt Augenlider tangential zur Iris Pupillen haben 1/3 des Iris-Durchmessers Mund geschlossen, Linie zwischen Lippen ist horizontal Zähne aufeinander liegend Zunge berührt die Linie zwischen den Zähnen Facial Action Coding System (FACS) 46 AU für Gesichtsausdrücke 12 AU für Blickrichtung u. Kopforientierung basierend auf Gesichtsanatomie korreliert mit Muskelbewegungen OnsetApexEnd of Apex Offset

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Klassifikation von FAPs Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau FAP GroupsPrimary facial expressions as defined for FAP 2

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 1. Objektorientierte Bildcodierung 2. 3D parametrisches Gesichtsmodell 3. Objekterkennung / Objektverfolgung 4. Auswertung der Mimikparameter 5. Zusammenfassung und Ausblick Gliederung

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Finden der Gesichtsform (Farbansatz) TexturRg By Median – Textur- Amplitude RGB IRgBy Median IRgBy HSI FarbtonSättigung Schwellwert- operator Binäres Hautbild Ausgangs- bild Probleme: Beleuchtungsverhältnisse unterschiedliche Hautfarben

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Gesichtserkennung über Bewegung 1. Differenzbildberechnung 2. Schwellwertoperator 3. Rauschreduktion 4. Histogramm der bewegten Pixel Typisches BewegungsbildHistogramm Problem: statischer Hintergrund

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Elastic Bunch Graph Matching Zuordnung eines Gitternetzes ("Labeled Graph) zu einem Gesicht Knoten des Graphen beinhalten bestimmte Merkmale des Gesichts Aufbringen diese Graphen auf das zu findende Gesicht über Matching Algorithmus Extraktion der Merkmale über Jets (bestehend aus mehreren Gabor Wavelets) Jet, bestehend aus 12 Gabor- Wavelets (4 Orientierungen bei 3 unterschiedlichen Größen) Labeled Graph 3D Gabor-Wavelets Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Gesichtserkennung über Eigenfaces Gesichter bilden einen Untervektorraum des Originalbildes

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 2D Template Matching Suchbild mit eingeschränktem Suchraum Normiertes Template Drehung und Skalierung entsprechend Kopfgröße u. -drehung Kreuzkorrelation parametrisch deformierbar Ausnutzung symmetrischer Charakteristiken Evolutionäre Navigationsroutinen Problem: Training Set

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Optischer Fluß Bewegung eines Pattern in der Bildebene E x u + E y v + E t =0 FlußBewegung des Modells Ergebnis ist Vektorfeld Annahme: Helligkeit der Objektpunkte gleich über Zeit für lokale Bewegung hinreichend Probleme mit starken Texturen, bewegenden Kanten etc.

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 1. Objektorientierte Bildcodierung 2. 3D parametrisches Gesichtsmodell 3. Objekterkennung / Objektverfolgung 4. Auswertung der Mimikparameter 5. Zusammenfassung und Ausblick Gliederung

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Gesichtsmerkmale Primäre Merkmale Augen Mund Nase Augenbrauen Zähne Ohren Zunge Kinn Wangen Haar Sekundäre Merkmale Textur der Haut, Adern physische Verletzungen / Krankheiten Geschlecht Rasse Größe / Alter Feature Selection Untersuchung der Wichtung der Parameter

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Parametrische 2D-Modelle Schätzverfahren für Augen-und Mundwinkelpositionen Augenöffnungsgrad Auswahl des Mundmodells

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Skalierungs- und Mimikparameter Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Gesichtsgröße Ausgangspunkt Dreieck der Augen und Mundmittelpunkt Verifikation der Ergebnisse anhand der äußeren Gesichtsform Schätzung der Tiefeninformation Normalenvektor des Dreiecks bestimmt Blickrichtung Projektion in Bildebene Augengröße Bestimmung der Skalierungs- parameter Projektion in das 3D-Modell Mundgröße Bestimmung der Lippengöße Projektion in das 3D-Modell Projektion auf Action Units Erkenntnisse: Solide Vorverarbeitung Robuste Schätzung der Augen-und Mundwinkel- positionen

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 1. Objektorientierte Bildcodierung 2. 3D parametrisches Gesichtsmodell 3. Objekterkennung / Objektverfolgung 4. Auswertung der Mimikparameter 5. Zusammenfassung und Ausblick Gliederung

Arbeitsberatung der ITG Fachgruppe Dirk Albrecht Ilmenau, Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Ausblick und Zusammenfassung Arbeitsbereich mit zahlreichen weltweiten Aktivitäten beachtliche Ergebnisse Standard für Übertragung gegeben (MPEG-4/SNHC) Problem der Robustheit ist zu lösen, um eine Umsetzung in kommerziellen Systemen zu erreichen