Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 1 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische.

Präsentation zum Thema: "Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 1 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische."—  Präsentation transkript:

1 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 1 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Dirk Albrecht Arbeitsberatung der ITG Fachgruppe 3.1.2 Digitale Bildcodierung Ilmenau, 30.06.2000 3D-Objektmodellierung für Facial Animation

2 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 2 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 1. Objektorientierte Bildcodierung 2. 3D parametrisches Gesichtsmodell 3. Objekterkennung / Objektverfolgung 4. Auswertung der Mimikparameter 5. Zusammenfassung und Ausblick Gliederung

3 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 3 1. Objektorientierte Bildcodierung 2. 3D parametrisches Gesichtsmodell 3. Objekterkennung / Objektverfolgung 4. Auswertung der Mimikparameter 5. Zusammenfassung und Ausblick Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Gliederung

4 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 4 Synthetic Natural Hybrid Coding (SNHC) Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau

5 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 5 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Objektbasierte Videocodierung Object based Analysis-Synthesis Coding Knowledge based Object Coding Semantic based Object Coding 2D- und 3D-Source Models, Wireframes Face Model, Candide Gesichtsausdruck etc.

6 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 6 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Einschränkung auf Head and Shoulder Szenario Gesicht frontal zur Kamera Gemäßigte Kopfbewegung Trennung von Kopf- und Schulterbereich Lokale Gesichtsbewegung Video AnalyseSyntheseKanal FAP-, FDP- Encoder FAP-, FDP- Decoder

7 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 7 Head and Shoulder Szenario - Bedingungen Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau

8 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 8 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 1. Objektorientierte Bildcodierung 2. 3D parametrisches Gesichtsmodell 3. Objekterkennung / Objektverfolgung 4. Auswertung der Mimikparameter 5. Zusammenfassung und Ausblick Gliederung

9 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 9 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 3D-Kopfmodell nach Rydfalk Parametrisches Gesichts- modell Candide lokales KO-System 79 Knoten 108 Dreiecke im Bildsystem P = [R] P * + P U MPEG-4 definiert mindestens 50 Knotenpunkte - für eine gute Abbildung werden 500 erwartet

10 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 10 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Animation über Action Units (AU) Ausgangspunkt: Neutrales Gesicht Blick in Richtung z-Achse alle Muskeln entspannt Augenlider tangential zur Iris Pupillen haben 1/3 des Iris-Durchmessers Mund geschlossen, Linie zwischen Lippen ist horizontal Zähne aufeinander liegend Zunge berührt die Linie zwischen den Zähnen Facial Action Coding System (FACS) 46 AU für Gesichtsausdrücke 12 AU für Blickrichtung u. Kopforientierung basierend auf Gesichtsanatomie korreliert mit Muskelbewegungen OnsetApexEnd of Apex Offset

11 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 11 Klassifikation von FAPs Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau FAP GroupsPrimary facial expressions as defined for FAP 2

12 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 12 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 1. Objektorientierte Bildcodierung 2. 3D parametrisches Gesichtsmodell 3. Objekterkennung / Objektverfolgung 4. Auswertung der Mimikparameter 5. Zusammenfassung und Ausblick Gliederung

13 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 13 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Finden der Gesichtsform (Farbansatz) TexturRg By Median – Textur- Amplitude RGB IRgBy Median IRgBy HSI FarbtonSättigung Schwellwert- operator Binäres Hautbild Ausgangs- bild Probleme: Beleuchtungsverhältnisse unterschiedliche Hautfarben

14 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 14 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Gesichtserkennung über Bewegung 1. Differenzbildberechnung 2. Schwellwertoperator 3. Rauschreduktion 4. Histogramm der bewegten Pixel Typisches BewegungsbildHistogramm Problem: statischer Hintergrund

15 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 15 Elastic Bunch Graph Matching Zuordnung eines Gitternetzes ("Labeled Graph) zu einem Gesicht Knoten des Graphen beinhalten bestimmte Merkmale des Gesichts Aufbringen diese Graphen auf das zu findende Gesicht über Matching Algorithmus Extraktion der Merkmale über Jets (bestehend aus mehreren Gabor Wavelets) Jet, bestehend aus 12 Gabor- Wavelets (4 Orientierungen bei 3 unterschiedlichen Größen) Labeled Graph 3D Gabor-Wavelets Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau

16 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 16 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Gesichtserkennung über Eigenfaces Gesichter bilden einen Untervektorraum des Originalbildes

17 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 17 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 2D Template Matching Suchbild mit eingeschränktem Suchraum Normiertes Template Drehung und Skalierung entsprechend Kopfgröße u. -drehung Kreuzkorrelation parametrisch deformierbar Ausnutzung symmetrischer Charakteristiken Evolutionäre Navigationsroutinen Problem: Training Set

18 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 18 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Optischer Fluß Bewegung eines Pattern in der Bildebene E x u + E y v + E t =0 FlußBewegung des Modells Ergebnis ist Vektorfeld Annahme: Helligkeit der Objektpunkte gleich über Zeit für lokale Bewegung hinreichend Probleme mit starken Texturen, bewegenden Kanten etc.

19 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 19 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 1. Objektorientierte Bildcodierung 2. 3D parametrisches Gesichtsmodell 3. Objekterkennung / Objektverfolgung 4. Auswertung der Mimikparameter 5. Zusammenfassung und Ausblick Gliederung

20 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 20 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Gesichtsmerkmale Primäre Merkmale Augen Mund Nase Augenbrauen Zähne Ohren Zunge Kinn Wangen Haar Sekundäre Merkmale Textur der Haut, Adern physische Verletzungen / Krankheiten Geschlecht Rasse Größe / Alter Feature Selection Untersuchung der Wichtung der Parameter

21 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 21 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Parametrische 2D-Modelle Schätzverfahren für Augen-und Mundwinkelpositionen Augenöffnungsgrad Auswahl des Mundmodells

22 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 22 Skalierungs- und Mimikparameter Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Gesichtsgröße Ausgangspunkt Dreieck der Augen und Mundmittelpunkt Verifikation der Ergebnisse anhand der äußeren Gesichtsform Schätzung der Tiefeninformation Normalenvektor des Dreiecks bestimmt Blickrichtung Projektion in Bildebene Augengröße Bestimmung der Skalierungs- parameter Projektion in das 3D-Modell Mundgröße Bestimmung der Lippengöße Projektion in das 3D-Modell Projektion auf Action Units Erkenntnisse: Solide Vorverarbeitung Robuste Schätzung der Augen-und Mundwinkel- positionen

23 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 23 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau 1. Objektorientierte Bildcodierung 2. 3D parametrisches Gesichtsmodell 3. Objekterkennung / Objektverfolgung 4. Auswertung der Mimikparameter 5. Zusammenfassung und Ausblick Gliederung

24 Arbeitsberatung der ITG Fachgruppe 3.1.2 Dirk Albrecht Ilmenau, 30.06.2000 24 Fakultät für Elektrotechnik und Informationstechnik Fachbereich Elektronische Schaltungen und Systeme Technische Universität Ilmenau Ausblick und Zusammenfassung Arbeitsbereich mit zahlreichen weltweiten Aktivitäten beachtliche Ergebnisse Standard für Übertragung gegeben (MPEG-4/SNHC) Problem der Robustheit ist zu lösen, um eine Umsetzung in kommerziellen Systemen zu erreichen