© Virtuelle Präsenz WS10/11, Uni Ulm Kapitel F Virtuelle Charaktere

© Virtuelle Präsenz WS10/11, Uni Ulm 6 Inhalt Virtuelle Charaktere ● Einleitung ● Mimik ● Gestik

© Virtuelle Präsenz WS10/11, Uni Ulm 6.1 Avatare und Freunde ● Kategorien von virtuellen Charakteren – Repräsentant einer realen Person – autonomer Charakter gesteuert durch den Computer ● Wichtige Eigenschaften – Mimik und Gestik synchron zur Sprache – zusätzliches Verhalten bei autonomen Charakteren (natürlich, emotional und intelligent)

© Virtuelle Präsenz WS10/11, Uni Ulm 6.1 Avatare und Freunde ● Avatar – 2D/3D Repräsentant einer natürlichen Person in einer virtuellen Umgebung ● Softbot – Software und Robot, Programme, die mit dem Benutzer kommunizieren ● NPC (non-player character) – beleben virtuelle Welten – eigenständige vom Computer gesteuerte Charaktere

© Virtuelle Präsenz WS10/11, Uni Ulm 6.1 Avatare und Freunde ● Software Guides – Weiterentwicklung der Hilfefunktion – Analyse des Benutzerverhaltens →Tipps ● Chatbots – Programme, mit denen man sich in Grenzen unterhalten kann ● Assistenten – Ziel: Ersatz von menschlicher Assistenz – z.B.: Virtual Guido (

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Allgemeines – Mimik: sichtbare Bewegung der Gesichtsoberfläche – läuft oft in Sekundenbruchteilen ab – Ausdruck von Emotionen, Intuition,... – gibt Aufschluss über individuelle Eigenschaften eines Menschen – kann wichtiger Bestandteil der non-verbalen Kommunikation sein

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Phonem – jeder Laut, der erzeugt wird, ist ein Phonem – Natürliche menschliche Sprache beinhaltet zwischen 10 und 80 verschiedene Phonemen (Deutsch ca. 40) ● Visem – jedem Phonem wird ein Visem zugeordnet – spiegelt Lippenstellung wider – Synchronisation von Sprache und Lippen – Beispiel: „Talking Heads“ A E O U F L

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● FACS (Facial Action Coding System) – Standardklassifikation der mimischen Muskelbewegungen – Aufteilung der Gesichtsbewegung in Action Units (AU) – Gesichtsausdrücke durch Kombination von AUs AU AU

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Morphing – nahtloser Übergang von einem Quellbild in ein Zielbild ● Datenerfassung – punktweise Digitalisierung – Tracking Modell – 3D-Laserscanner – CRT / MRT – Stereoskopische Aufnahmen – Fotoaufnahmen

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Modellierung Mimik ● Konkatenatives Modell – basiert auf real aufgenommenen Videobildern – Vorteil: hochqualitative Aufnahmen, einfache Erstellung – Nachteil: Gesichtsausdrücke nur möglich, wenn Bild vorhanden ist, Kopfhaltung bleibt statisch – Übergange werden mittels Morphing realisiert – Beispiel: MikeTalk (MIT)

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Beispiel MikeTalk (MIT) – für jedes Visem muss ein Bild vorhanden sein

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Beispiel MikeTalk (MIT) – für jedes mögliche Paar von Visemen wird ein Übergang definiert

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Beispiel MikeTalk (MIT) – Abbildungsalgorithmus ● forward wraping von Bild0 nach Bild1 ● forward wraping von Bild1 nach Bild0 ● morphing der entstandenen Bildpaare ● Ausfüllen der „Löcher“, undefinierte Pixel

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Beispiel MikeTalk (MIT) – Abbildungsalgorithmus

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Parametrisches Modell – Festlegung einer geeigneten Menge von Parametern ● Struktur und Gestalt eines individuellen Gesichts ● Ausdruck von Emotionen – Face Mesh ● Menge von Polygonen, z.B. durch 3D-Scanner ● bestimmte Gesichtsausdrücke durch Setzen der Parameter festlegen ● Problem: weiche Übergänge →Meshdeformation

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Tracking Modell – Erkennung der Mimik durch Software – Übertragung auf Animation – definierte Referenzpunkte ermöglichen es die Animation im Raum zu bewegen

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Anatomisches Modell – Aufteilung des Modells in ● Knochen (starres Polygonnetz) ● Haut (flexibles Polygonnetz) ● Muskel (verbinden einen oder mehrere Hautpunkte mit einem Knochen, elastisch)

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● MPEG-4 – MPEG = Movie Picture Experts Group – MPEG-1/2 ● blockbasierte Bildkompression – MPEG-4 ● Erweiterung um modell-orientierte Kodierung ● Szenengraph einmal zum Empfänger übertragen ● anschließend nur nach Transformation, Deformation ● Bandbreite von 2 Kbit/s ausreichend (für rein modell-basierten Strom)

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Binary Format For Scene (BIFS) – beschreibt räumliche-zeitliche Komposition von Medienobjekten – synthetische Objekte: geom. Figuren, Texturen, Beleuchtung – natürliche Objekte: Stream-Objekte für Video u. Audio – zusätzlich Sensoren für Interaktivität – angelehnt an VMRL (aber binär) – Modelle für Gesicht (Mimik) und Körper (Gestik)

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Gesichtsanimation – Face Feature Points (FFP) ● insgesamt 84 FFPs ● Position für jedes Gesichtsmodell relevant ● sind Referenzpunkte für Facial Animation Parameters ● FFPs definieren neutrales Gesicht – Blick in Richtung z-Achse – Gesichtsmuskeln entspannt – Augenlider berühren Iris – Lippen in Kontakt,...

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Face Definition Parameters (FDP) – definieren individuelles Gesicht als Polygonnetz – Gesichtstextur und Face Animation Table (FAT) ● Facial Animation Parameters (FAP) – erzeugen synthetischen Gesichtsaustdruck – jeder FAP korrespondiert zu einer Aktion, die Merkmalpunkte (FFP) bewegt ● Face Animation Table (FAT) – Definiert, wie sich ein Eckpunkt bewegt, in Bezug auf eine Bewegung jeden FFPs

© Virtuelle Präsenz WS10/11, Uni Ulm 6.2 Mimik ● Gesichtsanimationsparameter – 68 FAPS zur Repräsentation verschiedenster Gesichtanimationen Beispiel: 6 Grundemotionen

© Virtuelle Präsenz WS10/11, Uni Ulm Gestik 6.3 Gestik ● Allgemeines – Gestik: kommunikative Bewegungen insbesondere der Arme und der Hände, teil der non-verbalen Kommunikation – Typologie: ● ikonische Gesten ● metaphorische Gesten ● deiktische Gesten ● lexikalisierte Gesten ● koverbale Gesten

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● Beispiel: lexikalische Geste – Ägypten: „Bitte sind Sie geduldig.“ – Italien: „Was meinen Sie genau?“ – Griechenland: „Das ist perfekt.“ ● Herausforderung – Erkennen von Gesten – realistische Animation von Gesten – automatischen Generieren von Gesten (inhaltsabhängig)

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● Gestikerkennung – Datenhandschuh – Bildbasierte Erkennung (z.B. durch neuronales Netz) Anwendung: ● SIVIT (Siemens Virtual Touchscreen) ● KINECT (Microsoft, XBox360)

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● Animation von Gesten – vordefinierte Animation (z.B. durch Motion Capturing oder durch 3D-Modellierungsprogramme) ● Keyframe-Animationen – prozedurale Animationen – Kombination von vordefinierten Animation und prozeduralen Animationen Keyframe-Animation

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● Kinematik – Kinematik = Bewegung – Kinematische Kette: starre Körper verbunden durch Gelenke – Kette beginnt mit Elternteil – Kind ist über Gelenk mit Elternteil verbunden – bewegt sich das Elternteil, dann bewegen sich die Kindteile ebenfalls

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● Vorwärtsgerichtete Kinematik – Stellung der einzelnen Gelenke der Kettenglieder vorgegeben – daraus kann Lage des letzten Gliedes eindeutig berechnet werden

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● Inverse Kinematik – Lage des letzten Gliedes der Kette ist bekannt – daraus berechnen sich die Winkel aller Gelenke – aufgrund der vielen möglichen Gelenkstellung ist es nicht einfach natürliche aussehende Bewegungen zu erzeugen

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● Vertex Skinning – Skelett (Bones) ● unsichtbares hierarchisches Knochengerüst ● definierte Drehpunkte, entsprechen Drehpunkte – Skin (Haut) ● Polygonnetz über Skelett legen ● jeder Vertex ist mindestens einem Knochen zugeordnet ● Einfluss der Knochenstellung auf die Vertizes ist gewichtet

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● Vertex Skinning Fortsetzung – Animation ändert die Stellung der Knochen →Haut wird dementsprechend deformiert

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● H-Anim Standard = Humanoid Animation ( – spezifiziert Datenstruktur für Körpermodelle – Algorithmen zur Bewegungsmodellierung nicht definiert – basiert auf VRML97, aber allgemein verwendet – Erstellung: ● H-Anim Werkzeuge, z.B. Virtock VizX3D ● fertige Modelle unter ● Modellierungswerkzeuge, z.B. 3D Studio Max, Maya (Export nach VRML, danach konvertieren)

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● Modellierung in definierter Grundposition – Aufrecht stehende Position – Blick in Richtung z-Achse – Füsse nach vorne, Arme seitlich platziert

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● Knotentypen – Grundtypen: ● Humanoid: Wurzel ● Segment: Körperteil / Knochen ● Joint: Gelenk / Verweis auf Hautnetz – erweiterte Typen: ● Site: def. Ort relativ zu Segment, z.B. für Kleidung, Schmuck,...

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● MPEG-4: Körperanimation – ähnlich der Gesichtsanimation – Body Definition Parameters (BDP) ● def. individuellen Körper mit Polygonnetz und Texturen ● korrespondiert mit VRML H-Anim Standard ● Knochen, Gelenke, Haut (Polygonnetz)

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● Body Animation Parameter (BAP) – erzeugen bestimmte Bewegungen und Gesten – ändern Winkel von Gelenken – übertragbar auf andere Körpermodelle

© Virtuelle Präsenz WS10/11, Uni Ulm 6.3 Gestik ● Beispiel aus SecondLife – 23 Knochen vorgegeben – Rotationswinkel der – Knochen werden animiert – Für die Hüfte lassen sich auch – Positionsänderungen animieren – Grundposition als Referenz – Polygonmesh in aktueller Version vordefiniert, wird mittels Skinning deformiert – Individuelles Aussehen eines Avatar durch Transformation einzelner Vertexgruppen