VIRTUAL HUMANS 3D-Modelle Andreas Burkhard

Einleitung: Virtuelle Simulationen von Menschen werden immer populärer, es gibt heutzutage viele Systeme mit denen man Menschen simulieren kann. Solche Systeme umfassen mehrere Gebiete: - autonome Agenten in virtuellen Umgebungen - menschliche Parameteranalyse - Training / Schulung - Erziehung - Prototyping (Methode der Softwareentwicklung) ‏ - simulationsbasiertes Design - Unterhaltung

Vorkommen virtueller Modelle: - Simulationen von Menschen kommen heute besonders in der Unterhaltungsindustrie, sowie speziell auch im Film und Computerspielebereich vor. - Die Animation stellt aber immer noch eine große Herausforderung dar.

Was braucht man zur Simulation von Menschen und Umgebungen? - Virtuelle Umwelten bestehen generell aus verschiedensten Entitäten und können 3D GrafikObjekte, 3DSounds, sowie Bilder und Videos enthalten. - Die meisten dieser virtuellen Umgebungen enthalten jedoch statische 3D Architekturmodelle, die in Echtzeit bewegt werden können, aber dabei recht passiv bleiben. - Aktive Handlung und Teilnahme setzt menschliche Interaktion und Kommunikation zwischen dem User und den anderen Teilnehmern einer virtuellen Umgebung voraus. - Entwicklern müssen also Systeme zur Verfügung stehen, um Echtzeit simulierte Menschen in Spielen, Filmen usw. einzubetten.

Fokus der Forschung: - Das Hauptaugenmerk dieser Forschung liegt auf der Simulation virtueller Welten, die mit den Möglichkeiten einer SocialComunity ausgestattet sein soll aber eben auch echte menschliche Handlung simluliert, wie reden, Stimmungen haben, Reaktionen zeigen, genau diese Arten menschlich-sozialer Interaktion soll aber gerade nicht fix programmiert werden, sondern mehr das Ergebnis eines Multiagentensystems sein. - Simulierte Menschen brauchen 4 Hauptelemente: (1) Hochentwickeltes Verhalten. (2) Wahrnehmung, hierbei liegt der Focus auf virtuellen Sensoren und echten, also pysikalischen Sensoren. (3) Animation: Flexible Bewegungskontrollen müssen vorhanden sein. (4) Grafik: realitätsnahe Grafiken, wie Haut, Haare und Kleidung.

Die Drei Hauptanwendungsgebiete, die dabei von Interesse sind, sind: (1) Modelle, um in virtuellen Umgebungen leben/wohnen zu können.Die Rolle dieser Virtuellen Menschen/Agenten ist es praktisch in einer virtuellen Umgebung lebensfähig zu sein. (2) „Virtual Substitutes“ (~Virtuelle Ersetzer) sind intelligente computergenerierte Agenten, die im Stande sein sollen den echten Menschen dahinter in virtuellen Umgebungen zu vertreten, d.h. Für Ihn, bzw. in seinem Sinne zu handeln. (3) Virtuelle Medizinische Modelle: Die Modellierung eines virtuellen Patienten in Referenz zum echten Menschen soll ferngesteuerte Medizinische Anwendungen (u.a.Operationen) ermöglichen und zählt ebenfalls zu den Schlüsselthemen.

Praktische Anwendungsgebiete: - Virtuelle Agenten/User für die Ergonomieanalyse in Arbeitsumgebungen und Fahrzeugen. - Virtuelle Patienten für Chirugie und plastische Chirugie - Virtuelle Darsteller für TV und Web. - Virtuelle Agenten und “Menschenmengen” für die Simulation von Katastrophenscenarien. - Virtuelle Agenten für die Bekleidungsindustrie. - Virtuelle Darsteller für Filme. - Virtuelle Patienten für die Orthopädie und Prothesen. - Virtuelle Lehrkräfte für Fernlehrgänge und personalisierte Instruktionen. - Virtuelle Soldaten für miltärische Operationsplanungen. - Virtuelle Arbeiter für die Simulation in industriellen Umgebungen. - u.v.m.

Anwendungsbeispiele für “Virtuelle Darsteller für TV und Web.” Ein Besipiel aus diesem Anwendugsgebiet ist der “Virtual Presenter for Microsoft PowerPoint” der Firma Matrox. Über die Digimask-Software kann man mit zwei Portraitfotos eine 3D-Reproduktion des eigenen Kopfes erschaffen.

- Um dem stummen Gesicht Sprache zu verleihen, gibt es dazu die HeadFone-Software von LIPSinc. - Die Funktionsweise: Nachdem der Anwender das Portrait eines Gesichts gewählt hat, kann er sich online mit einem Kollegen über das Tagesgeschehen unterhalten. Dabei erscheinen die Sprache und die Lippen des bewegten Portraits mit Hilfe der Software synchron.

Die VirtualPresenter-Software: Während auf dem primären Display Ihr Gesicht dargestellt und die Sprache akustisch und visuell (Lippen) wiedergeben wird, können Sie auf dem sekundären Bildschirm PowerPoint-Präsentationen ablaufen lassen. Ideal für Videokonferenzen.

Anwendungsbeispiele für “Virtuelle Agenten und “Menschenmengen” für die Simulation von Katastrophenscenarien.” Mit den wachsenden Möglichkeiten der leistungsfähigeren Hardware sind auch die Anwendugsmöglichkeiten gestiegen, so z.B. VR(virtual Reality)- basierte Trainingsanwendungen. Mit den steigenden Möglichkeiten im Rahmen leistungsfähigerer Harware hat sich kürzlich auch ein neuer Bereich eingestellt, und zwar der medizinischer Anwendungen (z.B. Notfallsituationen) Um dabei soziale Interaktion real darzustellen wurden sogenannte Virtual Assistans VA eingeführt, der VA ist in das entsprechende Scenario eingebaut.

Der VA soll zwischen Schüler und der VR Umgebung und ihren Aufgaben vermitteln helfen. Der Schüler wird so durch das Scenario begleitet, der Schüler/User navigiert durch das VR-Scenario und bewertet die Situation (Decision-maker), indem er Sprachcommandos erteilt.

Anwendungsbeispiele für “Virtuelle Arbeiter für die Simulation in industriellen Umgebungen.” Es gibt eine Vielzahl industrieller Anwendungen, die im Bereich VR zum Einsatz kommen, dazu gehören u.a. Planung, Wartung, modernisieren. Ziel dieser Anwednugen ist es Arbeit effizienter zu gestalten und die Gefahr von Fehlern zu reduzieren, dadurch werden nicht nur die Kosten gesenkt, sondern auch die Belastung der Arbeiter. Um einen guten Lerneffekt zu erzielen, bieten sich Trainingsvideos an, wo die komplexen Aufgaben gezeigt werden, wichtig ist dabei die orginalgetreue Abbildung der Arbeitsumgebung, in der die Aufgaben durchgeführt werden, so brauch des Schüler lediglich die Reproduktion der gezeigten Aufgabenlösungen zu wiederholen, auch die Möglichkeiten der VR Techniken verschiedene Blickwinkel einzunehmen steigert den Lernerfolg.

Eine weitere Anwendung ist die Bedienungshandbücher der Maschienen online zu halten und mit Hilfe von VR Techniken zu verwalten, der Sinn dabei ist es Updates zeitnah und vorallem kostengünstig einpflegen zu können. Planungsanwendungen: VR Simulationen können ebenfalls dazu verwendet werden neue Prozesse zu planen/entwickeln und reduzieren so Verzögerungen aufgrund konventioneller Planungen, die Fehler enthalten können. Wartungsanwendungen: Die meisten Wartungen finden innerhalb geplanter Inspektionen statt. Sie sind dazu da Katastrophen zu vermeiden, z.B. Pipelinelecks. Ein Beispiel hierfür ist das STAR-Projekt, wo Teilnehmer einen HMD aufsetzen (VR Helm) und in virtuellen Umgebungen an Maschienen Wartungsarbeiten üben.

Anwendungsbeispiel Planung durch Ingenieure mit VR Systemen

Beispiel komplexe Maschienen zu Wartungsübung modellieren.

(Öl/Gas) Prozessoptimierung (Druckoptimierung).

HMD Head Mounted Device VR Helm

Trainings/Schulungsumgebung

Anwendungsbeispiele für “Virtuelle Darsteller für Filme.” Der Trend im Film geht heute ebenfalls stark in Richtung von 3 Modellen, lebende Tiere, Animatronix (Roboter mechanische Figuren) und gefährliche Stunts, die für menschliche Darsteller nicht mehr umsetzbar sind, werden heute mit Hilfe von 3DModellen und der entsprechenden Umgebung generiert. Bei der Modellierung spielen Attitüde, physikalisch korrekte Bewegungen, Mimik, Gestik, Detailgrad eine integrale Rolle. Der Film Final Fantasy erregte bereits während seiner Produktion Aufsehen, da es zum ersten Mal gelang, computergenerierte Menschen weitgehend lebensecht darzustellen. Eine wichtige Rolle spielte dabei die intensive Nutzung von motion capturing, mittels der die Bewegungen von echten Schauspielern auf virtuelle Figuren übertragen werden können.

Unter Motion Capture (auf deutsch Bewegungserfassung) versteht man eine Technik, die es ermöglicht, menschliche Bewegungen so aufzuzeichnen und in ein von Computern lesbares Format umzuwandeln, dass dieser diese Bewegungen zum einen analysieren, zum anderen auf im Computer generierte 3D-Modelle übertragen kann. Zum Erfassen von Bewegungen ist es immer noch notwendig, das vom Rechner zu analysierende Material visuell möglichst eindeutig zu gestalten. Daher werden die menschlichen Akteure in einen dunklen Anzug gesteckt, der mit vielen weißen Bällen oder Lämpchen beklebt ist. Bei gleichmäßiger Beleuchtung in einem Raum mit einfarbig gestrichenen Wänden sowie weiteren Markierungen auf Wänden und Boden nehmen nun mehrere Spezialkameras die Bewegungen aus verschiedenen Richtungen auf.

Beispiel Detailgrad der Hauptdarstellerin in Final Fantasy

Beispiel Gesichts- Augenpartie der Final Fantasy Hauptdarstellerin

Eine Zusammenfassung: Echtzeit realistische 3D Agenten werden in der Zukunft in vielerelei Bereichen inegrale Bestandteile sein, das Hauptaugenmerk liegt hierbei auf der Steigerung der KI und der realitätsnahen Darstellung von Emotionen. Die jetzigen Modelle kommen dem Ziel der realitätsnahen Darstellung und Bewegung bereits sehr nahe, sie können ausserdem bereits in einer Virtuellen Umgebung agieren, nehmen diese wahr, sowie die Nutzer in der realen Welt. Sie können bereits im Rahmen Ihrer Wahrnehmung in gewisser Weise autonom reagieren, in naher Zukunft werden wir autonomen Modellen begegnen, die im Stande sind in einigen Situationen zu lernen und zu verstehen.