Anwendungssysteme für MPEG-4 Das Forschungsprojekt „Interaktive Audiovisuelle Anwendungssysteme“ H. Drumm, U. Kühhirt, M. Rittermann 20. FKTG-Jahrestagung, 11. Juni 2002, Zürich
MPEG-4 aber Wo ist all dies umgesetzt? 3D-Szenen universelles Multimedia-format Medien-objekte MPEG-4 spezialisierteA/V Codecs hohe Codier-effizienz aber Wo ist all dies umgesetzt?
Anwendungen: viele Schlagworte Interaktion in 3D-Szenen Video Conferencing Medien- objekte Digital Cinema Advanced Audio Coding Shaped Video Sprite Coding Text2Speech Video via Internet Facial Animation Very Low-Bit Speech
Part 5: Reference Software MPEG-4 Part 1: Systems Part 2: Visual Part 3: Audio ... Part 6: DMIF ... Part 5: Reference Software ... Part 8: 4 on IP
Der „Systems“-Grundgedanke 2D-, 3D-Szene Objektbeschreibung Interoperation visuell auditiv natürliches Video shaped Video Gesichtsanimation 2D-, 3D-Meshes Skalierbarkeiten AAC Sprachsynthese parametrische Codierung
Die digitale Medienkette 1. Produktion 2. Codierung, Transmission 3. Interaktive Applikation Aufnahme Modellierung Authoring Metadaten Objekt-Codierung Datenmanagement Adaption an Transportschicht Rendering visuell auditiv verschiedene End-geräte/Applikationen Hardware-Beschleunigung Java-API
Warum Anwendungssysteme? Inhaltsadaptive Beschreibung von der Generierung bis zur Präsentation im 3D-Kontext mehrere Perspektiven, Perspektivwahl Wiedergabe auf 3D-Display objektbezogen Interaktion, Interoperation Skalierbarkeit Wiedergabe auf verschiedenen Plattformen Wiederverwendbarkeit nutzbar für weitere Produktionen
Forschungsprojekt IAVAS Interaktive Audiovisuelle Anwendungssysteme Institut für Medientechnik Projektleiter: Prof. Dr.-Ing. Karlheinz Brandenburg 6 (+2) Wissenschaftler, Studenten, etc. Laufzeit: 3 Jahre Vernetzt mit Fraunhofer IIS
Typische Beispiele Wahl der Perspektive in einer Theaterszene
Typische Beispiele Fußballspiel: Perspektivenwahl, Objektwahl, Infos Steckbrief John Brown 28 Jahre London 13 Länderspiele 9 Tore 3 Gelbe Karten 1 Rote Karte
IAVAS-Szenario background So und Compositor synthetic 3D objects x z shaped Compositor video ob ject synthetic 3D objects reaction 3D Audio topography motion directivity camera tracking
Produktion im MPEG-4 Kontext Veränderung des Produktionsprozesses Erzeugung von Shaped Video Objekten Platzierung natürlicher&synthetischer 2D/3D-Objekte Tracking- und Animationsdaten Beispiel: räumliche Erfassung von Shaped Video und Audio-Objekten x y z Hier ist eine Skizze mit den Audio/Video Bestandteilen eines virtuellen Studios geplant!
Szenenkomposition BInary Format for Scenes (BIFS) virtuelles Set, A/V-Objekte, Interaktionsskripte Szenengraph 2D-Layer 3D-Layer x y z
Szenenrealismus - AFX (Advanced Framework eXtensions) Vergabe von Materialeigenschaften Reproduktion natürlicher Effekte Lichteffekte, atmosphärische Effekte, Schatten, spiegelnde Reflexionen Reproduktion technischer Effekte Bewegungsunschärfe, Tiefenschärfe, etc. x y z Hier ist eine Skizze mit den Audio/Video Bestandteilen eines virtuellen Studios geplant!
Virtuelle Raumakustik Platzierung und Animation von Audioquellen Aufzeichnung von „trockenen“ Audiosignalen Zuweisung von akustischen Materialeigenschaften Materialbibliothek Absorption, Reflexion, Transmission Raumsimulation „Hören mit den Ohren der Kamera“ x y z Hier ist eine Skizze mit den Audio/Video Bestandteilen eines virtuellen Studios geplant!
Interaktivität freie Wahl des Betrachterstandortes Nutzung von Metainformationen durch den Zuschauer aktive Beteiligung des Zuschauers am Sendeablauf durch Interaktion Austausch von einzelnen Media-Objekten x y z
Datenmanagement Zielstellung: Organisation von Objekten und Szenen Unterstützung eines auf mehrere Autoren verteilten Authoring-Prozesses Erfassung und Verwaltung der anfallenden Meta-Daten Mehrfachnutzung der erstellten Inhalte Suchmöglichkeiten Steuerung des Zugriffes für Produzent und Konsument Archivierung
Datenmanagement Anforderungen an das System: Verwaltung von Objekten (Media-Objects) Verwaltung von Baumstrukturen (Scene Description, XML, VRML, X3D, ...) Bearbeitung und Speicherung von Teilbäumen strukturierte Zugriffskontrolle Rechte der Benutzer und Benutzergruppen administrierbar Sicherheitsmechanismen auf Knotenebene anwendbar Integrierbarkeit in Authoringsysteme (APIs für gängige Programmiersprachen)
Datenmanagement XML-Server
Präsentationsplattformen Anforderungen: Konformität bzgl. der für das Endgerät geeigneten Profiles und Levels bidirektionale Kommunikation zur Nutzung der erweiterten Funktionalität (z. B. Interaktion, Endgeräteadaption) klientenseitige Nutzerverwaltung ermöglicht gezielte Wiedergabe und dessen Eigenschaften Wiedergabe auf verschiedenen Endgeräten über verschiedene Transportwege (z. B. DVB, IP, ADSL, ...) Beispiel: Messeszene
Beispiel Hardwareunterstützte Berechnung von Virtueller Akustik Hardwareunterstützung: Entlastung der CPU Einsatz von APIs für „3D-Audio“: OpenAL Creative EAX 3.0 = EAX ADVANCED HD™ (SB Audigy) Gewinnung von EAX listener und source properties aus Szenenbeschreibung (MPEG-4 Knoten) Integration in ein VRML-Projekt To Do: Einbindung in MPEG-4 Technologie / Player Listener properties: beschreiben akustische Eigenschaften, die vom Hörer / seiner Position bestimmt werden: z.B. Nachhallzeit, Raumgröße, Frequenzverhalten des Nachhalls, etc. Source Properties: beschreiben Eigenschaften der Quelle, z.B. Abstrahl(Richt-)charakteristik, ob Quelle von Objekt verdeckt wird, etc.
Demonstrationen Demonstrator auf Basis eines VRML-Browsers Messeszene Demonstration eines IAVAS-Szenarios look-and-feel MPEG-4 nahe Umsetzung Messeszene Integration von MPEG-4-konformen shaped Videosequenzen in 3D-Szenen Authoring Tool für Interaktionsskripte Bearbeitung von MPEG-4 Szenengraphen und Objektbeschreibungen
Demonstrator IAVAS-Demonstrator Im Vorfeld des IAVAS-Projektes galt es die geplanten Anwendungssysteme zu demonstrieren. Hierfür wurde ein Demonstrator erstellt, für dessen Umsetzung sich am MPEG-4 Standard orientiert wurde. Der Demonstrator erlaubt die Navigation durch eine 3D-Szene mit eingebetteten shaped video Objekten und einer Audiolokalisation. Daher vermittelt er das "look-and-feel" einer künftigen IAVAS-Applikation.
Messeszene Messeszene Das Prinzip des SNHC (Synthetic Natural Hybrid Coding) wird insbesondere bei der Integration von beliebig geformten Video (arbitrarly shaped video) deutlich. In einer ersten Anwendung können mehrere shaped video Objekte (MPEG-4 elemtary streams) in eine 3D-Szene integriert werden. Diese Umsetzung ist Ausgangspunkt für weitergehende Untersuchungen, z. B. die Realisierung von 3D-Video.
Authoring Tool für Interaktionsskripte Der Authoring-Prozess für typische IAVAS-Applikationen erweist sich als sehr komplex und erfordert neueartige Werkzeuge. Neben Werkzeugen für Aufnahme, Modellierung und Komposition werden z. B. auch Hilfsmittel zur Festlegung von gewünschten Interaktionen benötigt. Das vorliegende Werkzeug dient der Bearbeitung von MPEG-4 Szenengraphen und Objektbeschreibungen.
Vielen Dank für Ihre Aufmerksamkeit.