Anwendungssysteme für MPEG-4

Präsentation zum Thema: "Anwendungssysteme für MPEG-4"—  Präsentation transkript:

1 Anwendungssysteme für MPEG-4
Das Forschungsprojekt „Interaktive Audiovisuelle Anwendungssysteme“ H. Drumm, U. Kühhirt, M. Rittermann 20. FKTG-Jahrestagung, 11. Juni 2002, Zürich

2 MPEG-4 aber Wo ist all dies umgesetzt? 3D-Szenen
universelles Multimedia-format Medien-objekte MPEG-4 spezialisierteA/V Codecs hohe Codier-effizienz aber Wo ist all dies umgesetzt?

3 Anwendungen: viele Schlagworte
Interaktion in 3D-Szenen Video Conferencing Medien- objekte Digital Cinema Advanced Audio Coding Shaped Video Sprite Coding Text2Speech Video via Internet Facial Animation Very Low-Bit Speech

4 Part 5: Reference Software
MPEG-4 Part 1: Systems Part 2: Visual Part 3: Audio ... Part 6: DMIF ... Part 5: Reference Software ... Part 8: 4 on IP

5 Der „Systems“-Grundgedanke
2D-, 3D-Szene Objektbeschreibung Interoperation visuell auditiv natürliches Video shaped Video Gesichtsanimation 2D-, 3D-Meshes Skalierbarkeiten AAC Sprachsynthese parametrische Codierung

6 Die digitale Medienkette
1. Produktion 2. Codierung, Transmission 3. Interaktive Applikation Aufnahme Modellierung Authoring Metadaten Objekt-Codierung Datenmanagement Adaption an Transportschicht Rendering  visuell  auditiv verschiedene End-geräte/Applikationen Hardware-Beschleunigung Java-API

7 Warum Anwendungssysteme?
Inhaltsadaptive Beschreibung von der Generierung bis zur Präsentation im 3D-Kontext  mehrere Perspektiven, Perspektivwahl  Wiedergabe auf 3D-Display objektbezogen  Interaktion, Interoperation Skalierbarkeit  Wiedergabe auf verschiedenen Plattformen Wiederverwendbarkeit  nutzbar für weitere Produktionen

8 Forschungsprojekt IAVAS Interaktive Audiovisuelle Anwendungssysteme
Institut für Medientechnik Projektleiter: Prof. Dr.-Ing. Karlheinz Brandenburg 6 (+2) Wissenschaftler, Studenten, etc. Laufzeit: 3 Jahre Vernetzt mit Fraunhofer IIS

9 Typische Beispiele Wahl der Perspektive in einer Theaterszene

10 Typische Beispiele Fußballspiel: Perspektivenwahl, Objektwahl, Infos
Steckbrief John Brown 28 Jahre London 13 Länderspiele 9 Tore 3 Gelbe Karten 1 Rote Karte

11 IAVAS-Szenario background So und Compositor synthetic 3D objects
x z shaped Compositor video ob ject synthetic 3D objects reaction 3D Audio topography motion directivity camera tracking

12 Produktion im MPEG-4 Kontext
Veränderung des Produktionsprozesses Erzeugung von Shaped Video Objekten Platzierung natürlicher&synthetischer 2D/3D-Objekte Tracking- und Animationsdaten Beispiel: räumliche Erfassung von Shaped Video und Audio-Objekten x y z Hier ist eine Skizze mit den Audio/Video Bestandteilen eines virtuellen Studios geplant!

13 Szenenkomposition BInary Format for Scenes (BIFS)
virtuelles Set, A/V-Objekte, Interaktionsskripte Szenengraph 2D-Layer 3D-Layer x y z

14 Szenenrealismus - AFX (Advanced Framework eXtensions)
Vergabe von Materialeigenschaften Reproduktion natürlicher Effekte Lichteffekte, atmosphärische Effekte, Schatten, spiegelnde Reflexionen Reproduktion technischer Effekte Bewegungsunschärfe, Tiefenschärfe, etc. x y z Hier ist eine Skizze mit den Audio/Video Bestandteilen eines virtuellen Studios geplant!

15 Virtuelle Raumakustik
Platzierung und Animation von Audioquellen Aufzeichnung von „trockenen“ Audiosignalen Zuweisung von akustischen Materialeigenschaften  Materialbibliothek Absorption, Reflexion, Transmission Raumsimulation  „Hören mit den Ohren der Kamera“ x y z Hier ist eine Skizze mit den Audio/Video Bestandteilen eines virtuellen Studios geplant!

16 Interaktivität freie Wahl des Betrachterstandortes
Nutzung von Metainformationen durch den Zuschauer aktive Beteiligung des Zuschauers am Sendeablauf durch Interaktion Austausch von einzelnen Media-Objekten x y z

17 Datenmanagement Zielstellung: Organisation von Objekten und Szenen
Unterstützung eines auf mehrere Autoren verteilten Authoring-Prozesses Erfassung und Verwaltung der anfallenden Meta-Daten Mehrfachnutzung der erstellten Inhalte Suchmöglichkeiten Steuerung des Zugriffes für Produzent und Konsument Archivierung

18 Datenmanagement Anforderungen an das System:
Verwaltung von Objekten (Media-Objects) Verwaltung von Baumstrukturen (Scene Description, XML, VRML, X3D, ...) Bearbeitung und Speicherung von Teilbäumen strukturierte Zugriffskontrolle Rechte der Benutzer und Benutzergruppen administrierbar Sicherheitsmechanismen auf Knotenebene anwendbar Integrierbarkeit in Authoringsysteme (APIs für gängige Programmiersprachen)

19 Datenmanagement XML-Server

20 Präsentationsplattformen
Anforderungen: Konformität bzgl. der für das Endgerät geeigneten Profiles und Levels bidirektionale Kommunikation zur Nutzung der erweiterten Funktionalität (z. B. Interaktion, Endgeräteadaption) klientenseitige Nutzerverwaltung ermöglicht gezielte Wiedergabe und dessen Eigenschaften Wiedergabe auf verschiedenen Endgeräten über verschiedene Transportwege (z. B. DVB, IP, ADSL, ...) Beispiel: Messeszene

21 Beispiel Hardwareunterstützte Berechnung von Virtueller Akustik
Hardwareunterstützung: Entlastung der CPU Einsatz von APIs für „3D-Audio“: OpenAL Creative EAX 3.0 = EAX ADVANCED HD™ (SB Audigy) Gewinnung von EAX listener und source properties aus Szenenbeschreibung (MPEG-4 Knoten) Integration in ein VRML-Projekt To Do: Einbindung in MPEG-4 Technologie / Player Listener properties: beschreiben akustische Eigenschaften, die vom Hörer / seiner Position bestimmt werden: z.B. Nachhallzeit, Raumgröße, Frequenzverhalten des Nachhalls, etc. Source Properties: beschreiben Eigenschaften der Quelle, z.B. Abstrahl(Richt-)charakteristik, ob Quelle von Objekt verdeckt wird, etc.

22 Demonstrationen Demonstrator auf Basis eines VRML-Browsers Messeszene
Demonstration eines IAVAS-Szenarios look-and-feel MPEG-4 nahe Umsetzung Messeszene Integration von MPEG-4-konformen shaped Videosequenzen in 3D-Szenen Authoring Tool für Interaktionsskripte Bearbeitung von MPEG-4 Szenengraphen und Objektbeschreibungen

23 Demonstrator IAVAS-Demonstrator
Im Vorfeld des IAVAS-Projektes galt es die geplanten Anwendungs­sys­te­me zu demonstrieren. Hierfür wurde ein Demonstrator erstellt, für dessen Umsetzung sich am MPEG-4 Standard orientiert wurde. Der Demonstrator erlaubt die Navigation durch eine 3D-Szene mit eingebetteten shaped video Objekten und einer Audiolokalisation. Daher vermittelt er das "look-and-feel" einer künftigen IAVAS-Applikation.

24 Messeszene Messeszene
Das Prinzip des SNHC (Synthetic Natural Hybrid Coding) wird insbesondere bei der Integration von beliebig geformten Video (arbitrarly shaped video) deutlich. In einer ersten Anwendung können mehrere shaped video Objekte (MPEG-4 elemtary streams) in eine 3D-Szene integriert werden. Diese Umsetzung ist Ausgangspunkt für weitergehende Untersuchungen, z. B. die Realisierung von 3D-Video.

25 Authoring Tool für Interaktionsskripte
Der Authoring-Prozess für typische IAVAS-Applikationen erweist sich als sehr komplex und erfordert neueartige Werkzeuge. Neben Werkzeugen für Aufnahme, Modellierung und Komposition werden z. B. auch Hilfsmittel zur Festlegung von gewünschten Interaktionen benötigt. Das vorliegende Werkzeug dient der Bearbeitung von MPEG-4 Szenen­gra­phen und Objektbeschreibungen.

26 Vielen Dank für Ihre Aufmerksamkeit.