Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Institute of Media Technology Technische Universität Ilmenau 1 Anwendungssysteme für MPEG-4 H. Drumm, U. Kühhirt, M. Rittermann Das.

Ähnliche Präsentationen


Präsentation zum Thema: "Institute of Media Technology Technische Universität Ilmenau 1 Anwendungssysteme für MPEG-4 H. Drumm, U. Kühhirt, M. Rittermann Das."—  Präsentation transkript:

1 Institute of Media Technology Technische Universität Ilmenau 1 Anwendungssysteme für MPEG-4 H. Drumm, U. Kühhirt, M. Rittermann Das Forschungsprojekt Interaktive Audiovisuelle Anwendungssysteme 20. FKTG-Jahrestagung, 11. Juni 2002, Zürich

2 Institute of Media Technology Technische Universität Ilmenau 2 Medien- objekte Wo ist all dies umgesetzt? MPEG-4 aber universelles Multimedia- format spezialisierte A/V Codecs 3D-Szenen hohe Codier- effizienz

3 Institute of Media Technology Technische Universität Ilmenau 3 Anwendungen: viele Schlagworte Shaped Video Digital Cinema Advanced Audio Coding Text2Speech Video via Internet Interaktion in 3D-Szenen Facial Animation Video Conferencing Medien- objekte Very Low-Bit Speech Sprite Coding

4 Institute of Media Technology Technische Universität Ilmenau 4 MPEG-4 Part 1: Systems Part 2: VisualPart 3: Audio Part 5: Reference Software Part 8: 4 on IP... Part 6: DMIF

5 Institute of Media Technology Technische Universität Ilmenau 5 Der Systems-Grundgedanke auditiv System visuell 2D-, 3D-Szene Objektbeschreibung Interoperation natürliches Video shaped Video Gesichtsanimation 2D-, 3D-Meshes Skalierbarkeiten AAC Sprachsynthese parametrische Codierung

6 Institute of Media Technology Technische Universität Ilmenau 6 Die digitale Medienkette Aufnahme Modellierung Authoring Metadaten 1. Produktion 2. Codierung, Transmission 3. Interaktive Applikation Objekt-Codierung Datenmanagement Adaption an Transportschicht Rendering visuell auditiv verschiedene End- geräte/Applikationen Hardware- Beschleunigung Java-API

7 Institute of Media Technology Technische Universität Ilmenau 7 Warum Anwendungssysteme? Inhaltsadaptive Beschreibung von der Generierung bis zur Präsentation im 3D-Kontext mehrere Perspektiven, Perspektivwahl Wiedergabe auf 3D-Display objektbezogen Interaktion, Interoperation Skalierbarkeit Wiedergabe auf verschiedenen Plattformen Wiederverwendbarkeit nutzbar für weitere Produktionen

8 Institute of Media Technology Technische Universität Ilmenau 8 Forschungsprojekt IAVAS Interaktive Audiovisuelle Anwendungssysteme Institut für Medientechnik Projektleiter: Prof. Dr.-Ing. Karlheinz Brandenburg 6 (+2) Wissenschaftler, Studenten, etc. Laufzeit: 3 Jahre Vernetzt mit Fraunhofer IIS

9 Institute of Media Technology Technische Universität Ilmenau 9 Typische Beispiele Wahl der Perspektive in einer Theaterszene

10 Institute of Media Technology Technische Universität Ilmenau 10 Typische Beispiele Fußballspiel: Perspektivenwahl, Objektwahl, Infos Steckbrief John Brown 28 Jahre London 13 Länderspiele 9 Tore 3 Gelbe Karten 1 Rote Karte Steckbrief

11 Institute of Media Technology Technische Universität Ilmenau 11 IAVAS-Szenario x y z background So und synthetic 3D objects shaped video ob ject 3D Audio directivity topography camera tracking motion reaction Compositor

12 Institute of Media Technology Technische Universität Ilmenau 12 Produktion im MPEG-4 Kontext Veränderung des Produktionsprozesses Erzeugung von Shaped Video Objekten Platzierung natürlicher&synthetischer 2D/3D-Objekte Tracking- und Animationsdaten Beispiel: räumliche Erfassung von Shaped Video und Audio-Objekten x y z

13 Institute of Media Technology Technische Universität Ilmenau 13 Szenenkomposition BInary Format for Scenes (BIFS) –virtuelles Set, A/V-Objekte, Interaktionsskripte x y z Szenengraph 2D-Layer 3D-Layer 2D-Layer

14 Institute of Media Technology Technische Universität Ilmenau 14 Vergabe von Materialeigenschaften Reproduktion natürlicher Effekte –Lichteffekte, atmosphärische Effekte, Schatten, spiegelnde Reflexionen Reproduktion technischer Effekte –Bewegungsunschärfe, Tiefenschärfe, etc. Szenenrealismus - AFX (Advanced Framework eXtensions) x y z

15 Institute of Media Technology Technische Universität Ilmenau 15 Virtuelle Raumakustik Platzierung und Animation von Audioquellen –Aufzeichnung von trockenen Audiosignalen Zuweisung von akustischen Materialeigenschaften Materialbibliothek –Absorption, Reflexion, Transmission Raumsimulation Hören mit den Ohren der Kamera x y z

16 Institute of Media Technology Technische Universität Ilmenau 16 Interaktivität freie Wahl des Betrachterstandortes Nutzung von Metainformationen durch den Zuschauer aktive Beteiligung des Zuschauers am Sendeablauf durch Interaktion Austausch von einzelnen Media-Objekten x y z

17 Institute of Media Technology Technische Universität Ilmenau 17 Datenmanagement Zielstellung: Organisation von Objekten und Szenen Unterstützung eines auf mehrere Autoren verteilten Authoring-Prozesses Erfassung und Verwaltung der anfallenden Meta-Daten Mehrfachnutzung der erstellten Inhalte Suchmöglichkeiten Steuerung des Zugriffes für Produzent und Konsument Archivierung

18 Institute of Media Technology Technische Universität Ilmenau 18 Datenmanagement Anforderungen an das System: Verwaltung von Objekten (Media-Objects) Verwaltung von Baumstrukturen (Scene Description, XML, VRML, X3D,...) Bearbeitung und Speicherung von Teilbäumen strukturierte Zugriffskontrolle Rechte der Benutzer und Benutzergruppen administrierbar Sicherheitsmechanismen auf Knotenebene anwendbar Integrierbarkeit in Authoringsysteme (APIs für gängige Programmiersprachen)

19 Institute of Media Technology Technische Universität Ilmenau 19 Datenmanagement XML-Server

20 Institute of Media Technology Technische Universität Ilmenau 20 Präsentationsplattformen Anforderungen: Konformität bzgl. der für das Endgerät geeigneten Profiles und Levels bidirektionale Kommunikation zur Nutzung der erweiterten Funktionalität (z. B. Interaktion, Endgeräteadaption) klientenseitige Nutzerverwaltung ermöglicht gezielte Wiedergabe und dessen Eigenschaften Wiedergabe auf verschiedenen Endgeräten über verschiedene Transportwege (z. B. DVB, IP, ADSL,...) Beispiel: Messeszene

21 Institute of Media Technology Technische Universität Ilmenau 21 Beispiel Hardwareunterstützte Berechnung von Virtueller Akustik Hardwareunterstützung: Entlastung der CPU Einsatz von APIs für 3D-Audio: –OpenAL –Creative EAX 3.0 = EAX ADVANCED HD (SB Audigy) Gewinnung von EAX listener und source properties aus Szenenbeschreibung (MPEG-4 Knoten) Integration in ein VRML-Projekt To Do: Einbindung in MPEG-4 Technologie / Player

22 Institute of Media Technology Technische Universität Ilmenau 22 Demonstrationen Demonstrator auf Basis eines VRML-Browsers –Demonstration eines IAVAS-Szenarios –look-and-feel –MPEG-4 nahe Umsetzung Messeszene –Integration von MPEG-4-konformen shaped Videosequenzen in 3D-Szenen Authoring Tool für Interaktionsskripte –Bearbeitung von MPEG-4 Szenengraphen und Objektbeschreibungen

23 Institute of Media Technology Technische Universität Ilmenau 23 Demonstrator

24 Institute of Media Technology Technische Universität Ilmenau 24 Messeszene

25 Institute of Media Technology Technische Universität Ilmenau 25 Authoring Tool für Interaktionsskripte

26 Institute of Media Technology Technische Universität Ilmenau 26 Vielen Dank für Ihre Aufmerksamkeit.


Herunterladen ppt "Institute of Media Technology Technische Universität Ilmenau 1 Anwendungssysteme für MPEG-4 H. Drumm, U. Kühhirt, M. Rittermann Das."

Ähnliche Präsentationen


Google-Anzeigen