Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

MPEG-4 Ein Überblick Vortrag in der Projektgruppe Verteilte Multimedia-Serversysteme WS 00/01.

Ähnliche Präsentationen


Präsentation zum Thema: "MPEG-4 Ein Überblick Vortrag in der Projektgruppe Verteilte Multimedia-Serversysteme WS 00/01."—  Präsentation transkript:

1 MPEG-4 Ein Überblick Vortrag in der Projektgruppe Verteilte Multimedia-Serversysteme WS 00/01

2 2 Gliederung Einführung Visual Audio DMIF Systems Profiles

3 3 Wiederholung Technik von MPEG-2: Intraframe-Codierung DCT, RLE Interframe-Codierung Motion Compensation I-, P-, B-Frames hierarchische Codierung Base Layer Enhancement Layer EinführungDMIFAudioVisualSystemsProfiles

4 4 Überblick (1) offizielle Bezeichnung: ISO/IEC Lizenzierung kostenpflichtig Tools auf CD-ROM für $40 erhältlich fertiggestellt im Oktober 1998 Anfang 1999: internationaler Standard Ende 1999: MPEG-4 Version 2 nur Erweiterungen, keine Veränderungen neue Erweiterungen in Arbeit EinführungDMIFAudioVisualSystemsProfiles

5 5 Überblick (2) MPEG2 Kompression von Videodaten MPEG4 erweiterte Funktionalität Kompression Flexibilität keine Festlegung auf bestimmtes Verfahren oft nur Interfaces standardisiert stattdessen: Sammlung verschiedener Tools EinführungDMIFAudioVisualSystemsProfiles

6 6 Anwendungen Videos Fußball im Pay-TV nicht bezahlt: kein Ball bezahlt: Ball erscheint Mobilfunk Internettelefonie Interaktive Videospiele Videokonferenzen EinführungDMIFAudioVisualSystemsProfiles

7 7 Zielgruppen Autoren Wiederverwendbarkeit Flexibilität Rechteverwaltung Netzwerkbetreuer Framework - Unterbau muss vom Netzwerkbetreiber bereitgestellt werden Endbenutzer hohes Maß an Interaktivität Qualität auch bei niedrigen Bitraten Fehlerrobustheit mobil EinführungDMIFAudioVisualSystemsProfiles

8 8 Grundidee Szene wird in Einheiten unterteilt Media Objects Zusammensetzung der Media Objects wird gespeichert Szenengraph EinführungDMIFAudioVisualSystemsProfiles

9 9 Media Objects Video Objects Natural Kamera Synthetic computergeneriert Audio Objects Natural Mikrofon Synthetic computergeneriert EinführungDMIFAudioVisualSystemsProfiles

10 10 Szenengraph (1) Szenengraph sorgt für korrekte Positionierung der Media Objects räumlich zeitlich Realisiert durch gerichteten, azyklischen Graphen scene Person2D BackgroundVideo picturevoice EinführungDMIFAudioVisualSystemsProfiles

11 11 Szenengraph (2) jedes Media Object besitzt ein eigenes Koordinatensystem Szenengraph verfügt selbst auch über ein Koordinatensystem durch Berechnung: virtuelle Kamera möglich Blickwinkel Ausschnitt EinführungDMIFAudioVisualSystemsProfiles

12 12 Hierarchie Media Objects einer Szene sind hierarchisch sortiert Blätter: Primitive Media Objects Still Images - unbewegte Bilder (z. B. Hintergrund) Video Objects (z. B. Person) Audio Objects (z. B. Stimme) Bild einer Person Stimme einer Person komplette Person EinführungDMIFAudioVisualSystemsProfiles

13 13 Streams MPEG-Standards basieren auf Datenströmen (Streams) in MPEG-2 drei Arten von Streams Packetized Elementary Stream Audio- oder Videostrom (in Pakete aufgeteilt) Program Stream Programme codiert als PES Anwendungen ohne Fehler (DVD,...) Transport Stream für unsichere Übertragungskanäle EinführungDMIFAudioVisualSystemsProfiles

14 14 Übertragung Sender Objekte komprimieren 1 Primitive Media Object 1 Stream Zusammenfassen zu einem Stream (Multiplex) Empfänger Stream trennen (Demultiplex) in Elementary Streams zerlegen Objekte einlesen (Decode) Szenengraph einlesen 1 Elementary Stream (Decode) Zusammensetzen (Composition) und Aufbauen (Rendering) der Szene EinführungDMIFAudioVisualSystemsProfiles

15 15 Schichtenmodell Dekodieren der Datenströme Netzwerk / CD / Kabel Delivery Layer Synchronisation Layer Decompression Layer Aufbauen der Szene Zeitstempel Fehlerkorrektur Datenempfang Demultiplex

16 16 Aufbauen einer Szene Composition Rendering Media Objects Scene Graph EinführungDMIFAudioVisualSystemsProfiles Synchronisation Layer

17 17 Gliederung Einführung Visual Audio DMIF Systems Profiles

18 18 Visual Kodierung von visuellen Objekten in natürlichen und synthetischen, bewegten Bildern Verknüpfung mit Ton möglich Ziel: breites Anwendungsfeld effiziente Komprimierung erreichen EinführungDMIFAudioVisualSystemsProfiles

19 19 Videoformate Bitraten min. 5kbit/s max. 10 Mbit/s Formate progressive interlaced Auflösungen min. sub-QCIF (172 x 144 Pixel) max. > HDTV (1440 x 1152 Pixel) EinführungDMIFAudioVisualSystemsProfiles

20 20 Content-based Funktionalität Video Objects einzeln kodiert Random Access auf einzelnen Objekten play, pause, forward,... Manipulation einzelner Video Objects Bsp.: Text auf sich bewegendes Video Object legen EinführungDMIFAudioVisualSystemsProfiles

21 21 Skalierbarkeit (1) Complexity Scalability (Encoder) Streams verschiedener Komplexität erzeugen Complexity Scalability (Decoder) festen Stream in verschiedenen Komplexitätsstufen abspielen schwache Decoder decodieren nur Teil des Streams EinführungDMIFAudioVisualSystemsProfiles

22 22 Skalierbarkeit (2) Spatial Scalability (Decoder) Auflösung einzelner Video Objects skalierbar Temporal Scalability (Decoder) nicht alle Frames werden wiedergegeben Quality Scalability (Encoder) Benutzung verschiedener Layer (s. MPEG-2) EinführungDMIFAudioVisualSystemsProfiles

23 23 Natural Video Objects natürliches Video Object besteht aus folgenden Informationen: Form (shape) Texturen (texture) Bewegungsinformationen (motion) zusätzliche Kompressionsmöglichkeit: Sprite Coding EinführungDMIFAudioVisualSystemsProfiles

24 24 Shape Coding Binary Shape Coding Matrix (Binary Alpha Map) definiert, ob Pixel zu Objekt gehört 0 - liegt nicht drin liegt drin Alpha Shape Coding definiert Transparenz Wert zwischen 0 (transparent) und 255 (undurchsichtig) EinführungDMIFAudioVisualSystemsProfiles

25 25 Texture Coding gleiche Kodierung wie bei MPEG-2 Diskrete Kosinustransformation (DCT) Quantisierung Mapping auf 2D-/3D-Oberflächen möglich spezielle Transformation (Wavelet) EinführungDMIFAudioVisualSystemsProfiles

26 26 Motion Coding Motion Compensation Ähnlichkeiten in Bildfolgen ausnutzen I-VOP P-VOP B-VOP Zeit EinführungDMIFAudioVisualSystemsProfiles

27 27 Sprite Coding Hintergrund (Sprite) wird nur einmal übertragen auf Decoder-Seite in Buffer gespeichert nur noch Kamerapositionen werden geändert gute Kompressionsrate EinführungDMIFAudioVisualSystemsProfiles

28 28 Synthetic Video Objects Facial Animation - Animation von Gesichtern Body Animation 2D Meshes 3D Meshes View-dependent Scalability EinführungDMIFAudioVisualSystemsProfiles

29 29 Facial Animation Form, Textur und Gesichtsausdruck werden nur durch Parameter übergeben Facial Definition Parameters (FDP) Gesicht wird durch 84 FDPs beschrieben FDPs werden vom Decoder in Gesicht umgesetzt Animation: Facial Animation Parameters Gesichtsausdrücke Body Animation analog EinführungDMIFAudioVisualSystemsProfiles

30 30 2D Meshes Aufteilung des 2-dimensionalen Raumes in Polygone in MPEG-4 nur Dreiecke Textur wird über das Gittermodell gelegt Texture Mapping Animation Verschieben der Knotenpunkte EinführungDMIFAudioVisualSystemsProfiles

31 31 View-dependent Scalability wird in 3D-Welten benutzt ermöglicht Übertragung von Texturen nur sichtbare Informationen werden übertragen spart Bandbreite Berechnung auf Encoder- und Decoder- Seite Rückkanal erforderlich EinführungDMIFAudioVisualSystemsProfiles

32 32 Gliederung Einführung Visual Audio DMIF Systems Profiles

33 33 Audio Tools für Repräsentation (Sprache, Musik) Kompression Skalierbarkeit Effekte künstliche Herstellung Daten in Textform übergeben Effekte (Widerhall,...) meistens nur Interface konkrete Implementierung flexibel EinführungDMIFAudioVisualSystems

34 34 Natural Audio Objects Sprache spezielle Standards für Sprachoptimierung geringer Frequenzbereich geringe Bitrate Musik TwinVQ besser als MP3 MPEG-2 Advanced Audio Coding (AAC) EinführungDMIFAudioVisualSystemsProfiles

35 35 Synthesized Speech Text To Speech (TTS)-Interface Decoder wandelt Text in gesprochene Sprache um extrem niedrige Bitraten Unterstützung für phonetische Parameter Synchronisation mit Lippenbewegungen pause, resume, jump forward/backward Dialekte, Sprachunterstützung EinführungDMIFAudioVisualSystemsProfiles

36 36 Synthesized Audio MIDI (Musical Instrument Digital Interface) Synthesizer auf Decoder-Seite nur Noten und Information über Instrument werden übertragen spart Bandbreite Erweiterung: SAOL (Structured Audio Orchestra Language) Funktionalität von MIDI Definition des Instrumentes kann im Stream mitgeschickt werden Decoder setzt Instrumente und Noten zusammen EinführungDMIFAudioVisualSystemsProfiles

37 37 Gliederung Einführung Visual Audio DMIF Systems Profiles

38 38 Streaming MPEG-4 Standard stellt flexibles Handling für Streams zur Verfügung kann auf beliebige Protokolle aufsetzen Verschiedenste Nutzungsarten möglich Internet Broadcast DVD, CD etc. EinführungDMIFAudioVisualSystemsProfiles

39 39 DMIF Delivery Multimedia Integration Framework Sitzungsprotokoll Framework ähnlich FTP Unterschied: statt Daten werden Pointer übertragen, wo zu streamende Daten zu finden sind stellt Interface für Applikationen zur Verfügung DMIF Application Interface (DAI) EinführungDMIFAudioVisualSystemsProfiles

40 40 Aufbau des DMIF FlexMux RTPUDP/IPMPEG-2 TSDatei SL... synchronisation layer delivery layer DMIF layer TransMux layer DAI DNI ESI EinführungDMIFAudioVisualSystemsProfiles

41 41 DMIF Ablauf Local DMIF Application DMIF Remote DMIF Application DMIF 1.App. (local) DMIF (local) spricht DAI an Aufbau Sitzung zwischen DMIF und Applikation 2.DMIF (local) DMIF (remote) Kommunikation über DNI baut Netzwerksitzung auf 3.DMIF (remote) App. (remote) Aufbau Sitzung zwischen DMIF und App. (lokal) 4.App. (remote) App. (local) Kommunikation über 1, 2 und EinführungDMIFAudioVisualSystemsProfiles

42 42 Gliederung Einführung Visual Audio DMIF Systems Profiles

43 43 Systems Sammlung von Tools beschreiben Verhältnis zwischen den Objekten einer Szene Verhältnis wird auf 2 Ebenen beschrieben Binary Format for Scenes (BIFS) Object Descriptors (ODs) beschreiben Verhältnis der Streams eines Objektes zusätzliche Informationen (URL, Intellectual Property,...) EinführungDMIFAudioVisualSystemsProfiles

44 44 Zusätzliche Themen User Interaction FlexMux Tool s. DMIF MPEG-4 File Format MPEG-J Transportschicht-Unabhängigkeit s. DMIF Intellectual Property-Verwaltung EinführungDMIFAudioVisualSystemsProfiles

45 45 BIFS (1) Sprache zur Beschreibung von 3D-Szenen komplett abgeleitet aus VRML (Virtual Reality Modeling Language) Möglichkeit zur Gruppierung von MOs Szenenbeschreibung Position der MOs in Raum und Zeit Änderung der Attribute EinführungDMIFAudioVisualSystemsProfiles

46 46 BIFS (2) Andere Manipulationen Ereignismodell Userinteraktion vorgefertige Funktionen zur Konstruktion von Szenen Graphics Primitives Advanced BIFS (Version 2) Advanced Sound Environment Modeling Widerhall,... und mehr EinführungDMIFAudioVisualSystemsProfiles

47 47 User Interaction muss explizit vom Autor erlaubt werden client-seitige Interaktion Änderung des Inhalts erfolgt beim Endbenutzer Größenänderung Sichtbarkeit Position,... durch Events (Mausklick, Tastatur) server-seitige Interaktion ähnlich, jedoch erfolgen Änderungen beim Sender Rückkanal (back channel) erforderlich EinführungDMIFAudioVisualSystemsProfiles

48 48 Intellectual Property (1) Management und Schutz von geistigem Eigentum (intellectual property) schnelle Entwicklung dieses Gebietes stellt nur System zur Verfügung, keine konkrete Implementierung in einem MO kann eine Intellectual Property Identification (IPI) gespeichert werden Inhalt Art des Inhalts Rechteinhaber EinführungDMIFAudioVisualSystemsProfiles

49 49 Intellectual Property (2) Version 2: Schnittstelle für Intellectual Property Management and Protection (IPMP) System kann die Daten aus IPIs benutzen Funktionen, die vom IPMP System unterstützt werden: kontrollierter Zugang zu geistigem Eigentum; Kontrolle erfolgt vom Provider Verifikation der Authentizität des Senders Verifikation Integrität des IPs Schutz vor Raubkopien EinführungDMIFAudioVisualSystemsProfiles

50 50 Intellectual Property Schema Szenen- graph Demux MPEG-4 Stream MO Decode Objekt- deskriptoren Composition Rendering IPMPS Stream flow controller EinführungDMIFAudioVisualSystemsProfiles

51 51 MPEG-J Erlaubt, MPEG4-Decoder über Javacode zu bedienen stellt APIs zur Verfügung Kontrollmechanismen für MPEG-4 Medien in Java möglich Java-Applikation wird als eigener Elementary Stream übertragen Übergeben an MPEG-J runtime environment Applikation kann auf Komponenten und Daten des MPEG-4-Players zugreifen EinführungDMIFAudioVisualSystemsProfiles

52 52 MPEG-J APIs Scene Graph API Hinzufügen/Entfernen von MOs,... Resource Manager API Regelt Performance Network API Erlaubt Interaktion mit DMIF Media Decoders API Kontrolliert die Decoder, die am aktuellen Rechner verfügbar sind EinführungDMIFAudioVisualSystemsProfiles

53 53 MPEG-J Schema MPEG-J Ein-/Ausgabe NW API MD APISG API RM API DMIF DemuxDemux BIFS DecoderSzenengraph Media Decoder Composition Rendering EinführungDMIFAudioVisualSystemsProfiles

54 54 MP4 File Format basiert auf dem QuickTime Format (Apple) besteht aus objekt-ähnlichen Einheiten: Atoms alle Atoms, die Informationen zu einem movie enthalten, bilden ein Movie Atom Eigentliche Mediendaten in der MP4-Datei selbst (Media Data Atoms) außerhalb (Zugriff via URL) EinführungDMIFAudioVisualSystemsProfiles

55 55 MP4 File Aufbau MP4-Datei movie atom Media Data Atom initial object descriptor BIFS OD video audio MP4-Datei BIFS units Media Data Atom EinführungDMIFAudioVisualSystemsProfiles

56 56 Gliederung Einführung Visual Audio DMIF Systems Profiles

57 57 Profiles Profiles limitieren Tools, die der Decoder implementieren kann optimale Qualität für spezielle Anwendungen Beispiel MPEG-2: Main Level ein Profile besteht aus 1 oder mehr Levels Profiles existieren für Audio Visual Scene Description MPEG-J Object Descriptors EinführungDMIFAudioVisualSystemsProfiles

58 58 Visual/Audio Profiles Visual insgesamt 15 Profiles Simple Effizient, schnell, für rechteckige Videoobjekte Main Beliebig geformte, skalierbare Objekte Ziel: Entertainment, DVD-Anwendungen Audio Insgesamt 8 Profiles Speech Profile Main Profile EinführungDMIFAudioVisualSystemsProfiles

59 59 MPEG-4 >Version 2 nur noch Änderungen bei Visuals/Systems Visual Tools für MPEG-4 in professionellen Studios Digital Cinema: Codieren ohne Verlust Systems BIFS Extensible MPEG-4 Textual Format Szene durch Text beschreiben 2D und 3D Animation EinführungDMIFAudioVisualSystemsProfiles

60 60 Ende Danke


Herunterladen ppt "MPEG-4 Ein Überblick Vortrag in der Projektgruppe Verteilte Multimedia-Serversysteme WS 00/01."

Ähnliche Präsentationen


Google-Anzeigen