MPEG 4 Seminararbeit von Martin Goralczyk Einleitung Strukturen Audio Video Extras Eine Übersicht 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Warum MPEG 4? Einleitung Warum? Erwartungen Interessen DivX;-) History Realität Hierarchie Vergleich Standart Strukturen Audio Video Extras Verbreitung von Multimediaanwendungen interaktives Fernehprogramm Fernsehen übers Internet Mehr Daten an viele verschiedene Geräte Fernehen, compi und telekomm sind zusammengewachsen Informationen aus netz sollen auf allen medien nutzbar sein Video on demand, manipul Handlungsablauf Geräte: Uhr, Handy, Palm,Analog/ISDN, Funk, DSL, Standleitung... 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Welche Erwartungen? Einleitung Warum? Erwartungen Interessen DivX;-) History Realität Hierarchie Vergleich Standart Strukturen Audio Video Extras überall kompatibel (Standard) CoDec gut skalierbar Echte Interaktivität CoDec gut adaptierbar auf diverse Eingangsinformationen Standart klar, aber überall akzeptiert, bsp ogg vorbis alle geräte können selben datenstrom verwerten Interakt mit bewegten Objekten im Video und nicht icon was für ein paar sekunden aufleuchtet (bsp atrix dvd: follow the rabbit) natürliche/synth Audio und video 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Nutzerinteressen Einleitung Warum? Erwartungen Interessen DivX;-) History Realität Hierarchie Vergleich Standart Strukturen Audio Video Extras Video-Pendant zur MP3 Tauschen von DVD-Filmen übers Internet >Aushebeln von CSS >Datenreduktion ohne sichtbaren Qualitätsverlust Vefügbarkeit aller MM Daten Content Scrambling System-Schlüssel DVD Player hatten den schlüssel auch verschlüsselt, bis auf Xing So DVD auch auf Linux und für alle anderen 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Mythos DivX;-) Einleitung Warum? Erwartungen Interessen DivX;-) History Realität Hierarchie Vergleich Standart Strukturen Audio Video Extras 1999 hackte Jerome Rota (Gej) den damaligen M$ MPEG4-Codec nicht ISO-kompatibel erzeugt .avi’s Ms dachte es wäre kompatibel aber der standart war nicht fertig, brachte dann neuen kompatiblen Codec raus (.mp4) 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Geschichte Einleitung Warum? Erwartungen Interessen DivX;-) History Realität Hierarchie Vergleich Standart Strukturen Audio Video Extras Oktober 1998 beim 45ten MPEG-Treffen: MPEG 4 Standard definiert Dezember 1999 beim 50ten MPEG-Treffen: MPEG 4 Version 2 wird bekanntgegeben (abwärtskompatibel) 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Realität Einleitung Warum? Erwartungen Interessen DivX;-) History Realität Hierarchie Vergleich Standart Strukturen Audio Video Extras ISO-Standard (nicht kostenlos!) Multimedia-Bitstromformat für natürliches Audio und Videomaterial synthetisches Audio und Videomaterial 5KBit/s bis 10MBit/s Sehr umfangreiche Toolsammlung für Video und Audiokompression 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Hierarchie Einleitung Warum? Erwartungen Interessen DivX;-) History Realität Hierarchie Vergleich Standart Strukturen Audio Video Extras MPEG4 soll die Vorgänger nicht ersetzen, nur ergänzen Je nach anwendung hat jeder codec seine vorteile, aber mp4 vereint prinzipiell alle 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Vorab-Vergleich Einleitung Warum? Erwartungen Interessen DivX;-) History Realität Hierarchie Vergleich Standart Strukturen Audio Video Extras 640x480, 25fps, 500kbit/s Video, 128 kbit/s Audio, beste Qualität Quelle: DVD -> MPEG 1 (TMPGEnc) -> MPEG 2 (TMPGEnc) -> MPEG 4 (3ivX) DivX doppelt so schnell wie Mpeg encoded, ist 100 KB kleiner besserer sound, besseres bild 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk ISO/IEC 14496 Einleitung Warum? Erwartungen Interessen DivX;-) History Realität Hierarchie Vergleich Standart Strukturen Audio Video Extras ISO/IEC 14496-1 (Systems) Tools: BiFS, Object Descriptors, FlexMux, MP4 File Format, etc. ISO/IEC 14496-2 (Visual) Natürliches und synthetisches Coding, sowie Gesichts und Körperanimation SO/IEC 14496-3 (Audio) Sprach Coding, General Audio Coding, Structured Audio, Text to Speech interface,... ... SO/IEC 14496-8 Standart zerfällt in 8 andere 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Grundstrukturen Einleitung Strukturen Szene Szenengraph Beispiel Eigenschaften Extras Schichten Audio Video Speichern von Szeneninhalten anstatt von Pixeln Mischkodieren von natürlichen und synthetischen Objekten Szenengraph speichert deren Position vierdimensional 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

Bestandteile einer Szene Einleitung Strukturen Szene Szenengraph Beispiel Eigenschaften Extras Schichten Audio Video Primitive Objekte Video Objekte (VO) Audio Objekte (AO) natürlich synthetisch natürlich synthetisch 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Der Szenengraph Einleitung Strukturen Szene Szenengraph Beispiel Eigenschaften Extras Schichten Audio Video Gerichteter, zyklenfreier Graph verfügt über ein Koordinatensystem in das die Objekte eingebettet werden verfügt über eine virtuelle Kamera, die den sichtbaren Ausschnitt festlegt 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

Der Szenengraph (nodes) Einleitung Strukturen Szene Szenengraph Beispiel Eigenschaften Extras Schichten Audio Video grouping nodes fassen die Objekte einer Szene zusammen children nodes Kinder der gn, repräsentieren Objekte bindable children nodes spezifische Kinder, die in jeder Szene nur eine Instanz haben dürfen sensor nodes Sensoren für Benutzereingaben 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Beispiel einer Szene Einleitung Strukturen Szene Szenengraph Beispiel Eigenschaften Extras Schichten Audio Video 3d objekte: sprecherin, schreibtisch, globus, leinwand 2d objekt: hintergrund Audio: sprache der sprecherin und musik der leinwand auf der leinwand könnte ein film laufen 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

Passender Szenengraph Einleitung Strukturen Szene Szenengraph Beispiel Eigenschaften Extras Schichten Audio Video 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

Eigenschaften einer Szene Einleitung Strukturen Szene Szenengraph Beispiel Eigenschaften Extras Schichten Audio Video Objekte separat codiert, also manipulierbar Objekte austauschen, anfügen und löschen falls Verbindung bidirektional, müssen nur gewünschte Objekte übertragen werden Wahl der Perspektive (3D-Objekte) oder des Ausschnitts möglich zB sprache austauschen, nur gewünschte sprache runterladen, 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk MPEG-J Einleitung Strukturen Szene Szenengraph Beispiel Eigenschaften Extras Schichten Audio Video Java API in MPEG 4 steuert den Decoder “intelligent” passt z.B. das Video der Hardware des Benutzers an 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk BIFS/VRML(ab MPEG 4 v.2) Einleitung Strukturen Szene Szenengraph Beispiel Eigenschaften Extras Schichten Audio Video Sprache zur Beschreibung von 3D Objekten VideoObjekte können mit Sensoren versehen werden Java-Code in Skriptnodes Binary Format for Scene Description in MPeg4 enthält den VRMLCode, ist der VRML overhead der Überträgt, komprimiert usw Sensoren lösen reaktionen aus (aufruf einer internetseite, bewegung von objekten) durch java auch komplexe skripte abrufbar Beispiel 1 Beispiel 2 Beispiel 3 Beispiel 4 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Schichtenmodel Einleitung Strukturen Szene Szenengraph Beispiel Eigenschaften Extras Schichten Audio Video Delivery layer beinhaltet ein protokoll: delivery multimedia integration framework (DMIF) ähnlich wie ftp nur pointerrückgabe woher welche daten zu beziehen sind Demultiplexer zerlegt datenstrom in elementary Streams (ES) ein es entspricht einem objekt, der szenengraph ist ebenfalls ein es Synclayer: Synchronisiert, zeitstempel, fehlererkennung und korrektur Decomp Layer: ES werden an decoder geschickt und decodiert, szene wird zusammengestellt und ausgegeben 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Schichtenmodell Einleitung Strukturen Szene Szenengraph Beispiel Eigenschaften Extras Schichten Audio Video Delivery Layer DMIF sendet Pointer um richtige Daten zu laden in elementare Ströme demultiplexen Sync Layer Sync., Zeitstempel, Fehlerkorrektur Decompression Layer decodieren, zusammenstellen 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Audiocodierung Einleitung Strukturen Audio Übersicht nat. Sprache nat. Musik syn.Sprache syn. Musik Video Extras Natürlich Sprache Musik Synthetisch Text to Speech MIDI Structured Audio Orchestra Language 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Natürliche Sprache Einleitung Strukturen Audio Übersicht nat. Sprache nat. Musik syn.Sprache syn. Musik Video Extras Harmonic Vector eXcitation Code (HVXC) 2-6kBit/s bei 8kHz Code Excitat Linear Prediction (CELP) 6-24kBit/s bei 8 bis 16 kHz Einsetzbar in Mobilfunk und Internettelephonie Vektorquantisierung (speziell für sprache) Musikkodierung klingt wegen des geringen Frequenzbereiches schlecht 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Natürliche Musik Einleitung Strukturen Audio Übersicht nat. Sprache nat. Musik syn.Sprache syn. Musik Video Extras Mp3 Beispiel mit 48 kBit/s MPEG 2 AAC bei 96 kBit/s vergleichbar zu MP3 mit128 kBit/s sehr niedrige Bitraten möglich (ab 16 kBit/s) Mp4 Beispiel mit 48 kBit/s 48kBit/s= Modemstream 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Natürliche Musik Einleitung Strukturen Audio Übersicht nat. Sprache nat. Musik syn.Sprache syn. Musik Video Extras TwinVQ bei 96 kBit/s vergleichbar zu MP3 mit128 kBit/s längere Komprimierungsdauer 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Text to Speech Einleitung Strukturen Audio Übersicht nat. Sprache nat. Musik syn.Sprache syn. Musik Video Extras Liest Texte vor Reine Schnittstellendefinition ermöglicht es Phoneme zu definieren ermöglicht Animation computergenerierter Gesichter Bestandteile der Sprache soll sich nicht mehr so hölzern anhören wie auf amiga interaktivität möglich (bestellannahme/service (logitech) im internet)nur noch geringe Datenmengen zu übertragen 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk MIDI Einleitung Strukturen Audio Übersicht nat. Sprache nat. Musik syn.Sprache syn. Musik Video Extras Nur Informationen über Instrument, Note, Lautstärke, Dauer etc. werden übertragen Qualität von Instrumentendatenbank abhängig dadurch unflexibel Nur für Musik einsetzbar altbekannt Soundbeispiel 3:41min in 67KB 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk SAOL Einleitung Strukturen Audio Übersicht nat. Sprache nat. Musik syn.Sprache syn. Musik Video Extras Structured Audio Orchestra Language (vom MIT Media Laboratory) Verbesserung von MIDI: ausser Noten können auch Instrumente und Samples übertragen werden Möglichkeit weitere Inst. Zu definieren und wie die klingen, mit im datenstrom contoller kontrolliert zeitlich korrektes abspielen digitaler signalprozessor setzt zusammen 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Videocodierung Einleitung Strukturen Audio Video Übersicht natürlich synthetisch Extras Wiederum wird unterschieden zwischen natürlichen Videoobjekten synthetischen Videoobjekten Wie jpeg und gif in einem format 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

Natürliche Videokodierung Einleitung Strukturen Audio Video Übersicht natürlich synthetisch Extras Für verschiedene Bandbreiten besser skalierbar 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Shape Coding Einleitung Strukturen Audio Video Übersicht natürlich synthetisch Extras Es wird in einer Matrix (Bitmap) binär gespeichert, ob ein Bereich zum VO gehört oder nicht wird zur effektiven Speicherung in 16x16 Blöcke geteilt die verlustfrei oder -behaftet komprimiert werden Mit 255 Werten kann man einen Transparenzgrad speichern (Grey Scale Shape Coding) DCT Beispiel Klar: Matrix mit einsen und nullen lässt sich effektif speichern Bsp: Glas mit zahnbürste ist unterschiedlich durchsichtig 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Motion Coding Einleitung Strukturen Audio Video Übersicht natürlich synthetisch Extras Wie in MPEG 2 Zeitliche Redundanz wird verringert nicht blockbezogen sondern auf Videoobjekte Selbe Trminologie wie in MPEG2 I,B,P, nur mit richtiger Form 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Texture Coding Einleitung Strukturen Audio Video Übersicht natürlich synthetisch Extras bewegte Texturen Wie in MPEG 2 8x8 Block DCT->Quantisieren Möglichkeit der DCT-Koeffizienten Vorhersage statische Texturen Abbilden auf Polygone möglich Wavelet Transformation Vergleich mit JPEG Bei vorhersage wird der koeffizient der nachbarn genommen Wavelet wie DCT sehr kompliziert 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk DCT-Prediction Einleitung Strukturen Audio Video Übersicht natürlich synthetisch Extras Bildgradient entscheidet ob Zeilen oder Spalten vorhergesagt werden. Spalten bei Gitterstäben Zeilen bei Treppe 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Sprite Coding Einleitung Strukturen Audio Video Übersicht natürlich synthetisch Extras Hintergrund wird nur einmal übertragen, und relevante Objekte dann gestreamt Bewegungen der spieler und kameraposition werden übertragen MPEG2 wäre wegen schneller bewegungen schlecht hintegrung wirkt natürlich tot und unwirklich gehirn würde wahrscheinlich situation nicht abkaufen gut bei green screens wie wetterkarte Wetterkarte 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

Synthetische Videokodierung Einleitung Strukturen Audio Video Übersicht natürlich synthetisch Extras VRML-Standart integriert facial and body animation 2D-Meshes 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Facial Animation Einleitung Strukturen Audio Video Übersicht natürlich synthetisch Extras 84 FDP’s beschreiben ein neutrales Gesicht und können dann animiert werden Fdp= facial definition parameter wenig datenübertragung lippensynchrones sprechen möglich funktioniert genauso bei körpern 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

Facial and Body Animation Einleitung Strukturen Audio Video Übersicht natürlich synthetisch Extras Nur schwarze punkte lassen sich animieren kein absoluter blödsinn möglich Nur sinnvolle Punkte lassen sich animieren 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk 2D-Meshes Einleitung Strukturen Audio Video Übersicht natürlich synthetisch Extras Über zweidimensionale Objekte kann ein Gitternetz gespannt werden Texturen werden auf Polygone gelegt anstatt auf das ganze Objekt Nur aufteilung in Dreiecke: effizient animation durch verschiebung der schnittpunkte leicht möglich 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Profile Einleitung Strukturen Audio Video Extras Profile Sicherheit Ergebnisse Beispiele Ausblick Quellen Sehr viele Möglichkeiten um zu komprimieren viele verschiedene Clients viele MP4-Lösungen > Profile beschränken den Encoder Tools Bitrate Bildgröße max. Anzahl der Objekte Level 0 / 1 unterstützen bis zu 99 Macroblöcke. Level 2 / 3 unterstützen bis zu 396 Macroblöcke. Profile: Simple , Advanced... Level 0,1,2,3.. 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Sicherheit Einleitung Strukturen Audio Video Extras Profile Sicherheit Ergebnisse Beispiele Ausblick Quellen Objekte können mit digitalem Wasserzeichen versehen werden Qualitätsverlust beim kopieren Soll freigiebiges Tauschen einschränken 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Ergebnisse Einleitung Strukturen Audio Video Extras Profile Sicherheit Ergebnisse Beispiele Ausblick Quellen Erster Multimediastandard, der natürliche und synthetische Ursprungsdaten in gleichem Maße gut komprimiert Encoder arbeitet inhaltssensitiv, nicht nur Blockbasiert gut skalierbar, also für viele Nutzer interessant auch für Home-Entertainment Bereich verwendbar, da ISO-Standart wird erst dann auch akzeptiert Mpeg1 Cdi Mpeg2 DVD MP3->Player Ogg Vorbis? 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Weitere Beispiele Einleitung Strukturen Audio Video Extras Profile Sicherheit Ergebnisse Beispiele Ausblick Quellen -> Video on Demand -> Start Up Trailer Vergleich:-> Flash(190KB) mit -> BIFS(136KB) 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Ausblick Einleitung Strukturen Audio Video Extras Profile Sicherheit Ergebnisse Beispiele Ausblick Quellen MPEG 7 - Multimedia Content Description Interface Toolset um MM-Inhalte zu beschreiben (Metadaten, Strukturen, Beziehungen...) Einfachere Suche nach MMI im Netz und Datenbanken Ergänzt MPEG 4 Beinhaltet keine Kompression 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Noch Ausblickender Einleitung Strukturen Audio Video Extras Profile Sicherheit Ergebnisse Beispiele Ausblick Quellen MPEG 21 umfassende Lösung für Zugriff auf Digitale Medien beinhaltet anbieten, suchen, kaufen, DRM, etc. Doku erinnert an betriebssystem mit benutzern rechten usw 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk

MPEG 4 Seminararbeit von Martin Goralczyk Quellen Einleitung Strukturen Audio Video Extras Profile Sicherheit Ergebnisse Beispiele Ausblick Quellen Internet Google www.m4if.org www.envivio.com graphics.cs.uni-sb.de/Courses/ws9900/cg-seminar 23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk