Semantic Media Showcase – Universität Potsdam MPEG-4 Overview Michael Hübner 706771 Semantic Media Showcase – Universität Potsdam November 2003

Semantic Media Showcase - MPEG 4 Warum MPEG-4 starkes Zusammenwachsen von Computer, Fernsehen und Telekommunikation in den letzten Jahren Informationen aus dem Internet sollen überall, jederzeit und egal womit abrufbereit sein Interaktivere Gestaltung von Fernsehen (Video On Demand - VoD, Änderungen von Handlungsabläufen durch Nutzer) Qualität der Information durch unterschiedliche Übertragungs-geschwindigkeiten bestimmt: Fernsehen durch Kabel bzw. Satelliten  mehrere MBit/s (unidirektional) Computer durch ISDN-Kanal  maximal 64 kBit/s bzw. DSL  maximal 768 kBit/s Mobilfunk durch Handys  nur noch 9,6 KBit/s  Semantic Media Showcase - MPEG 4

Semantic Media Showcase - MPEG 4 Warum MPEG-4 (Fort.) Standard für Multimediaanwendungen (derzeit viele verschiedene, z.T. inkompatible Standards Einheitliches Format zum Austausch von Audio- und Videoinformationen in den Bereichen: gute Skalierbarkeit auf En- und Decoder Seite Inhaltsbasierter Datenzugriff Hohes Maß an Interaktivität Darstellungsmöglichkeit von natürlichen und synthetischen Audio- und Videoinformationen MPEG - 4 soll dies alles erfüllen Semantic Media Showcase - MPEG 4

Semantic Media Showcase - MPEG 4 Geschichte von MPEG-4 MPEG-4 ist ein ISO/IEC Standard (ISO/IEC 14496), entwickelt von MPEG (Moving Picture Experts Group) Als Version 1 1998 verabschiedet, 2000 folgt Version 2 (geringe Erweiterungen, abwärtskompatibel) Vorgänger waren MPEG-1 und MPEG-2  erfüllen nur unzureichend oben genannte Erwartungen 3 Felder: Digitales Fernsehen, interaktive grafische Applikationen und interaktives Multimedia (im World Wide Web, für Verteilung von Inhalten und Zugang zu Inhalten) ISO/IEC 14496-1 (Systems): Tools (z.B. File Format, Descriptors, etc.) ISO/IEC 14496-2 (Visual): nat. & syn.Coding, Animations ISO/IEC 14496-3 (Audio): Sprach Coding, General Audio Coding Semantic Media Showcase - MPEG 4

Semantic Media Showcase - MPEG 4 Was ist MPEG-4 ist keine Ersetzung von MPEG-1 & MPEG-2 ist Ergänzung der bisherigen MPEG-Standards kein einheitliches Kompressionsverfahren festgelegt, Tools von verschiedenen Audio- und Videokompressionsverfahren Einheiten aus akustischem, visuellem oder audiovisuellem Inhalt, sog. „media objects“ (natürliche & synthetische Objekte) beschreibt durch Komposition der Objekte eine audiovisuelle Szene Multiplexen und Synchronisieren der Daten der Objekte zum Transport über geeignete Netzwerke (QoS anhand der Art der Objekte) Interaktion Endnutzer  audio- visuellen Szene ist keine Ersetzung von MPEG-1 & MPEG-2 ist Ergänzung der bisherigen MPEG-Standards  Bild Eingliederung von MPEG-4 im Gegensatz zu den bisherigen MPEG-Standards wird kein einheitliches Kompressionsverfahren festgelegt bietet Toolset von verschiedenen Audio- und Videokompressionsverfahren stellt Einheiten aus akustischem, visuellem oder audiovisuellem Inhalt, sog. „media objects“ dar, diese Objekte können natürlichem oder synthetischem (künstlichem) Ursprungs seien (Mikrophone- oder Kameraaufnahmen bzw. Computergenerierte Töne oder Bilder) beschreibt die Komposition dieser Objekte wodurch gemischte Medienobjekte entstehen, welche die audiovisuelle Szene aufbauen multiplexen und synchronisieren der Daten der Objekte, zum Transport über passende Netzwerke mit entsprechenden QoS (gemessen anhand der Art der Objekte) -          Interaktion mit der audiovisuellen Szene welche beim Endnutzer präsentiert wird   Semantic Media Showcase - MPEG 4

Semantic Media Showcase - MPEG 4 MPEG-4 Struktur Kodieren & Decodieren einer Szene bzw. Szeneninhalts, bisherige Codecs arbeiten mit einer Pixelmatrix Szenen (audio-visuell), werden aus mehreren einfachen (primitiven) media objects (natürliche und synthetische) Primitive media objects: unbewegte Bilder (still images), z.B. fester Hintergrund Videoobjekte (video objects), z.B. sprechende Person ohne den Hintergrund, ohne Ton Audioobjekte (audio objects), z.B. Stimme zu einer Person, Hintergrundgeräusche, Musik Text, Grafiken, animierte künstliche Gesichter & Personen, synthetische Klänge  Semantic Media Showcase - MPEG 4

Semantic Media Showcase - MPEG 4 MPEG-4 Struktur (Fort.) Szenengraph beschreibt Szene (ist auch primitives media object) platzieren von media objects in einem Koordinatensystem Verändern der geometrischen oder akustischen Erscheinung eines media objects Kompositionvon einfachen media objects zu gemischten media objects  wichtig beim Decoding interaktives Ändern an beliebigen Stellen innerhalb der Szene durch den Endnutzer Konzept für Interaktion bzw. Szenenbeschreibung und Komposition beruhen auf der Virtual Reality Modeling language (VRML) Semantic Media Showcase - MPEG 4

MPEG-4 Beispiel Semantic Media Showcase - MPEG 4 Audio (Geräusche) (natt.) - primitive (einfache) Videoobjekte: „Beach-Girl“ (natürliches VO), „Volleyball“ (3D-Objekte  synthetisches VO) - Hintergrund-Grafik: „Meeresküste“ - Primitive (einfache) Audioobjekt: „Meeresgeräusche“ (natürliches AO), „Musik aus dem Off“ (syn. AO) 2D-Video-Objekt Audio (Hintergrund- musik) (syn.) 2D Hintergrund Video oder Bild 3D-Video-Objekt Semantic Media Showcase - MPEG 4

Semantic Media Showcase - MPEG 4 MPEG-4 Encoding - Szenegraph enthält Information über die Komposition der media objects - Objekte (inkl. Szenengraph) werden separat komprimiert und zu einem Datenstrom zusammengefasst (encoding) Szenegraph enthält Information über die Komposition der media objects Objekte (inkl. Szenengraph) werden separat komprimiert und zu einem Datenstrom (mp4-Datei) zusammengefasst Semantic Media Showcase - MPEG 4

Semantic Media Showcase - MPEG 4 MPEG-4 Decoding -auf Client Seite wird Datenstrom decodiert (decoding) und durch den Szenengraph wieder zusammengesetzt Die Struktur von MPEG-4 kann als ein Schichtmodel dargestellt werden, welches im wesentlichen aus drei Schichten besteht: -          Delivery Layer -          Synchronisation Layer -          Decompression Layer Aufgaben der Schichten: Delivery Layer: -          Delivery Multimedia Integration Framework (DMIF)  zuständig für die Kompatibilität, d.h. eingehender Datenstrom ist unabhängig vom Übertragungsmedium (LAN, Funk,...); Protokoll ähnlich dem FTP -          Demultiplexer  zerlegt Datenstrom in elementare Datenströme, wobei ein elementaren Datenstrom einem primitiven media object entspricht   Synchronisation Layer: -          einzelnen Objekte werden synchronisiert und mit Zeitstempeln versehen -          Teile der Fehlererkennung und Korrektur finden hier statt. Decompression Layer: -          weiterleiten der elementaren Datenströme an den Decoder Die Szene wird nun zusammengestellt, gegebenenfalls noch gerändert und anschließend dargestellt. Semantic Media Showcase - MPEG 4

Semantic Media Showcase - MPEG 4 Audio-visuelle Szene es besteht die Möglichkeit auf einzelne Objekte in einer Szene zuzugreifen und diese zu manipulieren bzw. zu interagieren  folgender Abschnitt Semantic Media Showcase - MPEG 4

Tools zur Komprimierung Natürliches Audio Sprachkodierung  für Mobilfunk & Internettelephonie HVXC (Harmonic Vector eXcitation Code) & CELP (Code Excitat Linear Prediction) reine Musikkodierung  MPEG - 2 AAC (Advanced Audio Coding) & TwinVQ (Transform-domain Weighted Interleave Vector Quantization) Synthetisches Audio Text zu Sprache (Text to Speech - TTS) Integration des MIDI-Standard (Musical Digital Interface) Structured Audio Orchestra Language (SAOL)  Sprache zur Beschreibung synthetischer Musik Semantic Media Showcase - MPEG 4

Tools zur Komprimierung (Fort.) Natürliches Video Shape Coding Binary und Gray Scale Shape Coding Motion estimation und compensation in aufeinanderfolgenden Bildern einer Szene ändert sich der Inhalt wenig  Speicherung aufeinanderfolgender Bilder nicht nötig Texture Coding diskrete Kosinustransformation (DCT) & Quantisierungsprozess Sprite Coding statisches Hintergrundbild, Verlust geringer Bewegungen Synthetisches Video - Erweiterung der VRML facial animation  Darstellung und Animation von Gesichtern body animation  Darstellung und Animation von Körpern 2D-meshes  Darstellung und Animation von 2D-Gittermodellen Semantic Media Showcase - MPEG 4

Semantic Media Showcase - MPEG 4 Und noch mehr Tools Profiles Profile: Simple , Advanced... Bitraten , Tools, Max. der Objekte etc. MPEG-J Ansteuerung von Decodern mit Java-Code Szenengraph API, Ressourcen Manager API, Media Decoder API, Network API Digitale Wasserzeichen Objekte mit digitalem Wasserzeichen versehen Qualitätsverlust beim Kopieren Soll freigiebiges Tauschen einschränken Semantic Media Showcase - MPEG 4

Semantic Media Showcase - MPEG 4 Ausblick MPEG 7 - Multimedia Content Description Interface Toolset um MM-Inhalte zu beschreiben (Metadaten, Strukturen, Beziehungen...) Einfachere Suche nach MMI im Netz und Datenbanken Ergänzt MPEG 4 Beinhaltet keine Kompression MPEG 21 umfassende Lösung für Zugriff auf Digitale Medien beinhaltet anbieten, suchen, kaufen Semantic Media Showcase - MPEG 4

Quellennachweis & Links Michael Repplinger: Seminar Computergraphik "Digitale Medien" Thema „Überblick über den neuen MPEG-4 Standard“ Fachbereich Informatik, Universität des Saarlandes Januar 2000 unter michael@repplix.de http://graphics.cs.uni-sb.de/Courses/ws9900/cg-seminar/Ausarbeitung/Michael.Repplinger/index.html Rob Koenen: MPEG-4 Overview - (Seoul Version); Seoul, March 1999 unter http://drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm Bildnachweis Beispielbilder aus Corel Draw 8 Objects & Photos Links http://www.research.ibm.com/mpeg4 Authoring-Tools + Demos http://www.m4if.org/mpeg4 MPEG-4 Industry Forum Semantic Media Showcase - MPEG 4

Semantic Media Showcase - MPEG 4 Links (Fort.) CELP http://www.causalproductions.com/TEMP/INDEX/IC97S202.HTM Sprachkodierung http://rice.ecs.soton.ac.uk/jason/speech_codecs/index.html MIDI http://midi.org/ und Complete MIDI 1.0 Detailed Specification MPEG-2 AAC http://www.tnt.uni-hannover.de/project/mpeg/audio/ SAOL http://sound.media.mit.edu/mpeg4/ TwinVQ http://sound.splab.ecl.ntt.co.jp/twinvq-e/ Semantic Media Showcase - MPEG 4