Seminar: Grundlagen der Multimedia-Software-Entwicklung Thema: MPEG 4 Eine analytische Betrachtung unter den 4 zentralen Aspekten Multimedialer Anwendungen Autor: Alexander Schlicht Version 1.1 vom 9.Feb.2000

Verlaufsübersicht zum Seminar Einleitung zu MPEG Analytische Betrachtung Die logische Struktur Die räumliche Präsentation Das zeitliche Verhalten Die interaktive Kontrolle Eine MPEG4 Präsentation Schlusswort

Einleitung zu MPEG Wer oder Was ist MPEG? Woraus besteht die MPEG? Missverständnisse und Fragen die zu Beginn des Seminars geklärt werden sollten. Wer oder Was ist MPEG? Woraus besteht die MPEG? Was dieses Seminar nicht behandelt.

Wer oder Was ist MPEG? MPEG steht für „Motion Picture Expert Group“. MPEG ist ein Standard. MPEG-4 stellt sehr hohe Ansprüche an die Hardware.

Woraus besteht die MPEG Der Aufbau des MPEG-Standards besteht aus 5 Teilen, die um einen 6. Teil für MPEG-4 erweitert wurden. Diese Teile werden mitunter auch als Parts oder auch als Layers bezeichnet. System Visual Audio Conformance Testing Reference Software DMIF (Delivery Multimedia Integration Framework)

Was dieses Seminar nicht behandelt Technische Realisierung Layer 2 bis 6 Die Funktionsweise der Kompressionsalgorithmen Dieses Seminar behandelt ausschließlich den Systempart von MPEG-4. Dieser ist für die Entwicklung von Multimediaprodukten von entscheidender Bedeutung.

Die logische Struktur 1/5 MPEG-4 ist Objektorientiert Die Struktur von MPEG 4 wird wesentlichen durch die objektorientierte Art geprägt. Dies spiegelt sich in der Szenebeschreibung eines MPEG-4 Films wieder. Hier stellen sich die Fragen: Was ist eine MPEG-4 Szene? Wie wird eine Szene beschrieben?

Die logische Struktur 2/5 Was ist eine MPEG 4 Szene? Ein MPEG-4 Film besteht aus der Komposition verschiedener Medien Objekten, wie z.B. Audio oder Video. Diese Komposition wird als Szene bezeichnet. Beschrieben wird eine solche Szene durch die hierarchische Struktur, die in einem gerichteten, zyklenfreien Graph dargestellt werden kann. Die Knoten eines solchen Graphen werden als AV Objekt bezeichnet.

Die logische Struktur 3/5 Wie wird eine Szene beschrieben? Die Szenenbeschreibung geschieht durch die Hilfe von „Binaery Format for Scene description“, kurz BIFS. In BIFS existieren dazu an die hundert verschiedene Knotenarten um eine Szene zu beschreiben. AV Objekte haben verschieden Eigenschaften. Z.B. eine Lichtquelle Farbe, Stärke, Richtung,Ein und Streuung. Diese werden in Felder definiert, wozu 20 verschiedene Grunddatentypen (Int,Float...) dienen. Dadurch, dass eine Eigenschaft aber auch ein Knoten sein kann, kommt die Graphenstruktur zustande. #

Beispiel für die Struktur eines roten, ausgefüllten Kreis. Die rote Farbe des Kreises wird durch das Material bestimmt, welches ein weiteres Objekt in der Szene darstellt. Zusammen bilden sie die Form eines roten Kreis, dies geschieht durch das Shape Objekt. Nun muss allerdings noch das Shape Objekt, auf einer 2D Zeichenfläche, dargestellt werden. Hierzu dient in dem Beispiel das Layer2D Objekt. Implementation in BIFS Layer2D{ Children[ Shape{ geometry Circle { radius 1.0 } appearance Appearance{ material Material2D { diffuseColor 1 0 0 filled true } ] translation 0, 0}

Die logische Struktur 4/5 Um möglichst komplexe Strukturen zu Beschreiben benötigt man eine Ausreichende Menge an BIFS Knoten. BIFS Knoten sind für verschiedenste Funktionen zu gebrauchen, die nicht immer miteinander harmonieren müssen. Eine Knotentypübersicht ist dabei hilfreich.

Die logische Struktur 5/5 Es ist eine Einteilung in verschiedene Knotentypen möglich. FaceBodyAnimation Knoten (FBA) Top Nodes Child Knoten Media Knoten Attributsknoten Gruppierende Knoten Interpolierende Knoten Sensor Knoten “Bindable Children” Knoten Geometrische Knoten

Die räumliche Präsentation Die Szenenbeschreibung definiert nicht nur die Struktureigenschaft eines MPEG-4 Films, sondern ebenso die Räumliche Lage der einzelnen AV Objekte, dazu dienen die Felder: translation drawingOrder isActive Sowie die Knoten vom Typ „Bindable Children“

Das zeitliche Verhalten 1/3 Entwickelt wird MPEG-4 hauptsächlich für: „Broadcast“ Anwendungen „Interaktive“- und „OneOnOne“ Komunikationsanwendungen Dazu wurde BIFS so entwickelt, dass eine MPEG-4 Anwendung selbst als ein temporaler Stream aufgefasst werden kann. Anders ausgedrückt, ein MPEG-4 Film entsteht erst bei der der Darstellung. a Wie das geschieht, dass zeigt die interaktive Kontrolle

Das zeitliche Verhalten 2/3 Das vorbestimmte zeitliche Verhalten benötigt dynamische Knoten. Dazu existieren 4 Arten von Felder: EventIn :Können Werte empfangen. EventOut :Können werden senden. ExposedField :Können senden und empfangen. Field. :Werden bei der Initialisierung des Knotens einmalig gesetzt. Sowie die Methode des Mappen von Feldern: a ROUTE

Das zeitliche Verhalten 3/3 Felder vom Typ EventOut/Exposed können auf EventIn/Exposed Felder abgebildet werden. ROUTEs Syntax: ROUTE <OutNodeID>.outFieldName TO <InNodeID>.inFieldName Die Definition der ROUTEs geschieht in BIFS, im Anschluss an die die Beschreibung der AVObjekte !

Beispiel einer Laufschrift Group { DEF position Transform { translation 1 0 0 children [ Shape { geometry DEF MeineÜberschrift Text { string „Neues aus Paderborn“ }}]} } DEF PosInterp PositionInterpolator { key [0 1] keyValye [1 0 0, -1 0 0] # Bewegung von x=1 nach x=-1   DEF MeineZeit TimeSensor { loop TRUE StoppTime –1} ROUTE MeineZeit.fraction_changed TO PosInterp.key ROUTE PosInterp.keyValue to position.translation

Die interaktive Kontrolle 1/2 MPEG 4 beruht auf Client-Server-Model Deshalb muss ein Benutzer den Client dazu veranlassen können auf dem Server Befehle auslösen. a BIFS Commands

Client-Server-Model Client To Server

Die interaktive Kontrolle 2/2 BIFS Commands BIFS Commands werden in 4 Funktionsweisen unterschieden. Einfügung von Knoten/Feld/ROUTE Löschen von Knoten/Wert/ROUTE Ersetzen von Knoten/Feld/Wert/ROUTE Ersetzen der Szenenbeschreibung

Eine MPEG4 Präsentation Zusammengesetzes MPEG-4 Szenario. Zu erkennen: 5 JPEG-Bilder 1 Headline Instruktionbox Nach anklicken der Pizzakomponenten PositionInterpolator Nach anklicken des Pizzaofen aktivieren eines AV Objekt Deaktivierung des AV Objekt Pizzaofen Nach klicken der Des braunen Rechtecks Deaktivierung des ColorInterpolator Abspielen des MPEGFilms

Szenarienstruktur ROUTEs

Schlusswort Die Zukunft von MPEG MPEG-4 (Version2) erweiterte Funktionalität MPEG-7 „Multimedia Content Description Interface“ MPEG-21 Allumfassendes Multimedia Framework