.MPG .MOV .AVI Digitales Video Prinzip: Sequenz Digitaler Einzelbilder mit eingestreuten Ton-Samples .MOV .MPG .AVI

Überblick (digitale) Fernsehstandards USA Grand Alliance HDTV MPEG-2 Dolby AC-3 Europa European DVB Project DTVB (terrestrisch) ETS 300421 (Sat.) ETS 300429 (Kabel) DTVB: HDTV, mehr Programme, mobil & handheld, Telefonie/Computer

MPEG MPEG-2 MPEG-1 MPEG-7 MPEG-4 MPEG-3 Multiplexing Viele Formate, hohe Kompression p64 / H.261 PAL / NTSC MP@ML Main profile at Main Level bis 15MBit/sec Multiplexing MPEG MPEG-1 Zielsetzung: Video auf CD 1,15 - 1,5 Mbit/sec SIF 352 * 288 Pixel max. 30 f/s non-interlaced MPEG-1 PAL 1,7 MB MPEG-1 VideoCD 1,9MB MPEG-1 384 535kB MPEG-7 Multimedia & Video AVI 27MB MPEG-4 Very low bitrate MPEG-3 HDTV

Unterschiede MPEG 1 und MPEG 2 Parameter MPEG-1 MPEG-2 Grösse/Pixel std. 50 % 360*288 (352*240) 360*288 (352*240) low level Grösse/Pixel std. 100% n. mlg. 720*596 (704*480) main level Grösse/Pixel HDTV 4:3 n. mgl. 1440*1152 high1440 level Grösse/Pixel HDTV 16:9 n. mgl. 1920*1080 high level Grösse Scanvorlage <720*576 (704*480) <16384*16384 Farbformat YCC 4:2:0 (Scan 4:2:2) 4:2:2 (Scan bis 4:4:4) Makroblöcke/Bild 396 levelabhängig Makroblöcke/sec. <396*25 (330*30) levelabhängig Bildwiederholrate <30 pps <30 pps Bitrate <1,862 Mbit/s 2..15 MBit/s Interlace nein ja Ton 2-Kanal Surround-Sound mgl.

MPEG-Prinzip Intraframe- Komprimierung innerhalb eines Bildes DCT mit vorgegebener Quantisierungs-matrix Intraframe- Komprimierung innerhalb eines Bildes VLC mit fester Tabelle Interframe- Komprimierung über mehrere Bilder

I-Frames, Intra-Frames P-Frames, Predicted Frame + = I-Frame wie JPEG komprimieren Vorhersagefehler (Differenz) JPEG komprimieren P-Frame := I-Frame+ Prediction Error

Bewegungsabschätzung Woher kommt dieser Block ?

Bewegungsvektoren ermitteln Blockmatching Probieren innerhalb eines Nahbereichs Mean Absolute Error Full Search (Hoher Aufwand, 30 GOPS bei 720*480, Nahbereich 15) bis auf Halbpixel-Ebene Hierarchische Verfahren auf verkleinerten Bildern suchen Parallele Verfahren 0,8 - 1 GOPS

Die zweidimensionale logarithmische Suche (TDL) 1. 5 rote Blöcke (im Abstand d/2) untersuchen, falls beste Übereinstimmung in der Mitte, halbiere d und wiederhole 1. 2. Ansonsten um den besten Punkt kruzförmig weiter.

Die dreistufige Suche (TSS) 1. Untersuche 9 Blöcke im Abstand 3 2. Um den besten alle im Abstand 2 3. Um den besten im Abstand 1

Die orthogonale Suche (OSA) Beginne mit 3 Blöcken horizontal Um den besten vertikal Verringere Schrittweite, beim besten horizontal weiter

One-at-a-Time Suchalgorithmus (OTS) Suche solange in x-Richtung, bis davor und dahinter schlechtere Übereinstimmung Jetzt vertikal weiter.

Die kreuzweise Suche (CSA) Wie logarithmische Suche, nächster Schritt jedoch X-förmig um beste Übereinstimmung mit halber Schritt- weite.

Bidirektionale Prädiktion I = Intra-Frame P = Predictive Frame B = Bidirektionaler Frame Buchempfehlung: Haskell/Puri/Netravali Digital Video An Introduction to MPEG-2

Flußbild Motion Estimation Makroblöcke 16*16 Pixel Falls Block mit Vorgänger ähnlich: Standbild Sonst verschobenen Block suchen Bezugsblock-gefundenem Block

MPEG Bit-Stream Sequenz-Schicht Header (Magic number, Bildgröße, Seitenverh., f/s, Bitrate n*400, Buffer size, Intra-,nonintra-Quantisierungsmatrizen MPEG Bit-Stream GOP-Schicht Header (Magic number, Timecode 1. Bild), beginnt mit I- oder B-Frame,endet mit I- oder P-Frame Einzelbild-Schicht Header (Magic number, Bildnummer i. Gruppe, Bildtyp I, B, P, D, Max. Vektorgröße Block-Schicht variable Länge, markiert durch EOB, kann Nullblock sein Makroblock-Schicht Header (Magic number, Füllbits, MB-Typ (I,B,P), Quantisierungsfaktor) Slice-Schicht Header (Magic number, vertikale Position)

Differenzbilder zum Ausgangsbild P Differenzbilder zum Ausgangsbild Differenzen Bild:Bild vorwärtsgeschätzt intracodiert bidirektional interpoliert übersprungen

Quelle: www.panasonic-broadcast.de

MSDL: MPEG-4 Syntax description Language NSHC: Synthetic and Natural Hybrid Coding MPEG 4 Flexibility 0: fixed set of tools & algorithms 1: configurable fixed set 2: downloadable set & configuration Tools Kompressionsverfahren Video/Audiosynchronisation Bewegungsabschätzung usw. Profile Konfiguration von Tools, Algorithmen Algorithms DCT-Verfahren Code Excited Linear Prediction usw. Level constraints & performance criteria Conformance Points Standardkonfigurationen (z.B. MPEG-1)

MPEG 4 Grundlegende Funktionalitäten Synchronisation versch. Datenströne (Audio, Video, etc.) Zusätzliche Datenkanäle Virtuelle Kanaldefinition Geringe Verzögerung Interaktive Benutzereingriffe Übertragbar über verschiedene Medien Verschlüsselung, Authentifizierung etc. Multipoint-Fähigkeit Anpassbarkeit von Audio-, Bitrate, Qualität Low-Level Modus

Medienobjekte (natürlich, synthetisch) Video-Objekt Audio-Objekt Koordinatensystem Backchannel Streaming Media MPEG 4

MPEG 4 Delivery Multimedia Integration Framework

H.261 Bildtelefonie Y/CC-Anordnung 4 Schichten Common Intermediate Format CIF

H.261-Encoder Intraframes Interframe MC nach Bedarf MC +/- 15 Pixel Loop Filter gegen Fliegenschiß

Vorlesung „Medientechnik WS 1999/2000“ Dr. Manfred Jackel Studiengang Computervisualistik Institut für Informatik Universität Koblenz-Landau Rheinau 1 56075 Koblenz © Manfred Jackel E-Mail: jkl@uni-koblenz.de WWW: www.uni-koblenz.de/~jkl mtech.uni-koblenz.de Literatur zu diesem Kapitel Hyperlinks zu diesem Kapitel Grafik-Quellen