Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido

Ähnliche Präsentationen


Präsentation zum Thema: "Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido"—  Präsentation transkript:

1 Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido

2 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Grundlagen 1.1 Videotechnik 1.2 Kompression 1.3 Formate + deren Eigenschaften 1.4 Quicktime Literatur für v.a : Steinmetz, Ralf: Multimedia -Technologie, Einführung und Grundlagen Springer-Verlag Berlin Heidelberg

3 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik Das menschliche Auge Grundlagen zu Signalen Schwarzweißfernsehen Farbfernsehen Videotechnik im Rechner

4 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Das menschliche Auge Menschliches Auge ist Rezeptor für Bilder. Bildet Randbedingungen für das Folgende. Auge: ortsabhängiges Auflösungsvermögen optischer Tiefpaß: nur begrenztes Vermögen, Kanten ( hohe Frequenz) aufzulösen. Bewegtbildauflösung: ab ca. 16 Bilder pro Sekunde Flimmereffekt: bei 50 Bilder/sec: periodische Schwankung der Helligkeitsempfindung

5 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 1 - Darstellung über Wellen - Modulation - Signale: Amplitude, Frequenz, Phase

6 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 2 Modulation –Jede Art der Beeinflussung einer charakteristischen Größe (Amplitude, Frequenz, Phase) von meist höherfrequenten, ungedämpften periodischen Vorgängen, im engeren Sinne von elektromagnetischen [Hochfrequenz]wellen bzw. - schwingungen, Lichtstrahlen oder Impulsfolgen zum Zwecke der Übertragung von Signalen oder Nachrichten...

7 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 3 Beispiele: Amplitudenmodulation

8 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 4 Frequenzmodulation

9 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 5 Quadraturmodulation: –Betrachte Trägerfrequenz und eine um 90 Grad phasenverschobene Variante derselben. –Führe Amplitudenmodulation zweier Teilsignale auf diese Träger durch. –Summiere diese beiden zu einem neuen Signal auf.

10 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 6 Beispiel für Diskretisierung einer kontinuierlichen Funktion:

11 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 7 Lehrsatz der Informationstheorie: Abtasttheorem: (zitiert nach Meyers Enzyklopädischem Lexikon) –Ist ein Signalstrom durch eine kontinuierliche Funktion f(t) gegeben und wird diese Funktion durch Abtasten in bestimmten Zeitintervallen Dt in eine aus diskreten Impulsen bestehende Funktion zerlegt, so läßt sich aus dieser Impulsfunktion die ursprüngliche Funktion ohne Informationsverlust wiedergewinnen, wenn für die Bandbreite B gilt: Dt 2B.

12 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 7 Bandbreite: Differenz zwischen größter und kleinster Frequenz in einem zusammenhängenden Bereich von Schwingungen unterschiedlicher Frequenzen. In Nachrichtentechnik: Breite eines Frequenzbandes zwischen zwei Grenzfrequenzen, für die die übertragene oder von einem Bandfilter hindurchgelassene Leistung auf die Hälfte, die Spannung auf das 0,71fache abfällt; wird absolut in Hz oder relativ (auf die mittlere Frequenz bezogen) angegeben.

13 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Schwarzweißfernsehen 1 Darstellung von Helligkeit : Luminanz Zeilensprungverfahren (Schema)

14 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Schwarzweißfernsehen 2 in Europa: 625 Zeilen, Breite:Höhe = 4:3 – also 833 Punkte pro Zeile

15 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Schwarzweißfernsehen 3 Extreme Übergänge schwarz-weiß-schwarz:

16 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Schwarzweißfernsehen 4 BAS-Signal (Schema) [Bild -Austast -Synchronsignal]

17 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Schwarzweißfernsehen 5 Abschätzungen zum BAS: –Für 25 Bilder/sec: Zeilendauer: 64 s (= 40ms/625 Zeilen) Abtastfrequenz: 13,5 MHz, Zeilenfrequenz (1/64 s=) 15,625 KHz Videobandbr. max: 6,75 MHz; fakt.: 5/5,5 MHz zudem: "Schwebungseffekte erzeugen unvernünftige Bilder" --> Kell-Faktor: 0,64 (0,67) –--> Vertikale Auflösung von 400 Zeilen

18 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Schwarzweißfernsehen 6 Amplitudenmoduliertes Videosignal:

19 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 1 Erste Grundidee: Zusammensetzen aus z. B. RGB Komponentenkodierung: –Betrachtet die Bestandteile der Videoinformation getrennt voneinander. z. B. Synchronisation extra Verschiedene Arten: –RGB Grundfarben werden angegeben –Oder: Herausziehen der Luminanz Y: –YUV Luminanz (Leuchtdichte) [braucht man für SW-Fernseher] Chrominanz (Farbinformation)

20 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 2 Bestimmung von YUV aus RGB: Y = 0.30 R G B U = (B-Y) * V = (R-Y) * Analoge Behandlung für YIQ - Signal (verwendet für NTSC) Y = 0.30 R G B I = 0.60 R G B Q = 0.21 R G B - Randbedingung (historisch): Als Erweiterung zum SW- Fernsehen, d.h. zum BAS-Signal

21 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 3 FBAS - Signal : Farb - Bild - Austast - Synchronsignal

22 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 4 Verschiedene Fernsehnormen –NTSC National Television Systems Committee (Amerika) Bildwechselfrequenz: 30 Hz Bild aus 525 Zeilen verwendet Quadraturamplitudenmodulation –SECAM Sequential Coleur avec Memoire (Frankreich,...) Bildwechselfrequenz: 25 Hz Bild aus 625 Zeilen verwendet Frequenzmodulation –PAL Phase alternating line (Deutschland, Bruch 1963) Bildwechselfrequenz: Halbbilder 50 Hz Bild aus 625 Zeilen Grundprinzip: Quadraturamplitudenmodulation

23 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 5 Bandbreite des FS-Signals (auch SW-FS)

24 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 5a Ergänzende Literatur: –Conventional Analog Television - An Introduction

25 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 6 Fernsehen der Zukunft: (?) –D2-MAC: Duobinary Multiplexed Analog Components Komponentenverfahren! 2 hochwertige Stereo- resp. 8 Kanäle niederer Güte für Audio. (wohl überholt !!!) –HDTV: High Definition Television in Europa: Übertragungsverfahren HD-MAC (HD = High Definition) Höhere Datenrate: gegenüber PAL * 5.33 (überprüfen!!) absolut: 1,152* 10 9 bit/s durch Datenkompression Reduktion auf 34 Mbit/s (" ohne merklichen Qualitätsverlust")

26 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 7 –HDTV (Fortsetzung) wird unterschieden in: –Studiostandard –Produktionsstandard –Übertragungsstandard –Reproduktionsstandard –übergeordneter Standard HDP (P = Progressiv)

27 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 7a Ergänzende Literatur: (Stand ) –HDTV Television - An Introduction m –HDTV (High Definition Television) –High Definition Television

28 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 8 HDTV-Entwicklungen: –HD-MAC Europa 1250 Zeilen, 50 Halbbilder, Bildwiederholfrequenz: 100 –MUSE Japan 1125 Zeilen 60 Hz (seit ´92 auf Sendung, gar keine Kompatibilität) –NTSC 1050 Zeilen, 59,94 Hz

29 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 9 Digitales Fernsehen (gemäß beschlossener Normen) –Geschlossene Kodierung (denkbar) BAS-Signal: 2 x 5MHz x 8bit = 80Mbit/sec FBAS-Signal: 4 x 4,43MHz x 8bit = 141 Mbit/s Datenrate Probleme: –-Übersprechen, -Norm-abhängig, -Abtastfrequenz +Datenreduktion nicht komponentenabhängig, –Weitere Störungen –Komponentenkodierung: 4:2:2 Kodierung Luminanz wird höher gewichtet: Behandlung von Y (Luminanz) mit 13.5 MHz, R-Y und B-Y je mit 6.25 MHz. Je zu 8 bit pro Abtastwert. --> Multiplexen.

30 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 10 –Komponentenkodierung (Fortsetzung) Erfordert 216 Mbit/sec (= 28,25 Mbyte) Datenrate. Paßt nicht in herkömmliche PCM-Hierarchie. Daher Substandards mit niedrigerer Datenrate: –1:(5/6,5/6)-->180Mbit/sec –2:(3/4,1/2)--> 135Mbit/sec –3:(2/3,1/3)--> 108Mbit/sec –Weitere Reduktionen möglich.

31 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Videotechnik im Rechner 1 Fast nie mit Zeilensprungverfahren ( Ausnahme: Amiga ) Bildwechselfrequenz ca. 70 Hz, daher flimmerfrei. Farben über CLUT (Color LookUp Table) –Anzahl der verwendbaren Farben n << m Anzahl aller darstellbaren Farben. Einige "Standards "(v.a. alte): –CGA Color Graphics Adapter Bildgröße: 320*200 Pixel Anzahl der verfügbaren Farben: 4 Aufwand zur Darstellung eines Bildschirminhaltes: 320*200 Pixel*(2bit/Pixel)/(8bit/byte) = byte

32 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Videotechnik im Rechner 2 –EGA Enhanced GraphicAdapter Bildgröße: 640*350 Pixel Anzahl der verfügbaren Farben : 16 Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = byte –VGA Video Graphics Array Bildgröße: 640*480 PixelAnzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = byte –8514/ A Display Adapter Mode Bildgröße: 1024*768 PixelAnzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = byte

33 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Videotechnik im Rechner 3 –EGA Enhanced GraphicAdapter Bildgröße: 640*350 Pixel Anzahl der verfügbaren Farben: 16 Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = byte –VGA Video Graphics Array Bildgröße: 640*480 PixelAnzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = byte –8514/ A Display Adapter Mode Bildgröße: 1024*768 PixelAnzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = byte

34 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Videotechnik im Rechner 4 –XGA Extended Graphics Array Bildgröße: 640*480 Pixel Anzahl der verfügbaren Farben: Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(16bit/Pixel)/(8bit/byte) = byte Letztere erfordern hohe Datenraten (v.a. für Bewegtbilder!) Also: Kompressionsverfahren nötig !

35 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Grundlagen 1.1 Videotechnik 1.2 Kompression 1.3 Formate + deren Eigenschaften 1.4 Quicktime

36 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression Motivation Kompressionsverfahren Anforderungen an Kodierungen Kodierungen Klassifikation der Kodierungs- und Kompressionsverfahren Grundlegende Verfahren JPEG H. 261 MPEG

37 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Motivation 1 Zur Motivation von Datenkompression – Beispielrechnungen für typische Werte: - Abkürzungen: 1kbit = bit 1Kbit = 2 10 bit = bit - Analog für Mbit: 1Mbit = 2 10 *2 10 bit = 1.024*1.024 bit –Speicherplatzbedarf: = Anforderung an Speicherplatz, wenn je ein Bildschirminhalt resp. je ein Datenstrom pro Sekunde unkomprimiert dargestellt wird:

38 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Motivation 2 Je ein Bildschirminhalt – Text Annahme: je Zeichen der Größe 8*8 Pixel sind 2 Byte nötig. Zeichen je Bildschirmseite: 640*480/(8*8) = 4800 Speicherplatzbedarf: 4800*2 = 9600 byte = 9,4 Kbyte – Vektorbilder Annahme: typisches Bild besteht aus 500 Geraden, Koordinate in x-Richtung : 10 bit, Koordinate in y-Richtung : 9 bit, Attributvektor pro Gerade: 8 bit. Bit je Linie: ( ) bit = 46 bit Speicherplatzbedarf: 500*46/8 byte = 2875 byte = 2,8 Kbyte

39 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Motivation 3 Je ein Bildschirminhalt (Fortsetzung) –Pixelbild Annahme: 256 Farben, d.h. 1byte pro Pixel Speicherplatzbedarf: 640*480*1 byte = byte = 300 Kbyte Von hier ab: Platzbedarf für je eine Sekunde –Sprache in Telefonqualität Annahme: Abtastung mit 8kHz, quantisiert mit 8 bit Datenstrom: 64 Kbit/s Speicherplatzbedarf: 8 Kbyte

40 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Motivation 4 Platzbedarf für je eine Sekunde (Fortsetzung) –Stereo-Audiosignal in CD-Qualität Annahme: Abtastung mit 44,1 kHz, quantisiert mit 16 bit Datenstrom: 2*44100* 16/8 byte/s = byte/s Speicherplatzbedarf: 172 Kbyte – Videosequenz Annahme: 25 Vollbilder pro Sekunde Luminanz und Chrominanz zusamm. mit 3 byte pro Pixel Luminanz Y mit 13,5 MHz, Chrominanz (R-Y sowie B-Y) mit 6,75 MHz. 8 bit-gleichförmige Kodierung: (13,5 MHz + 2*6,75 MHz) * 8bit = 216*10 6 bit/s (entspricht ca. 27 MByte/s)

41 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Motivation 5 –Videosequenz (Fortsetzung) Datenrate: 640*480*25*3 byte/s = byte/s Speicherplatzbedarf: Kbyte = 21, 97 Mbyte Datenübertragungsraten von ungefähr 140 (175,78) Mbit/s. Heute nicht kostengünstig realisierbar. Kontinierliche Medien erhöhen die Anforderungen an das System erheblich! Durch Kompressionsverfahren "erheblich" reduzierbar.

42 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Kompressionsverfahren Kompressionsverfahren, die immer wieder genannt werden: –JPEG für Einzelbilder (Joint Photographic Expert Group) –MJPEG –[H.261(px64) für Videosequenzen mit geringer Auflösung] –MPEG für Bewegtbilder als auch Audio (Motion Picture Expert Group) –[DVI für Einzelbilder und kontinuierliche Medien (Digital Video Interactive)]

43 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Anforderungen an Kod Gute Qualität nach Kodierung - Dekodierung 2. Verfahren möglichst einfach 3. Symmetrisch in Aufwand für Kompression- Dekompression –z. B. für Dialogsysteme (Bildübertragung, Videoconferencing,..) etwa: Ende-zu-Ende Verzögerung 150 msec ( z. B. px64) 4. Kompression mit hohem Aufwand - Dekompression schnell z. B. für Abfragesysteme (audiovisuelle Auskunftssysteme,...): einmal komprimieren, häufig dekomprimieren, möglichst in Echtzeit (z.B. DVI)

44 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Anforderungen an Kod sollen erfüllen: –Formal unabhängig von Bildschirmgröße/ Bildwiederhol- frequenz zu definieren –verschiedene Datenraten für Audio/Video –Audio/Video exakt synchronisierbar, auch mit anderen Medienobjekten –kostengünstig, möglichst Software –Kooperation von unterschiedlichen Systemen Standards : de jure - de facto

45 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Anforderungen an Kod soll insbesondere erfüllen: –schneller Vor- /Rücklauf bei Anzeige der Daten – wahlfreier Zugriff auf Einzelbilder 0.5 sec – Dekompression von Einzelbildern/Videosequenzen direkt, d.h. ohne Zugriff auf "vorherige" Daten möglich. Editieren nach wahlfreiem Zugriff möglich.

46 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Kodierungen 1 Grobe Einteilung: –Entropiekodierung: verlustfrei (Entropie: mittlerer Informationsgehalt einer Zeichenmenge) –Quellenkodierung: meist verlustbehaftet nutzt Semantik der Daten, bzgl. des Kompressionsgrades abhängig vom Medium. –Kanalkodierung (hier weggelassen) –hybride Kodierung

47 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Kodierungen 2 Wesentliche Schritte der Datenkompression für Audio und Video (am Beispiel Einzelbild formuliert):

48 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Kodierungen 3 Schritte der Datenkompression (Fortsetzung) 1. Bildaufbereitung z. B. Zerlegung in Blöcke von je 8x8 Pixel mit n Bit Beschreibungstiefe pro Block/Pixel 2. Bildverarbeitung erzeugt geeignete digitale Darstellung (verschiedenste Verfahren) 3. Quantisierung erzeugt Verlustbehaftung 4. Entropiekodierung Bearbeitet linearen Datenstrom; verlustfreie Kompression! (2. und 3. können mehrfach iterativ durchlaufen werden). Dekompression läuft invers.

49 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Klassifikation K&K verf 1 (wichtig für unseren Kontext; Verfahren werden im folgenden z. Teil erläutert) Entropiekodierung –LauflängenkodierungHuffman-Kodierung –Arithmetische Kodierung Quellenkodierung –Prädiktion: DPCMDM –Transformation:FFTDCT –nach Wichtigkeit, "Layered Coding": Bitposition Unterabtastung Subband Kodierung

50 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Klassifikation K&K verf 2 Vektor-Quantisierung Hybride Kodierung –JPEG –MPEG –px64

51 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 1 Vorbemerkung Hybride Verfahren verwenden unterschiedliche grundlegende Verfahren. Gemäß den Fähigkeiten/Eigenschaften der Sinnesorgane: unterschiedliche Gewichtungen für verschiedene Attribute, z. B. Helligkeit hohes Gewicht, Farbe niedrigeres Gewicht.

52 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 2 Lauflängenkodierung –Voraussetzung: Bytestrom wird übertragen. –Bei häufigen Wiederholungen von Bytes: Angabe des Bytes + Anzahl des Vorkommens. (Unter Verwendung von M(arkierungs)-Bytes, z. B. "! –Wenn mindestens 4 Bytes gleich, dann wird gezählt. Damit gleiche in 3 Bytes kodierbar. –Beispiel ( in vereinfachter Darstellung ) : Unkomprimierte Daten : a ! bbbcccccccccd Lauflängenkodierung : a ! ! bbb ! c5d

53 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 3 Nullunterdrückung (Spezialfall der Lauflängenkodierung) –Nur ein spezielles Zeichen wird potentiell gezählt. –Ab gleiche Bytes so auf 2 Bytes reduzierbar. Variationen möglich. Vektorquantisierung –(vereinfacht:) Zerlegt Datenstrom in Blöcke zu je n Bytes. –Verwendet Tabelle mit Mustern als Einträgen. Suche Muster, das gegebenen Block am besten approximiert. Block erhält Index(vektor) des zug. Musters aus dieser Tabelle zugeteilt.

54 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 4 Beispiel zur Vektorquantisierung: –Tabelle für Blöcke (hier durch 3 Dezimalziffern dargestellt) –´24´,´801´ komprimiert ergibt z.B. (1,1), (6,4), dekodiert:´10´,´794´ Dimension 1 Dimension Aufwand: Ziffern:12 (10)bit Vektor: 3 +2 bit

55 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 5 Weitere Verfahren –(Static) Pattern Substitution Ersetzt häufige Muster durch einzelne Bytes. (Z.B. BEGIN in Progspr.) Häufig durch Approximation (z.B. für Bilder. Vektorquantisierung) Anmerkungen: –M- Bytes benutzen –benötigt eine vorher bekannte Codetabelle –schwierige Musterfindung bei Einzelbildern und Audiodaten

56 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 6 –Diatomic Encoding Variante von Static Pattern Substitution: Zusammenfassung je zweier Datenbytes. Z.B. für englisch: 8 häufigste Paare: 'E ', 'T ', 'TH', ' A', 'S ', 'RE', 'IN', 'HE' (Vorsicht: Leerzeichen!) Allein Ersetzung dieser durch spezielle Bytes, die sonst nie auftreten 10% Ersparnis.

57 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 7 Dynamic Pattern Substitution –Grundidee wie Static Pattern Substitution Erstellung der Codetabelle aber zur Laufzeit –Problem Erkennung der besten Muster –Beispiel: Unkomprimierte Daten : ABCDEABCEEABCEE Komprimierte Daten : ABCDE11 Tabelleninhalt : 1=ABCEE Implementierung –Lempel-Ziv Encoding: in vielen Programmen eingesetzt

58 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 8 Lempel-Ziv Encoding 1 –Grundideen Codetabelle wird während der Kompression erzeugt jede neue Folge von Bytes in der Codetabelle aufnehmen –Kompression sei #i der i-te Index und W der Inhalt von einem Fenster –Pseudocode 1.) Codetabelle initialisieren mit Alphabet 2.) Fenster = [ W ] mit W = leer 3.) Falls ein Zeichen K vorhanden ist, dann Fenster = [ WK ] Sonst Index von W ausgeben und Programm beenden 4.) Falls Fensterinhalt in der Codetabelle, dann W = WK, 3.) Sonst füge WK in die Codetabelle ein, Index von W ausgeben, setze W = K und springe zu Punkt 3.)

59 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 9 Beispiel für Lempel-Ziv Kodierung : –Alphabet = { A,B,C } - Originaldaten : ´ABABAAA´ –Lempel-Ziv Kodierung : ´#1 #2 #4 #1 #7´

60 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 10 Lempel-Ziv Kodierung 3 –Anmerkungen keine explizite Übertragung der Codetabelle –Tabellengröße bestimmt Kompressionsgrad und Geschwindigkeit wächst schnell –Speicherplatzprobleme, Index wird zu groß –erfordert erneute Initialisierung

61 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 11 Lempel-Ziv Kodierung 4 –Dekompression inverses Verfahren der Kompression Aufbau der Codetabelle –sortiertes Alphabet initialisiert die Codetabelle –beim ersten dekomprimierten Index passiert nichts –sonst das vorherige dekodierte Codewort plus erstes Zeichen von dem neuen dekodierten Codewort einfügen

62 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 12 Lempel-Ziv Kodierung 5 –Sonderfall Problem : verspäteter Aufbau der Tabelle um einen Schritt letzter Eintrag aus der Codetabelle wurde benutzt erster Buchstabe des dekodierten Codewortes wird benötigt Anfang des zuletzt dekodierten Codewortes ist gleich dem Anfang des neuen letzter Buchstabe = erster Buchstabe

63 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 13 Statistische Kodierung Zeichen können unterschiedlich lang kodiert werden. häufig vorkommende Zeichen werden kurz, selten vorkommende Zeichen werden lang kodiert. wichtig: Eindeutige Dekodierung muß möglich sein. Beispiele: Huffman, Arithmetische Kodierung (s.u.). Huffman Kodierung Gegeben: Zeichen mit Wahrscheinlichkeit/ (relative) Häufigkeit ihres Auftretens. Darstellung: Kodierung mit minimaler Anzahl benötigter Bits über binären Baum. Prefix Code: - variable Symbollänge - kein Codewort ist Prefix eines anderen

64 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 14 Beispiel (zu Huffman) : –Zahl = Anzahl des (relativen) Auftretens des Zeichens –p(A) = 10, p(B) = 30, p(C) = 5, p(D) = 8, p(E) = 6 p(CE) = 11, p(AD) = 18, p(ACDE) = 29, p(ABCDE) = 59

66 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 16 Arithmetische Kodierung 1 –Motivation Huffman- Kodierung liefert keine ausgeglichenen Bäume –Beispiel ein Zeichen kommt zu 90% vor ein Bit benötigt bereits zuviel Speicherplatz –Grundidee eine Zeichenkette entspricht einem Intervall zwischen [0..1] eine Zahl aus dem Intervall repräsentiert die Zeichenkette die Auftrittswahrscheinlichkeit bestimmt die Intervallgröße –anfängliche Festlegung Reihenfolge Auftrittswahrscheinlichkeiten Intervalle

67 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 17 Arithmetische Kodierung 2 –auch optimale Kodierung (wie Huffman). –kodiert Zeichen immer unter Berücksichtigung aller vorangegangenen Zeichen wahlfreier Zugriff nicht möglich.

68 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 18 Arithmetische Kodierung 3 Kodierung:Beispiel: –sei low( i ) = untere Intervall- grenze des i-ten Zeichens high( i ) = obere Intervall- grenze L = 0 und H = 1 –für alle Zeichen i {1..n} berechne : L = L + ( H - L ) ·low( i ) H = L + ( H - L ) ·high( i ) // ( alten L-Wert benutzen ) –wähle eine Zahl zwischen L und H

69 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 19 Arithmetische Kodierung 4 Beispiel: ´ACB´ entspricht einer Zahl aus [0,12..0,15[ z.B 0.13

70 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 20 Arithmetische Kodierung 5 Zeichen werden nicht einzeln, sondern ganzer String wird kodiert –Anzahl der komprimierten Zeichen Länge vorher übergeben Endezeichen –Eigenschaften kein zufälliger Zugriff möglich Kompressionsrate ungefähr wie bei der Huffman Kodierung

71 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 21 Transformationskodierung –transformiert Daten in anderen mathematischen Raum, in dem (hoffentlich) besser kodiert werden kann. z.B.: Diskrete Kosinustransformation DCT (vgl. später JPEG) Wavelets Fouriertransformation FFT

72 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 22 Subbandkodierung –nur selektive Frequenztransformation –Qualitätskriterium: Anzahl der Bänder –gut zur Kompression von Sprache Prädiktion/relative Kodierung –Grundidee: Kodierung von Differenzen von Bytes resp. Bytefolgen –Beispiele: 1. ein Bild: –Kanten große Differenzwerte für Luminanz/ Chrominanz –Flächen kleine Differenzwerte –homogene Fläche viele Nullen Lauflängenkodierung

73 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 23 Prädiktion/relative Kodierung (Fortsetzung) –Beispiele (Fortsetzung) 2. Bilder über der Zeit: –Bewegtbilder: beschrieben durch Differenz eines Bildes zum vorherigen. –z. B. Nachrichtensendung/Bildtelefon: Hintergrund weitgehend gleich. –Bewegungskompensation über Bewegungsvektor möglich. 3. in Audiotechnik: Differential Puls Code Modulation (DPCM) –Folge von PCM-kodierten Abtastwerten werden dargestellt durch - erster Abtastwert durch volle Beschreibung - für die nachfolgenden durch Differenz zum vorherigen Wert.

74 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 24 Delta Modulation –Variation von DPCM – Kodierung der Differenzwerte durch genau 1 bit. –(kleine Differenzen sind dadurch sinnvoll beschreibbar.) ! DIFFERENZBILDUNG ist wesentliches Merkmal aller im Multimedia-Bereich eingesetzten Verfahren!

75 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 25 Adaptive Kompressionsverfahren –Bisherige Verfahren: gut in bestimmtem Kontext untypische Folgen von Zeichen keine Kompression. –Adaptive Verfahren: lassen Anpassung des Verfahrens an zu komprimierende Daten zu. Grundidee: –Kodierungstabelle (etwa nach Huffman) durch Zähler je Eintrag für Vorkommen erweitern. –Die Zuordnung der Kodewörter durch Änderung gemäß der Häufigkeit der Vorkommen (Zählereinträge!) anpassen! Die häufigst erscheinenden Zeichen werden dann immer am kürzesten kodiert.

76 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 26 Adaptive Verfahren (Fortsetzung) Beispiel: –Adaptive DPCM (ADPCM, häufig auch nur DPCM). wenige Differenzbits beschreiben: –wenige große Differenzen –wenige kleine Differenzen Fehler in diesem Kontext: Slope overload (Signalverzerrung) Wertigkeit der Diffbits durch Faktor beschreibbar. Änderung der Faktoren adaptiv möglich. --> nicht gut geeignet für z.B. Audio mit sich häufig ändernden Anteilen; jedoch: CCITT: für Telefonie ADPCM: 8kHz Abtastfrequenz, 4 bit pro Abtastwert.

77 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 27 Weitere grundlegende Verfahren: –Farbtabellen –Stummschaltung: Daten werden nur kodiert, wenn der Lautstärkepegel bestimmten Schwellwert überschreitet.

78 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 1 (Gliederung) Anforderungen an JPEG Übersicht:Schritte im JPEG-Kompressionsverfahren Bildaufbereitung (für alle Modi) Bildverarbeitung im 1. Modus (FDCT) Quantisierung Entropiekodierung Erweiterter, verlustbehafteter DCT-basierter Mode Verlustfreier Mode Hierarchischer Mode Zur Qualität

79 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 2 (Joint Photographic Expert Group) J, da 2 Kommissionen beteiligt waren, wohl 1992 veröffentlicht für farbige und grauskalierte Standbilder auch für Bewegtbildsequenzen, dann M(otion)JPEG als Software oder mit spezieller Hardwareunterstützung verfügbar. Vorsicht: z. Teil nur ein Teil von JPEG kommerziell erhältlich ("Basismode")

80 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 3 Anforderungen an JPEG: –Unabhängigkeit von der Bildgröße von Höhe zu Breite - eines Bildes - eines Pixels. der Farbvielfalt vom verwendeten Farbraum von der Komplexität des Bildinhalts von den statistischen Eigenschaften des Bildinhalts –Aktueller Stand bzgl. des Kompressionsgrades und der erreichbaren Bildqualität (nahezu) zu erreichen. –Softwarelösung sollte auf (möglichst vielen) Standardprozessoren laufen.

81 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 4 Anforderungen an JPEG (Fortsetzung 1) –Hardwarelösung sollte Komplexität der Verarbeitung drastisch reduzieren. –Beim Dekodieren mögliche Alternativen unterstützen: sequentiellen Bildaufbau progressiven Bildaufbau (Bild wird erst nur grob, dann immer feiner gezeigt.) verlustfreie Dekodierung Kodierung mit unterschiedlichen Auflösungen desselben Bildes.

82 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 5 Anforderungen an JPEG (Fortsetzung 2) – obige "Parametrisierbarkeit" läßt Wahl zu unter: Qualität des reproduzierten Bildes Dauer der Kompression Größe des komprimierten Bildes – Möglichkeit: nur Kodierer oder Dekodierer nötig –Austauschformat nach JPEG: Parameter + Tabellen des Kodierprozesses (Manchmal nur als "abbreviated Format", wenn gewisse "Meta"daten aus dem Kontext schon bekannt) Bilddaten

83 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 6 Übersicht:Schritte im JPEG-Kompressionsverfahren

84 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 7 JPEG-Modi: 1. Baseline Process, Basis Mode –verlustbehafteter, sequentieller DCT-basierter Mode (muß von jedem JPEG-Decoder unterstützt werden.) 2. Erweiterter verlustbehafteter DCT-basierter Mode –stellt Menge von Alternativen zur Verfügung. 3. Verlustfreier Mode --> verlustfreie Reduktion; geringerer Kompressionsfaktor 4. Hierarchischer Mode –liefert mehrere, unterschiedliche Auflösungen pro Bild –verwendet Algorithmen aus 1.-3.

85 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 8 Bildaufbereitung (für alle Modi) –Zu beantwortende Frage: Wie wird ein (unkomprimiertes) Bild beschrieben und zur Verarbeitung in Teilinformationen zerlegt ? –Nach obigem: Viele Parameter offen, jedoch werden folgende Voraussetzungen an die Beschreibung des unkomprimierten Bildes gestellt: –Ein Bild besteht aus N Ebenen/Komponenten C i 1iN, 1N255.

86 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 9 Bildaufbereitung (für alle Modi; Fortsetzung 1) –Pro Pixel: p bit Beschreibungstiefe p = 8, 12, falls verlustbehafteter Modus 2 p 12, falls verlustfreier Modus. Ansonsten vorweg Transformation in eine solche Darstellung.

87 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 10 Bildaufbereitung (für alle Modi; Fortsetzung 2) –Für 1iN: X i Spaltenzahl, Y i Zeilenzahl. Beispiel 1:Beispiel 2: Homogene Auflösung Heterogene Auflösungder Ebenen

88 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 11 Bildaufbereitung (für alle Modi; Fortsetzung 3) Konkrete Notation eines Bildes durch : –(N, p, y, x, V max, H max, (i, V i, H i ) 1iN), wobei: x := Min i = 1,.., N X i, y := Min i = 1,.., N Y i (X := Max i = 1,.., N X i, Y := Max i = 1,.., N Y i ) H i := X i /x; V i := Y i /y (H max := Max i = 1,.., N H i, V max := Max i = 1,.., N V i ) –Dabei Voraussetzung: 1H i,V i 4 für H i, V i ¿§ –Festlegung: Dateneinheit: 1 Pixel, falls verlustfreier Modus Block aus 8*8 Pixel, falls ein verlustbehafteter Modus

89 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 12 Bildaufbereitung (für alle Modi; Fortsetzung 4) Verarbeitung: –nicht über Ebenen verschachtelt: –über Ebenen verschachtelt (Interleaving): Problem: zusammengehörige Informationen sind zu verarbeiten, trotz evtl. unterschiedlicher Auflösung der verschiedenen Ebenen. führt zum Begriff der MCU: Minimum Coded Units

90 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 13 Bildaufbereitung (für alle Modi; Fortsetzung 5) –Beispiel: –Vorgehen: Zerlege jede Komponente/Ebene in Regionen, so daß die Anzahl der Regionen für jede Ebene gleich groß ist. Die jte MCU enthält jeweils die jte Region der Ebene i (für 1iN).

91 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 14 Bildaufbereitung (für alle Modi; Fortsetzung 6) –Für JPEG gilt: Jede MCU erfüllt: –Maximal 4 Komponenten können derart verschachtelt kodiert werden –maximal 10 Dateneinheiten können enthalten sein. –(Ende Bildaufbereitung für alle Modi.)

92 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 15 Bildverarbeitung im 1. Modus (FDCT) –Überblick: –unkomprimiertes Bild wird in Dateneinheiten zu je 8*8 Pixel zerlegt –p = 8 [bit]

93 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 16 Bildverarbeitung 1. Modus(FDCT ) (Fortsetzung1) –Bildverarbeitung für je 8x8 Pixel: (F)DCT: Diskrete Cosinus Transformation Beschreibe dazu 8*8 Pixel so: Verschiebe Wertebereich von [0,255] nach [-128, 127] Dann gilt: Pixelwerte s yx aus [-128, 127] für 0x,y7 Wende darauf FDCT (Forward DCT) an: S vu = (1/4) c u c v x= 0,.., 7 y= 0,.., 7 s yx cos((2x+1)u /16) cos((2y+1)v /16) mit c u,c v = 2 -1/2 für u,v =0, sonst c u, c v = 1 für u,v [0,7].

94 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 17 Bildverarbeitung 1. Modus(FDCT ) (Fortsetzung2) –Dies ist interessant, da folgende Interpretation: S vu interpretierbar als "zweidimensionale" Frequenz. Beispiele: –S 00 DC- Koeffizient ( Gleichspannungsanteil; direct current) bestimmt Grundfarbton für die 64 Pixeldateneinheiten –andere: AC - Koeffizienten ( Wechselspannungsanteil) –S 70 = höchste Frequenz, die nur in waagerechter Richtung auftritt, d. h. dichtest mögliches Muster senkrechter Streifen. –S 77 maximal, wenn 8*8 Dateneinheit aus möglichst vielen, d.h. 1*1 Karos

95 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 18 Bildverarbeitung 1. Modus(FDCT ) (Fortsetzung3) –"zweidimen- sionale" Frequenzen

96 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 19 Bildverarbeitung 1. Modus(FDCT ) (Fortsetzung 4 ) –Rücktransformation durch IDCT (Inverse DCT) : s yx = (1/4) u= 0,.., 7 v= 0,.., 7 c u c v S vu cos((2x+1)u /16) cos((2y+1)v /16) mit c u,c v = 2 -1/2 für u,v =0, sonst c u, c v = 1. –Anmerkungen: Cos-Werte in Tabelle erfaßbar. Hin- und Rücktransformation nicht exakt. Genauigkeit durch JPEG nicht vorgeschrieben. Flächen erzeugen viele AC-Koeffizienten zu Null oder fast Null.

97 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 20 Quantisierung –Erzeugt Verlustbehaftung –pro Block: 64 Quantisierungseinträge; individuell einstellbar (vom Bildmaterial abhängig) Bildqualität Kompressionsgrad einstellbar –Q vu 8bit ganzzahlige Werte gemäß: sq vu = round S vu /Q vu. Je größer Tabelleneinträge, desto gröber die Quantisierung. –Dequantisierung mit derselben Tabelle gemäß R vu = sq vu * Q vu

98 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 21 Entropiekodierung –Vorbereitung der Verarbeitung in der Kodierung i.a. unterschiedliche Behandlung von DC- und AC - Koeffizienten DC-Wert: beschreibt Grundfarbton, differieren i.a. wenig von Block zu Block. Daher: –Differenzbildung benachbarter Werte

99 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 22 Entropiekodierung (Fortsetzung 1) –AC-Werte: "Zick-Zack"- Verarbeitung nach steigenden Frequenzen (entspricht meist fallenden Werten --> 0)

100 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 23 Entropiekodierung (Fortsetzung 2) –JPEG-Entropiekodierung Zunächst Lauflängenkodierung (von Nullwerten) dann: Huffman (/z. T. Arithmetische Kodierung) --> Liefert ISO- Intermediate-Symbol-Sequenz- Format i. w. folgende alternierende Angaben: Anzahl der folgenden Koeffizienten mit dem Wert Null für die Darstellung des danach folgenden Koeffizienten benutzte Anzahl an Bits Wert des Koeffizienten, dargestellt mit der angegebenen Anzahl an Bits

101 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 24 Entropiekodierung (Fortsetzung 3 ) –Zudem: AC- Werte 0 sowie DC- Werte werden so dargestellt, daß Anzahl benötigter Bits von der Größe des Wertes abhängt –AC-Werte: 1-10 bits –DC-Werte: 1-11 bits (i.a. höhere Auflösung) Huffman: –keine Lizenzgebühren für Patente –schlecht: Anwendung hat Kodierungstabellen bereitzustellen. Hier verwendet man: sequentielle Kodierung

102 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 25 Bildaufbau bei Dekodierung –Beispiel:

103 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 26 Erweiterter, verlustbehafteter DCT- basierter Mode –Unterschiede zum 1. Mode: p = 8 oder 12 Neben sequentieller Kodierung: progressive Kodierung ( Layered Coding) –Erlaubt folgenden Bildaufbau bei Dekodierung Beispiel:

104 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 27 Erweiterter, DCT-basierter Mode (Fortsetzung 1) –Wird erreicht durch: Erweiterung der Quantisierung --> Alle quantisierten Werte kommen in Puffer --> Selektive Weiterverarbeitung –Spectral Selektion: »zuerst: nur Koeffizienten der niedrigen Frequenzen »danach: auch Koeffizienten der höheren Frequenzen –Successive Approximation: »alle Koeffizienten werden übertragen. »jedoch nach Wertigkeit weiterverarbeitet –Neben Huffman: Arithmetischer Kode Patentschutz (noch?) - paßt sich autom. den statistischen Eigensch. des Bildes an.- > keine Tabellen auf Seiten der Anwendung nötig.

105 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 28 Erweiterter, DCT- basierter Mode (Fortsetzung 2) Verschiedene alternative Kombinationen in den Teilschritten: BildaufbauBits/ AbtastwertEntropiekodierung sequentiell 8Huffman - Kodierung sequentiell8Arithmetische Kodierung sequentiell12 Huffman-Kodierung sequentiell12 Arithmetische Kodierung progressiv sukzessive8 Huffman-Kodierung progressiv spektral8 Huffman-Kodierung progressiv sukzessive8 Arithmetische Kodierung progressiv spektral8 Arithmetische Kodierung progressiv sukzessive12 Huffman-Kodierung progressiv spektral12 Huffman-Kodierung progressiv sukzessive12 Arithmetische Kodierung progressiv spektral12 Arithmetische Kodierung

106 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 29 Verlustfreier Mode –Start: Dateneinheit: Pixel mit bit Beschreibungstiefe. Statt Transformationskodierung:

107 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 30 Verlustfreier Mode (Fortsetzung 1) –Prädiktionsverfahren Für Pixel X : 1-8 Prädiktoren Aufgabe: Möglichst gute Vorhersage von X aus den bekannten A,B,C Selektionswert Prädiktion 0 keine Prädiktion4 A + B + C 1A5 A + (B-C)/2 2B6 B + (A-C)/ 3C7 (A + B)/2 Selektionswert sowie Prä(X) - X werden entropiekodiert.

108 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 31 Hierarchischer Mode –nach Bedarf: - verlustbehaftet -verlustfrei –Kodierungen je eines Bildes mit (mehreren) unterschiedlichen Auflösungen 1. Digitalisiertes Bild "um den Faktor 2 n herabsetzen" --> komprimieren 2. Digitalisiertes Bild "um den Faktor 2 n-1 herabsetzen" --> Bild gemäß 1 davon abziehen ("Differenzbild") --> komprimieren geeignet iterieren, bis "vollständiges" Bild komprimiert. Damit Skalierung einfach möglich.

109 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 32 Hierarchischer Mode (Fortsetzung) –Vorteil: Anwendung verarbeitet die Auflösung, die ihr angepaßt ist. --> Berechnung der reduzierten Informationen aus den detailliert beschriebenen Bildern durch die Anwendung nicht nötig. –Nachteil: Kodierung ist rechen- und speicherplatzintensiv.

110 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 33 Zur Qualität –Für DCT-kodierte Einzelbilder: 0,25 bis 0,50 bit/Pixel :Mäßige bis gute Qualität, für einige Anwendungen ausreichend. 0,50 bis 0,75 bit/Pixel: Gute bis sehr gute Qualität, für viele Anwendungen ausreichend. 0,75 bis 1,50 bit/Pixel: Ausgezeichnete Qualität, für die meisten Anwendungen ausreichend. 1,50 bis 2,00 bit/Pixel: Meistens vom Original nicht mehr zu unterscheiden. Genügt fast allen Anwendungen, selbst bei höchsten Qualitätsansprüchen. –Im verlustfreien Modus: Kompressionsgrad 2:1 im Mittel.

111 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - H.261 (px64) 1 Bewegtbildstandard Für Einsatz bzgl. ISDN gedacht für z. B.: –Bildtelefon - Videokonferenzsysteme --> Kodierung + Dekodierung in Echtzeit –jetzt: für Videokompression auf p x 64 Kbit/sec mit p = 1, 2,..., 30 H. 261 Video Codec for Audiovisual Services at p x 64 kbit/s – Coder/Decoder –1990 verabschiedet –Voraussetzung: Kompression + Dekompression 150 msec Signalverzögerung.

112 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - H.261 (px64) 2 Bildaufbereitung –Präzise(re) Voraussetzungen: Am Eingang anliegende Bildwechselfrequenz: 29,97 = 30000/1001 (wieso?) Geringere Bildwechselfrequenzen für Übertragung zugelassen (z.B ) Nicht Zeilensprungverfahren. Bild mit Y Luminanz, Cb,Cr Chrominanzdifferenzen (gemäß CCIR 601) 2:1:1 kodiert (vgl. YUV (Fernsehen); entspricht wohl 4:2:2)

113 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - H.261 (px64) 3 Auflösungen: 4:3 Seitenformat –CIF (Common Intermediate Format) : optional 288*352 Pixel Luminanz 144*176 Chrominanz –QCIF (Quarter CIF) : vorgeschrieben 144*176 Pixel Luminanz –Zur Hilfe:[(2*3*3*8) *(2*11*8)] für unten 72* 88 Chrominanz [(3*3*8) *(11*8)] Nötiger Kompressionsgrad, um mit QCIF über 1 ISDN- B-Kanal zu kommen: 1: 47,5. (bei 10 Bildern/sec) Heute technisch machbar. CIF benötigt 6 ISDN-B-Kanäle

114 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - H.261 (px64) 4 Verwendete Unterteilung je eines Bildes: –Jede Komponente in Blöcke zu 8*8 Pixel –Makroblock: 4 Blöcke für Y, je 1 für Cb und Cr –Gruppe von Blöcken: 3*11 Makroblöcke –QCIF-Bild: 3 Gruppen –CIF-Bild: 12 Gruppen

115 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - H.261 (px64) 5 Kodierungsverfahren –Intraframe. Zur Kodierung werden nur Daten eines Bildes verwendet (vgl. Intrapicture bei MPEG; s.u.) –Interframe: Zur Kodierung werden Daten aus mehreren Bildern verwendet. (vgl. P-Bilder in MPEG; s.u.). –Norm schreibt hier keine Parameter fest. –Zu Intraframe: 8*8 Pixelblock mit DCT (wie bei JPEG) DC und AC Koeffizienten unterschiedlich quantifiziert Kodierung mit Kode variabler Länge.

116 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - H.261 (px64) 6 –Zu Interframe: Für jeden Makroblock mit Prädiktion möglichst ähnlichen Block im vorangegangenen Bild suchen. Relative Lage über Bewegungsvektor festlegen. Bewegungsvektor nicht zwingend vorgeschrieben Möglich: Differenzen zwischen sequentiell aufeinanderfolgenden Makroblöcken kodieren. Datenstrom –ist in H.261 in Schichten aufgeteilt. Unterste Schicht: –Eigenschaften: komprimierte Bilder Fehlerkorrektur möglich Jedes Bild hat 5 bit lange Bildnummer Letztes Bewegtbild kann als Standbild "eingefroren" werden

117 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG Vorbemerkungen zu MPEG –MPEG: Moving Picture Expert Group –Derzeitige Fassungen: (eine Klassifikation, zitiert nach: MPEG Video Webpage, (5.5.99) MPEG-1 : Standard zur Speicherung und zum Information Retrieval bewegter Bilder und assoziiertem Audio auf Speichermedien MPEG-2 : Standard für digitales TV Noch in Entwicklung: MPEG-4 : Standard für Multimedia-Anwendungen MPEG-7 : Standard zur Inhaltsrepräsentation für die Inhaltssuche

118 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 1 Vorbemerkungen zu MPEG-1 MPEG-1: Zur Bearbeitung von Algorithmen zur Audio- und Bewegtbildkodierung.(s.u.) Interntl. Standard seit 92 (MPEG-1 approved Nov. 92). berücksichtigt andere Normierungen –JPEG: Bewegtbild entspricht Folge von Standbildern; JPEG lag früher vor. –H.261 MPEG 1: Datenrate 1856 Kbit/s (lt. Steinmetz 93) MPEG-1: Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s drogo.cselt.stet.it/mpeg/standards/mpeg-1/mpeg-1.htm (5.5.99)

119 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 2 –Geeignet für symmetrische und asymmetrische Kompression (incl. Audio) –MPEG spezifiziert: - Video - Audio - Systemdefinition Videokodierung –Bildaufbereitung (ähnlich H.261) Bild ist beschrieben durch: –Y Luminanz, –Cb,Cr Farbdifferenzkomponenten –Y hat in horizontaler und vertikaler Richtung je doppelte Auflösung (Color Subsampling) Es sollte sein: Räumliche Auflösung 768*576 Pixel

120 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 3 Bildaufbereitung (Fortsetzung) –p = 8 in jeder Ebene –Weitere Infos bei MPEG: 14 unterschiedliche Seitenverhältnisse von Pixeln 8 Bildwechselfrequenzen: 23,976 Hz, 24 Hz, 25 Hz, 29,97 Hz, 30 Hz, 50 Hz, 59,94 Hz, 60 Hz. –Verwendung von Prädiktoren für Bildbereiche –Aufbau eines Bildes aus Bereichen: Block : 8*8 Pixel Makroblock: - 16*16 Pixel Luminanz, - 8*8 Pixel je Chrom. diese 6 Blöcke werden sequentialisiert –--> der Anwender hat keine MCUs zu definieren –3 Komponenten werden gemeinsam komprimiert/ dekompr. kein progressiver Bildaufbau (Bildaufbau in max 41,7 ms)

121 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 4 Bildverarbeitung –4 unterschiedliche Bildkodierungsarten: wegen: effiziente Kodierung wahlfreier Zugriff auf Einzelbild/Frame –Bildarten: I-, P-, B-, D- Bilder

122 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 5 Bildverarbeitung (Fortsetzung 1) Beschreibung grob. (Zu Einzelheiten vgl. [Steinmetz ´93]) –I-Bilder (Intra Coded Pictures) wird als Standbild (Einzelbild) behandelt. wie in JPEG (8*8 Blöcke, DCT, DPCM für DC-Koeff,....) Kompression jedoch in Echtzeit nötig --> geringe Kompressionsrate bilden Anker für wahlfreien Zugriff –P-Bilder (Predictive Coded Pictures) verwenden vorangegangene I- resp. P-Bilder --> Bewegungsschätzung: (Algorithmus ist nicht vorgeschrieben; nur die Kodierung des Ergebnisses. Bewegungsvektor + Differenzbild)

123 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 6 Bildverarbeitung (Fortsetzung 2) Bewegungsvektoren häufig (fast) gleich. Daher dafür DPCM- Kodierung. --> höhere Kompressionsrate als I-Bilder. Makroblöcke in P- Bildern auch wie in I-Bildern kodierbar. Im Prinzip gleich, im Detail anders als bei JPEG. –B-Bilder (Bidirectionally Predictive Coded Pictures) verwendet vorangegangene und nachfolgende I- und P- Bilder --> höchste Kompressionsrate

124 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 7 Bildverarbeitung (Fortsetzung 3) Beispiel (zu sinnvollem Einsatz von B-Bildern): Bewegung eines Balles von links nach rechts vor statischem Hintergrund. Geben sukkzessive Teile des Hintergrundes frei. Daher Ableitung aus nachfolgenden Bildern günstig. u.a. Interpolation von Makroblöcken. B-Bilder werden nicht im Dekoder als Referenzbilder gespeichert. –D-Bilder (DC-Coded Picture) intraframekodiert; nur DC-Parameter (, resp. niederfrequente AC) für schnellen Vorlauf diese Funktionalität kann auch durch periodisch auftretende I-Bilder erreicht werden

125 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 8 Bildverarbeitung (Fortsetzung 4) –Weitere Anmerkungen: Reihenfolge der Bilder in der Dekodierung und der Präsentation können unterschiedlich sein. (vgl. Beispiel oben + unten) Rückwärtslauf hier (evtl.) aufwendig, da Group of Pictures vorher zu verarbeiten. In praktischen Anwendungen von MPEG: –Bildfolge : I BBPBBPBB I BBPBBPBB I > Wahlfreier Zugriff auf jedes 9. Bild. (Mindestens alle 15 Bilder je ein I Bild gefordert.)

126 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 9 Quantisierung –wird an Bedarf angepaßt Audiokodierung –Abtastraten: eine aus 32 kHz, 44,1 kHz, 48kHz; Abtastung mit 16 bit. –Kompression je Audiosignal: –zu einem von 64, 96, 128, 192 kbit/sec. –Vorverarbeitung: FF - Transformation (--> also Infos in Spektraldarstellung) –Zerlegung des Frequenzbereichs in 32 (disjunkte) Bereiche (Bänder). Können unterschiedlich gewichtet quantisiert werden.

127 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 10 Audiokodierung (Fortsetzung) –3 Qualitätsstufen: Stufe 1+2: PCM-kodiert Stufe 3: PCM-kodiert + Huffman –verarbeitbar: 1 Kanal, 2 unabhängige Kanäle Joint Stereo: nutzt Abhängigkeiten zwischen beiden Kanälen –kompatibel zu: CD-DA (Compact Disc - Digital Audio) DAT (Digital Audio Tape)

128 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 11 Datenstrom MPEG spezifiziert feste Syntax für Audio- und Videodaten- strom –Audiostrom besteht aus Frames, diese aus Audio Access Units, diese wiederum aus Slots. Slot: bei niedrigster Komplexität der Kodierung: 4 Byte, sonst 1 Byte Audio Access Unit: kleinstmögliche Audiosequenz komprimierter Daten, die unabhängig von allen übrigen Daten vollständig dekodiert werden kann. –Spieldauern hierfür: - 48kHz: 8ms kHz: 8,7ms- 32 kHz: 12 ms Frame: feste Anzahl von Abtastwerten

129 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 12 Datenstrom (Fortsetzung 1) –Videostrom: 6 Schichten Sequence Group of pictures Picture Slice Makroblock Block

130 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 13 Datenstrom (Fortsetzung 1) –Videostrom: (Fortsetzung) Sequence Layer: Steuert Zwischenspeicherung der Daten –Angaben enthalten u.a.: »für Sequenz konstante Bitrate »für Dekodierung min. Speicherplatz –Video Buffer verifier: Sitzt hinter Quantisierer. Wird zur Überprüfung der durch die Dekodierung entstehenden Verzögerungszeit verwendet. –Zwischen Sequenzen können grundlegende Parameter des Dekoders neu gesetzt und Initialisierung durchgeführt werden.

131 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 14 Datenstrom (Fortsetzung 2) –Videostrom (Fortsetzung 1) Group of Pictures Layer: –Enthält mindestens ein I-Bild (und das an erster Stelle). –Folge im Datenstrom und in der Präsentation können unterschiedlich sein Beispiel: »Reihenfolge bei der Darstellung: Bildart B B I B B P B B P B B I Bildnummer »Reihenfolge im Datenstrom: Bildart I B B P B B P B B I B B Bildnummer

132 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 15 Datenstrom (Fortsetzung 3) –Videostrom (Fortsetzung 2) Picture Layer: beinhaltet –je ein gesamtes Einzelbild –zeitlicher Bezug über Bildnummer –(noch freie weitere Datenfelder [für Erweiterungen]) Slice Layer –besteht aus Anzahl von Makroblöcken, die sich von Bild zu Bild ändern können. –enthält u.a. Skalierung der DCT-Quantisierung für dieses slice. Macro Block Layer Block Layer

133 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 16 Systemdefinition –Zusammenfassung von Audio- und Videostrom. –Multiplexen incl. Koordination beim Datentransfer zwischen einkommenden und ausgehenden Datenströmen Justage von Uhren Puffermanagement –Zerlegung des Datenstroms (nach ISO 11172) in Packs. Erster Pack enthält Infos z.B. über maximal auftretende Datenrate. (Headerinfos). ---> Dies Vorgehen kritisch bei Verteilungsanwendung (etwa späteres Aufschalten!). –MPEG setzt zur Synchronisation erforderliche Zeitstempel.

134 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 17 Systemdefinition (Fortsetzung 1) –Prototypischer ISO/IEC Dekoder:

135 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 18 Anmerkungen –MPEG verlangt nicht Kompression in Echtzeit. –MPEG spezifiziert Prozeß der Dekompression, nicht den Dekoder selbst. –Weitgehend verfügbar: MPEG 1 Datenrate: 1.5 Mbit/s –Wichtig: Qualität, Kompressionsfaktor –Unwichtig: Kompressionszeit

136 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 1 MPEG-2 (ISO 13818) Referenzen: (Stand: ) –Startseite zu MPEG-2 (ISO 13818): –MPEG-2-Dokumentation: –Video-Codierung mit MPEG-2: Breites Spektrum (deutsch) (*) –MPEG-2 FAQ Table of Contents

137 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 2 MPEG-2 (ISO 13818) Referenzen: Fortsetzung –Überblicke zu MPEG (u.a. MPEG-2): The MPEG Home Page: –http://drogo.cselt.stet.it/mpeg/ (5.5.99) MPEG and multimedia communications (Leonardo Chiariglione) ["Vater" von MPEG] (**) Recent advances in video compression Anmerkung: –Dieses Material v.a. nach (*) zusammengestellt.

138 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 3 Entwicklungstufen des Standards ISO (MPEG-2): – Working Draft 1 November 1992 – Comittee Draft November 1993 – Draft International Standard März 1994 – International Standard November 1994 –"Generische Kodierung von Bewegtbildern und synchronisiertem Audio" (übersetzt)

139 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 4 Ziele: –MPEG 1: Kodierung von Video auf CD-ROMs Anwendungen bei: Video-CDs (CD-V/heute: DVD), CD- Interactive (CD-I), Spieleconsolen

140 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 5 Ziele (Fortsetzung): –Ziele für MPEG 2: Für Einsatz im Fernsehfunk (broadcasting): Einsatzgebiete: –Video-On-Demand im Consumerbereich (Home Cinema) – hochqualitative und verlustfreie Übertragung von Video im Studiobereich »Verringerung der Kosten bei Satellitenübertragungen »Nicht: Videokonferenzen (dazu: --> H.261) »(würde: --> synchrones Kodierungsverhältnis, geringe Kodierverzögerung) –in MPEG-2: –Verzögerung zwischen analogem Eingangsstrom und digitalem Videodatenstrom: 1/2 bis 3 Sekunden.

141 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 6 Systemansatz: –Kombination eines oder mehrerer elementarer Video- und Audioströme mit weiteren Daten in einen oder mehrfachen Strom zur –Speicherung –Übertragung –Spezifiziert in Program- und Transportstrom –(Vgl. Bild nächste Seite)

142 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 7 Systemansatz (Fortsetzung):

143 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 8 Verwendete Mechanismen (für Videos): –bei MPEG-1 und MPEG-2 ähnlich: Einzelbilder kodieren –mit temporären Abhängigkeiten (IPB-frames) und –zeitlichen Verschiebungen von Bildinhalten (motion vectors). Mathematische Verfahren zur Datenreduktion: –Diskrete-Cosinus-Transform-Kodierung, –Huffman- und Lauflängenkodierung. –Ungleicher Kodier-/Dekodier-Aufwand: Studio-/Home- Hardware

144 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 9 MPEG-2 ermöglicht: –Skalierbarkeit: schnellere Dekodierhardware ---> erhöhte Bildqualität räumlich: für 16:9 HDTV-Bild Abwärtskompatibilität zu herkömmlichem 4:3. Bitrate bis 10 Mbit/s. –erhebliche Flexibilität des Videoteils: verschiedene Bildformate wahlfreie Bildqualität variable Bitraten

145 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 10 MPEG-2 ermöglicht: (Fortsetzung 1) –erhebliche Flexibilität des Videoteils (Fortsetzung) channel hopping: wahlfreier Zugriff auf verschiedene Videokanäle nachträgliche und einfache Editierung des kodierten Bitstroms trick modes (z.B. für effektreiche Überblendungen) Wiederholung des Kodier- /Dekodiervorgangs darf nicht zu weiteren Qualitätsverlusten führen.

146 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 11 MPEG-2 ermöglicht: (Fortsetzung 2) –Audioteil der Kodierung muß mehrere Kanäle (--> Multilingualität) und niedrigere Sampling-Frequenzen unterstützen. –Rückwärtskompatibilität zu MPEG-1 und H.261 u.a.: MPEG-2 Kodierer realisieren Sub-Kodierer, die exakt rückwärtskompatible Datenströme erzeugen. z.B.: Video Main Profile + Video Main Level ist MPEG-1 ähnlich.

147 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 12 Kodierungs"methoden": - Profiles und Levels- Scalability- Security – Profiles (complexity of compression) und Levels (sample rate, framedimension, coded bitrates) schränken die zur Verfügung stehenden Parameter der Kodierung ein, um dieseEinschränkungen dann in den Kompressionsalgorithmen ausnutzen zu können. Standardisieren Kodierungsparameter.

148 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 13 Kodierungs"methoden":(Fortsetzung 1) –Profile und Level in MPEG-2:

149 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 14 Kodierungs"methoden":(Fortsetzung 2) –Sampling Größen und Bitraten:

150 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 15 Scalability: ist die Möglichkeit des Dekoders, Teile eines Datenstroms zu ignorieren und doch sinnvolle und angepaßte Video- und Audioausgaben zu erzeugen. --> MPEG-2 weitgehend speicher- und übertragunsmedienunabhängig.

151 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 16 Kodierungs"methoden":(Fortsetzung 3) –Zeitliche Scalability Bildrate kann erhöht werden, indem in den normalen Ablauf des "Base Layers zusätzliche B-frames des "Enhancement Layers" dekodiert werden.

152 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 17 Kodierungs"methoden":(Fortsetzung 4) –Qualitative Scalability anstelle der ungenaueren B-frames des "Base Layers"werden P-frames des "Enhancement Layers" dekodiert und angezeigt.

153 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 18 Kodierungs"methoden":(Fortsetzung 5) –Pan-Scan-Scalability: ermöglicht die Definition von Ausschnitten im aktuellen Bild. Diese Ausschnitte können zwar von Bild zu Bild unterschiedlich eingeteilt werden, die Hauptanwendung ist jedoch die Definition eines 4:3 Fernsehbildes innerhalb eines 16:9 HDTV-Bildes.

154 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 19 Kombinationsmöglichkeiten:

155 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 20 Weitere Möglichkeiten von MPEG-2: –Sicherheit (Vertraulichkeit + Integrität) wird unterstützt (nicht ausgeführt.) –Makroblock-Scalability: einzelne Macroblöcke können mehrfach, in verschiedenen Qualitätsstufen kodiert werden. –Block-based Motion Compression Prediction (MCP): das Erkennen von relativen Bewegungen einzelner Blöcke im Vergleich von Bild zu Bild wird im MPEG-2 Format viel einfacher realisiert. – Frame Motion Prediction: Das Auffinden von ganzen, gleichen Frames innerhalb des Datenstroms (Frame Motion Prediction) und

156 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 21 Weitere Möglichkeiten von MPEG-2:(Fortsetzung 1) –Field Motion Prediction: das Auffinden von gleichen, wie auch immer geformten Teilen in verschiedenen Bildern und auch innerhalb des aktuellen Bildes wird ermöglicht. ---> vgl. JPEG –variabler Farbraum für den Studiobereich notwendig, ein Farbverlust ist während der Produktionsphase von Filmen nicht akzeptabel in MPEG-1 wird immer im Verhältnis 4:1:1 kodiert.

157 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 22 Weitere Möglichkeiten von MPEG-2:(Fortsetzung 2) –Zu Audio: (kurz) für Kodierung von Audiosignalen hoher Qualität (CD,Studio). auch für digitale Quellen ausgelegt, z.B. ISDN. unterstützt HDTV, Dolby Sorround (bis zu 5 Kanäle) –MPEG-2 ist auf Verwendung von Hardware zugeschnitten --> SetTop Boxen

158 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 1 Wo bleibt MPEG 3 ? –Sollte v.a. HDTV bis zu 1920x1080 Pixel bis zu 30 Hz mit kodierten Bitraten zwischen 20 und 40 Mbit/sec bearbeiten. Wurde jedoch allein durch MPEG 1+2 beschreibbar. HDTV ist nun Bestandteil von MPEG-2 High Level MPEG 3 ist damit gecancelt. –Anmerkung: Vorsicht. MPEG 3 nicht gleich MP3 : = MPEG 1 Layer 3 (aktuelles Audioformat !!!!)

159 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 2 (Nur) Einstieg in MPEG-4: –zitiert v.a. nach: Overview of the MPEG-4 Standard ISO/IEC JTC1/SC29/WG11 N2725 March 1999/Seoul, South Korea (Stand ) Inhaltsverzeichnis –Executive Overview –Scope and features of the MPEG-4 standard –Detailed technical description of the MPEG-4 –List of major functionalities provided by MPEG-4 in Vers. 1 –Verification Test: checking MPEGs Performance standard –Profiles in MPEG-4 Version 1 - Version 2 of MPEG-4 –Annexes

160 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 3 Executive Overview –MPEG-4 (offiziell: ISO/IEC 14496) is an ISO/IEC standard von MPEG entwickelt –MPEG-4 begonnen Juli 1993 Draft Intnl Standard level Oktober Offizieller Standard: 1999 Aktuell wird gearbeitet an MPEG-4 Version 2 (abwärtskompatibel zu MPEG-4 Version 1)

161 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 4 Executive Overview (Fortsetzung 1) –MPEG-4 stützt sich auf die nachgewiesenermaßer erfolgreichen Gebiete: Digital television Interactive graphics applications (synthetic content) Interactive multimedia (World Wide Web, distribution of and access to content) –MPEG-4 liefert standardisierte technologische Elemente für die Integration von Produktion Verteilung und Zugriff auf den Inhalt aller drei Bereiche von oben. Also: nicht (nur) Kompression !!

162 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 5 Executive Overview (Fortsetzung 2) The MPEG-4 standard: a set of technologies to support AVOs "audio-visual objects"

163 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 6 Executive Overview (Fortsetzung 3) Satz von Technologien: –1. Kodierte Repräsentation von Objekten mit sprachlichem oder visuellem oder audiovisuellem Inhalt (AVOs) –2. Art, wie individuelle AVOs in einer Szene zusammengesetzt werden; –3.Art, wie AVOs gemultiplexed und synchronisiert werden, so daß sie über Netzwerke transportiert werden können bei Einhaltung benötigter Qualität. –4. Generisches (?) Interface zwischen Anwendung und Transportmechanismus –5. Art für die Benutzerinteraktion mit der Szene –6. Projektion der AV Szene gemäß Benutzersicht/Hörpunkt.

164 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 7

165 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 8 MPEG 4: zielt auf sehr niedrige Bitraten bits/sec. Bis 176x144 und 10 Hz: Für Videophone und analoges Telephon. Aktuelle Infos zu MPEG-4: –Overview of the MPEG-4 Standard drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm (Stand ) –MPEG Informations, Questions and Answers (Stand )

166 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich (contd.) Grundlagen (contd.) 1.3 Formate + deren Eigenschaften –MiniDV –IEEE 1394 /FireWire –Quicktime 3.0/4.0 -> v.a. auch Streaming Technology 1.4 Für die Verarbeitung geeignete Rechnerarchitekturen Vgl. unseren Macromedia- Film 1.5 Benötigte Peripheriegeräte: –Camcorder, Recorder – Für Nachbearbeitung: Rechner mit Platten + Anbindung 1.6 Beispielkonfigurationen –erheblich ausgeweitet zusammenstellen (nach unterschiedlichen Randbedingungen)

167 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich (contd.) Grundlagen (contd.) 1.6 Formate + deren Eigenschaften –MiniDV –IEEE 1394 /FireWire –Quicktime 3.0/4.0 -> v.a. auch Streaming Technology


Herunterladen ppt "Desktop Video SPV 2 SWS SS 2000 Gisbert Dittrich FBI Unido"

Ähnliche Präsentationen


Google-Anzeigen