Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Desktop Video SPV 2 SWS SS 99 Gisbert Dittrich FBI Unido

Ähnliche Präsentationen


Präsentation zum Thema: "Desktop Video SPV 2 SWS SS 99 Gisbert Dittrich FBI Unido"—  Präsentation transkript:

1 Desktop Video SPV 2 SWS SS 99 Gisbert Dittrich FBI Unido

2 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Grundlagen 1.1 Videotechnik 1.2 Kompression 1.3 Formate + deren Eigenschaften 1.4 Quicktime

3 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik Das menschliche Auge Grundlagen zu Signalen Schwarzweißfernsehen Farbfernsehen Videotechnik im Rechner

4 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Das menschliche Auge Menschliches Auge ist Rezeptor für Bilder. Bildet Randbedingungen für das Folgende. Auge: ortsabhängiges Auflösungsvermögen optischer Tiefpaß: nur begrenztes Vermögen, Kanten ( hohe Frequenz) aufzulösen. Bewegtbildauflösung: ab ca. 16 Bilder pro Sekunde Flimmereffekt: bei 50 Bilder/sec: periodische Schwankung der Helligkeitsempfindung

5 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 1 - Darstellung über Wellen - Modulation - Signale: Amplitude, Frequenz, Phase

6 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 2 Modulation –Jede Art der Beeinflussung einer charakteristischen Größe (Amplitude, Frequenz, Phase) von meist höherfrequenten, ungedämpften periodischen Vorgängen, im engeren Sinne von elektromagnetischen [Hochfrequenz]wellen bzw. - schwingungen, Lichtstrahlen oder Impulsfolgen zum Zwecke der Übertragung von Signalen oder Nachrichten...

7 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 3 Beispiele: Amplitudenmodulation

8 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 4 Frequenzmodulation

9 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 5 Quadraturmodulation: –Betrachte Trägerfrequenz und eine um 90 Grad phasenverschobene Variante derselben. –Führe Amplitudenmodulation zweier Teilsignale auf diese Träger durch. –Summiere diese beiden zu einem neuen Signal auf.

10 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 6 Beispiel für Diskretisierung einer kontinuierlichen Funktion:

11 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 7 Lehrsatz der Informationstheorie: Abtasttheorem: (zitiert nach Meyers Enzyklopädischem Lexikon) –Ist ein Signalstrom durch eine kontinuierliche Funktion f(t) gegeben und wird diese Funktion durch Abtasten in bestimmten Zeitintervallen Dt in eine aus diskreten Impulsen bestehende Funktion zerlegt, so läßt sich aus dieser Impulsfunktion die ursprüngliche Funktion ohne Informationsverlust wiedergewinnen, wenn für die Bandbreite B gilt: Dt 2B.

12 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Grundlagen zu Signalen 7 Bandbreite: Differenz zwischen größter und kleinster Frequenz in einem zusammenhängenden Bereich von Schwingungen unterschiedlicher Frequenzen. In Nachrichtentechnik: Breite eines Frequenzbandes zwischen zwei Grenzfrequenzen, für die die übertragene oder von einem Bandfilter hindurchgelassene Leistung auf die Hälfte, die Spannung auf das 0,71fache abfällt; wird absolut in Hz oder relativ (auf die mittlere Frequenz bezogen) angegeben.

13 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Schwarzweißfernsehen 1 Darstellung von Helligkeit : Luminanz Zeilensprungverfahren (Schema)

14 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Schwarzweißfernsehen 2 in Europa: 625 Zeilen, Breite:Höhe = 4:3 – also 833 Punkte pro Zeile

15 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Schwarzweißfernsehen 3 Extreme Übergänge schwarz-weiß-schwarz:

16 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Schwarzweißfernsehen 4 BAS-Signal (Schema) [Bild -Austast -Synchronsignal]

17 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Schwarzweißfernsehen 5 Abschätzungen zum BAS: –Für 25 Bilder/sec: Zeilendauer: 64 s (= 40ms/625 Zeilen) Abtastfrequenz: 13,5 MHz, Zeilenfrequenz (1/64 s=) KHz Videobandbr. max: 6,75 MHz; fakt.: 5/5,5 MHz zudem: "Schwebungseffekte erzeugen unvernünftige Bilder" --> Kell-Faktor: 0,64 (0,67) –--> Vertikale Auflösung von 400 Zeilen

18 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Schwarzweißfernsehen 6 Amplitudenmoduliertes Videosignal:

19 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 1 Erste Grundidee: Zusammensetzen aus z. B. RGB Komponentenkodierung: –Betrachtet die Bestandteile der Videoinformation getrennt voneinander. z. B. Synchronisation extra Verschiedene Arten: –RGB Grundfarben werden angegeben –Oder: Herausziehen der Luminanz Y: –YUV Luminanz (Leuchtdichte) [braucht man für SW-Fernseher] Chrominanz (Farbinformation)

20 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 2 Bestimmung von YUV aus RGB: Y = 0.30 R G B U = (B-Y) * V = (R-Y) * Analoge Behandlung für YIQ - Signal (verwendet für NTSC) Y = 0.30 R G B I = 0.60 R G B Q = 0.21 R G B - Randbedingung (historisch): Als Erweiterung zum SW- Fernsehen, d.h. zum BAS-Signal

21 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 3 FBAS - Signal : Farb - Bild - Austast - Synchronsignal

22 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 4 Verschiedene Fernsehnormen –NTSC National Television Systems Committee (Amerika) Bildwechselfrequenz: 30 Hz Bild aus 525 Zeilen verwendet Quadraturamplitudenmodulation –SECAM Sequential Coleur avec Memoire (Frankreich,...) Bildwechselfrequenz: 25 Hz Bild aus 625 Zeilen verwendet Frequenzmodulation –PAL Phase alternating line (Deutschland, Bruch 1963) Bildwechselfrequenz: Halbbilder 50 Hz Bild aus 625 Zeilen Grundprinzip: Quadraturamplitudenmodulation

23 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 5 Bandbreite des FS-Signals (auch SW-FS)

24 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 5a Ergänzende Literatur: –Conventional Analog Television - An Introduction

25 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 6 Fernsehen der Zukunft: (?) –D2-MAC: Duobinary Multiplexed Analog Components Komponentenverfahren! 2 hochwertige Stereo- resp. 8 Kanäle niederer Güte für Audio. (wohl überholt !!!) –HDTV: High Definition Television in Europa: Übertragungsverfahren HD-MAC (HD = High Definition) Höhere Datenrate: gegenüber PAL * 5.33 (überprüfen!!) absolut: 1,152* 10 9 bit/s durch Datenkompression Reduktion auf 34 Mbit/s (" ohne merklichen Qualitätsverlust")

26 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 7 –HDTV (Fortsetzung) wird unterschieden in: –Studiostandard –Produktionsstandard –Übertragungsstandard –Reproduktionsstandard –übergeordneter Standard HDP (P = Progressiv)

27 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 7a Ergänzende Literatur: (Stand ) –HDTV Television - An Introduction m –HDTV (High Definition Television) –High Definition Television

28 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 8 HDTV-Entwicklungen: –HD-MAC Europa 1250 Zeilen, 50 Halbbilder, Bildwiederholfrequenz: 100 –MUSE Japan 1125 Zeilen 60 Hz (seit ´92 auf Sendung, gar keine Kompatibilität) –NTSC 1050 Zeilen, 59,94 Hz

29 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 9 Digitales Fernsehen (gemäß beschlossener Normen) –Geschlossene Kodierung (denkbar) BAS-Signal: 2 x 5MHz x 8bit = 80Mbit/sec FBAS-Signal: 4 x 4,43MHz x 8bit = 141 Mbit/s Datenrate Probleme: –-Übersprechen, -Norm-abhängig, -Abtastfrequenz +Datenreduktion nicht komponentenabhängig, –Weitere Störungen –Komponentenkodierung: 4:2:2 Kodierung Luminanz wird höher gewichtet: Behandlung von Y (Luminanz) mit 13.5 MHz, R-Y und B-Y je mit 6.25 MHz. Je zu 8 bit pro Abtastwert. --> Multiplexen.

30 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Farbfernsehen 10 –Komponentenkodierung (Fortsetzung) Erfordert 216 Mbit/sec (= 28,25 Mbyte) Datenrate. Paßt nicht in herkömmliche PCM-Hierarchie. Daher Substandards mit niedrigerer Datenrate: –1:(5/6,5/6)-->180Mbit/sec –2:(3/4,1/2)--> 135Mbit/sec –3:(2/3,1/3)--> 108Mbit/sec –Weitere Reduktionen möglich.

31 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Videotechnik im Rechner 1 Fast nie mit Zeilensprungverfahren ( Ausnahme: Amiga ) Bildwechselfrequenz ca. 70 Hz, daher flimmerfrei. Farben über CLUT (Color LookUp Table) –Anzahl der verwendbaren Farben n << m Anzahl aller darstellbaren Farben. Einige "Standards "(v.a. alte): –CGA Color Graphics Adapter Bildgröße: 320*200 Pixel Anzahl der verfügbaren Farben: 4 Aufwand zur Darstellung eines Bildschirminhaltes: 320*200 Pixel*(2bit/Pixel)/(8bit/byte) = byte

32 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Videotechnik im Rechner 2 –EGA Enhanced GraphicAdapter Bildgröße: 640*350 Pixel Anzahl der verfügbaren Farben : 16 Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = byte –VGA Video Graphics Array Bildgröße: 640*480 PixelAnzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = byte –8514/ A Display Adapter Mode Bildgröße: 1024*768 PixelAnzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = byte

33 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Videotechnik im Rechner 3 –EGA Enhanced GraphicAdapter Bildgröße: 640*350 Pixel Anzahl der verfügbaren Farben: 16 Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = byte –VGA Video Graphics Array Bildgröße: 640*480 PixelAnzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = byte –8514/ A Display Adapter Mode Bildgröße: 1024*768 PixelAnzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 1024*768Pixel*(8bit/Pixel)/(8bit/byte) = byte

34 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Videotechnik - Videotechnik im Rechner 4 –XGA Extended Graphics Array Bildgröße: 640*480 Pixel Anzahl der verfügbaren Farben: Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(16bit/Pixel)/(8bit/byte) = byte Letztere erfordern hohe Datenraten (v.a. für Bewegtbilder!) Also: Kompressionsverfahren nötig !

35 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Grundlagen 1.1 Videotechnik 1.2 Kompression 1.3 Formate + deren Eigenschaften 1.4 Quicktime

36 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression Motivation Kompressionsverfahren Anforderungen an Kodierungen Kodierungen Klassifikation der Kodierungs- und Kompressionsverfahren Grundlegende Verfahren JPEG H. 261 MPEG

37 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Motivation 1 Zur Motivation von Datenkompression – Beispielrechnungen für typische Werte: - Abkürzungen: 1kbit = bit 1Kbit = 2 10 bit = bit - Analog für Mbyte: 1Mbit = 2 10 *2 10 bit = 1.024*1.024 bit –Speicherplatzbedarf: = Anforderung an Speicherplatz, wenn je ein Bildschirminhalt resp. je ein Datenstrom pro Sekunde unkomprimiert dargestellt wird:

38 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Motivation 2 Je ein Bildschirminhalt – Text Annahme: je Zeichen der Größe 8*8 Pixel sind 2 Byte nötig. Zeichen je Bildschirmseite: 640*480/(8*8) = 4800 Speicherplatzbedarf: 4800*2 = 9600 byte = 9,4 Kbyte – Vektorbilder Annahme: typisches Bild besteht aus 500 Geraden, Koordinate in x-Richtung : 10 bit, Koordinate in y-Richtung : 9 bit, Attributvektor pro Gerade: 8 bit. Bit je Linie: ( ) bit = 46 bit Speicherplatzbedarf: 500*46/8 byte = 2875 byte = 2,8 Kbyte

39 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Motivation 3 Je ein Bildschirminhalt (Fortsetzung) –Pixelbild Annahme: 256 Farben, d.h. 1byte pro Pixel Speicherplatzbedarf: 640*480*1 byte = byte = 300 Kbyte Von hier ab: Platzbedarf für je eine Sekunde –Sprache in Telefonqualität Annahme: Abtastung mit 8kHz, quantisiert mit 8 bit Datenstrom: 64 Kbit/s Speicherplatzbedarf: 8 Kbyte

40 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Motivation 4 Platzbedarf für je eine Sekunde (Fortsetzung) –Stereo-Audiosignal in CD-Qualität Annahme: Abtastung mit 44,1 kHz, quantisiert mit 16 bit Datenstrom: 2*44100* 16/8 byte/s = byte/s Speicherplatzbedarf: 172 Kbyte – Videosequenz Annahme: 25 Vollbilder pro Sekunde Luminanz und Chrominanz zusamm. mit 3 byte pro Pixel Luminanz Y mit 13,5 MHz, Chrominanz (R-Y sowie B-Y) mit 6,75 MHz. 8 bit-gleichförmige Kodierung: (13,5 MHz + 2*6,75 MHz) * 8bit = 216*10 6 bit/s (entspricht ca. 27 MByte/s)

41 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Motivation 5 –Videosequenz (Fortsetzung) Datenrate: 640*480*25*3 byte/s = byte/s Speicherplatzbedarf: Kbyte = 21, 97 Mbyte Datenübertragungsraten von ungefähr 140 (175,78) Mbit/s. Heute nicht kostengünstig realisierbar. Kontinierliche Medien erhöhen die Anforderungen an das System erheblich! Durch Kompressionsverfahren "erheblich" reduzierbar.

42 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Kompressionsverfahren Kompressionsverfahren, die immer wieder genannt werden: –JPEG für Einzelbilder (Joint Photographic Expert Group) –MJPEG –[H.261(px64) für Videosequenzen mit geringer Auflösung] –MPEG für Bewegtbilder als auch Audio (Motion Picture Expert Group) –[DVI für Einzelbilder und kontinuierliche Medien (Digital Video Interactive)]

43 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Anforderungen an Kod Gute Qualität nach Kodierung - Dekodierung 2. Verfahren möglichst einfach 3. Symmetrisch in Aufwand für Kompression- Dekom-pression –z. B. für Dialogsysteme (Bildübertragung, Videoconferencing,..) etwa: Ende-zu-Ende Verzögerung 150 msec ( z. B. px64) 4. Kompression mit hohem Aufwand - Dekompression schnell z. B. für Abfragesysteme (audiovisuelle Auskunftssysteme,...): einmal komprimieren, häufig dekomprimieren, möglichst in Echtzeit (z.B. DVI)

44 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Anforderungen an Kod sollen erfüllen: –Formal unabhängig von Bildschirmgröße/ Bildwiederhol- frequenz zu definieren –verschiedene Datenraten für Audio/Video –Audio/Video exakt synchronisierbar, auch mit anderen Medienobjekten –kostengünstig, möglichst Software –Kooperation von unterschiedlichen Systemen Standards : de jure - de facto

45 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Anforderungen an Kod soll insbesondere erfüllen: –schneller Vor- /Rücklauf bei Anzeige der Daten – wahlfreier Zugriff auf Einzelbilder 0.5 sec – Dekompression von Einzelbildern/Videosequenzen direkt, d.h. ohne Zugriff auf "vorherige" Daten möglich. Editieren nach wahlfreiem Zugriff möglich.

46 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Kodierungen 1 Grobe Einteilung: –Entropiekodierung: verlustfrei (Entropie: mittlerer Informationsgehalt einer Zeichenmenge) –Quellenkodierung: meist verlustbehaftet nutzt Semantik der Daten, bzgl. des Kompressionsgrades abhängig vom Medium. –Kanalkodierung (hier weggelassen) –hybride Kodierung

47 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Kodierungen 2 Wesentliche Schritte der Datenkompression für Audio und Video (am Beispiel Einzelbild formuliert):

48 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Kodierungen 3 Schritte der Datenkompression (Fortsetzung) 1. Bildaufbereitung z. B. Zerlegung in Blöcke von je 8x8 Pixel mit n Bit Beschreibungstiefe pro Block/Pixel 2. Bildverarbeitung erzeugt geeignete digitale Darstellung (verschiedenste Verfahren) 3. Quantisierung erzeugt Verlustbehaftung 4. Entropiekodierung Bearbeitet linearen Datenstrom; verlustfreie Kompression! (2. und 3. können mehrfach iterativ durchlaufen werden). Dekompression läuft invers.

49 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Klassifikation K&K verf 1 (wichtig für unseren Kontext; Verfahren werden im folgenden z. Teil erläutert) Entropiekodierung –LauflängenkodierungHuffman-Kodierung –Arithmetische Kodierung Quellenkodierung –Prädiktion: DPCMDM –Transformation:FFTDCT –nach Wichtigkeit, "Layered Coding": Bitposition Unterabtastung Subband Kodierung

50 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Klassifikation K&K verf 2 Vektor-Quantisierung Hybride Kodierung –JPEG –MPEG –px64

51 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 1 Vorbemerkung Hybride Verfahren verwenden unterschiedliche grundlegende Verfahren. Gemäß den Fähigkeiten/Eigenschaften der Sinnesorgane: unterschiedliche Gewichtungen für verschiedene Attribute, z. B. Helligkeit hohes Gewicht, Farbe niedrigeres Gewicht.

52 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 2 Lauflängenkodierung –Voraussetzung: Bytestrom wird übertragen. –Bei häufigen Wiederholungen von Bytes: Angabe des Bytes + Anzahl des Vorkommens. (Unter Verwendung von M(arkierungs)-Bytes, z. B. "! –Wenn mindestens 4 Bytes gleich, dann wird gezählt. Damit gleiche in 3 Bytes kodierbar. –Beispiel ( in vereinfachter Darstellung ) : Unkomprimierte Daten : a ! bbbcccccccccd Lauflängenkodierung : a ! ! bbb ! c5d

53 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 3 Nullunterdrückung (Spezialfall der Lauflängenkodierung) –Nur ein spezielles Zeichen wird potentiell gezählt. –Ab gleiche Bytes so auf 2 Bytes reduzierbar. Variationen möglich. Vektorquantisierung –(vereinfacht:) Zerlegt Datenstrom in Blöcke zu je n Bytes. –Verwendet Tabelle mit Mustern als Einträgen. Suche Muster, das gegebenen Block am besten approximiert. Block erhält Index(vektor) des zug. Musters aus dieser Tabelle zugeteilt.

54 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 4 Beispiel zur Vektorquantisierung: –Tabelle für Blöcke (hier durch 3 Dezimalziffern dargestellt) –´24´,´801´ komprimiert ergibt z.B. (1,1), (6,4), dekodiert:´10´,´794´ Dimension 1 Dimension Aufwand: Ziffern: 12 bit Vektor: 3 +2 bit

55 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 5 Weitere Verfahren –(Static) Pattern Substitution Ersetzt häufige Muster durch einzelne Bytes. (Z.B. BEGIN in Progspr.) Häufig durch Approximation (z.B. für Bilder. Vektorquantisierung) Anmerkungen: –M- Bytes benutzen –benötigt eine vorher bekannte Codetabelle –schwierige Musterfindung bei Einzelbildern und Audiodaten

56 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 6 –Diatomic Encoding Variante von Static Pattern Substitution: Zusammenfassung je zweier Datenbytes. Z.B. für englisch: 8 häufigste Paare: 'E ', 'T ', 'TH', ' A', 'S ', 'RE', 'IN', 'HE' (Vorsicht: Leerzeichen!) Allein Ersetzung dieser durch spezielle Bytes, die sonst nie auftreten 10% Ersparnis.

57 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 7 Dynamic Pattern Substitution –Grundidee wie Static Pattern Substitution Erstellung der Codetabelle aber zur Laufzeit –Problem Erkennung der besten Muster –Beispiel: Unkomprimierte Daten : ABCDEABCEEABCEE Komprimierte Daten : ABCDE11 Tabelleninhalt : 1=ABCEE Implementierung –Lempel-Ziv Encoding: in vielen Programmen eingesetzt

58 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 8 Lempel-Ziv Encoding 1 –Grundideen Codetabelle wird während der Kompression erzeugt jede neue Folge von Bytes in der Codetabelle aufnehmen –Kompression sei #i der i-te Index und W der Inhalt von einem Fenster –Pseudocode 1.) Codetabelle initialisieren mit Alphabet 2.) Fenster = [ W ] mit W = leer 3.) Falls ein Zeichen K vorhanden ist, dann Fenster = [ WK ] Sonst Index von W ausgeben und Programm beenden 4.) Falls Fensterinhalt in der Codetabelle, dann W = WK, 3.) Sonst füge WK in die Codetabelle ein, Index von W ausgeben, setze W = K und springe zu Punkt 3.)

59 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 9 Beispiel für Lempel-Ziv Kodierung : –Alphabet = { A,B,C } - Originaldaten : ´ABABAAA´ –Lempel-Ziv Kodierung : ´#1 #2 #4 #1 #7´

60 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 10 Lempel-Ziv Kodierung 3 –Anmerkungen keine explizite Übertragung der Codetabelle –Tabellengröße bestimmt Kompressionsgrad und Geschwindigkeit wächst schnell –Speicherplatzprobleme, Index wird zu groß –erfordert erneute Initialisierung

61 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 11 Lempel-Ziv Kodierung 4 –Dekompression inverses Verfahren der Kompression Aufbau der Codetabelle –sortiertes Alphabet initialisiert die Codetabelle –beim ersten dekomprimierten Index passiert nichts –sonst das vorherige dekodierte Codewort plus erstes Zeichen von dem neuen dekodierten Codewort einfügen

62 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 12 Lempel-Ziv Kodierung 5 –Sonderfall Problem : verspäteter Aufbau der Tabelle um einen Schritt letzter Eintrag aus der Codetabelle wurde benutzt erster Buchstabe des dekodierten Codewortes wird benötigt Anfang des zuletzt dekodierten Codewortes ist gleich dem Anfang des neuen letzter Buchstabe = erster Buchstabe

63 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 13 Statistische Kodierung Zeichen können unterschiedlich lang kodiert werden. häufig vorkommende Zeichen werden kurz, selten vorkommende Zeichen werden lang kodiert. wichtig: Eindeutige Dekodierung muß möglich sein. Beispiele: Huffman, Arithmetische Kodierung (s.u.). Huffman Kodierung Gegeben: Zeichen mit Wahrscheinlichkeit/ (relative) Häufigkeit ihres Auftretens. Darstellung: Kodierung mit minimaler Anzahl benötigter Bits über binären Baum. Prefix Code: - variable Symbollänge - kein Codewort ist Prefix eines anderen

64 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 14 Beispiel (zu Huffman) : –Zahl = Anzahl des (relativen) Auftretens des Zeichens –p(A) = 10, p(B) = 30, p(C) = 5, p(D) = 8, p(E) = 6 p(CE) = 11, p(AD) = 18, p(ACDE) = 29, p(ABCDE) = 59

66 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 16 Arithmetische Kodierung 1 –Motivation Huffman- Kodierung liefert keine ausgeglichenen Bäume –Beispiel ein Zeichen kommt zu 90% vor ein Bit benötigt bereits zuviel Speicherplatz –Grundidee eine Zeichenkette entspricht einem Intervall zwischen [0..1] eine Zahl aus dem Intervall repräsentiert die Zeichenkette die Auftrittswahrscheinlichkeit bestimmt die Intervallgröße –anfängliche Festlegung Reihenfolge Auftrittswahrscheinlichkeiten Intervalle

67 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 17 Arithmetische Kodierung 2 –auch optimale Kodierung (wie Huffman). –kodiert Zeichen immer unter Berücksichtigung aller vorangegangenen Zeichen wahlfreier Zugriff nicht möglich.

68 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 18 Arithmetische Kodierung 3 Kodierung:Beispiel: –sei low( i ) = untere Intervall- grenze des i-ten Zeichens high( i ) = obere Intervall- grenze L = 0 und H = 1 –für alle Zeichen i = {1..n} berechne : L = L + ( H - L ) ·low( i ) H = L + ( H - L ) ·high( i ) // ( alten L-Wert benutzen ) –wähle eine Zahl zwischen L und H

69 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 19 Arithmetische Kodierung 4 Beispiel: ´ACB´ entspricht einer Zahl aus [0,12..0,15[ z.B 0.13

70 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 20 Arithmetische Kodierung 5 Zeichen werden nicht einzeln sondern ganzer String wird kodiert –Anzahl der komprimierten Zeichen Länge vorher übergeben Endezeichen –Eigenschaften kein zufälliger Zugriff möglich Kompressionsrate ungefähr wie bei der Huffman Kodierung

71 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 21 Transformationskodierung –transformiert Daten in anderen mathematischen Raum, in dem (hoffentlich) besser kodiert werden kann. z.B.: Diskrete Kosinustransformation DCT (vgl. später JPEG) Wavelets Fouriertransformation FFT

72 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 22 Subbandkodierung –nur selektive Frequenztransformation –Qualitätskriterium: Anzahl der Bänder –gut zur Kompression von Sprache Prädiktion/relative Kodierung –Grundidee: Kodierung von Differenzen von Bytes resp. Bytefolgen –Beispiele: 1. ein Bild: –Kanten große Differenzwerte für Luminanz/ Chrominanz –Flächen kleine Differenzwerte –homogene Fläche viele Nullen Lauflängenkodierung

73 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 23 Prädiktion/relative Kodierung (Fortsetzung) –Beispiele (Fortsetzung) 2. Bilder über der Zeit: –Bewegtbilder: beschrieben durch Differenz eines Bildes zum vorherigen. –z. B. Nachrichtensendung/Bildtelefon: Hintergrund weitgehend gleich. –Bewegungskompensation über Bewegungsvektor möglich. 3. in Audiotechnik: Differential Puls Code Modulation (DPCM) –Folge von PCM-kodierten Abtastwerten werden dargestellt durch - erster Abtastwert durch volle Beschreibung - für die nachfolgenden durch Differenz zum vorherigen Wert.

74 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 24 Delta Modulation –Variation von DPCM – Kodierung der Differenzwerte durch genau 1 bit. –(kleine Differenzen sind dadurch sinnvoll beschreibbar.) ! DIFFERENZBILDUNG ist wesentliches Merkmal aller im Multimedia-Bereich eingesetzten Verfahren!

75 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 25 Adaptive Kompressionsverfahren –Bisherige Verfahren: gut in bestimmtem Kontext untypische Folgen von Zeichen keine Kompression. –Adaptive Verfahren: lassen Anpassung des Verfahrens an zu komprimierende Daten zu. Grundidee: –Kodierungstabelle (etwa nach Huffman) durch Zähler je Eintrag für Vorkommen erweitern. –Die Zuordnung der Kodewörter durch Anderung gemäß der Häufigkeit der Vorkommen (Zählereinträge!) anpassen! Die häufigst erscheinenden Zeichen werden dann immer am kürzesten kodiert.

76 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 26 Adaptive Verfahren (Fortsetzung) Beispiel: –Adaptive DPCM (ADPCM, häufig auch nur DPCM). wenige Differenzbits beschreiben: –wenige große Differenzen -> hohe Frequenzen –wenige kleine Differenzen -> niedrige Frequenzen Fehler in diesem Kontext: Slope overload - Änderung der Faktoren adaptiv möglich. --> nicht geeignet für z.B. Audio mit sich häufig ändernden Anteilen; jedoch: CCITT: für Telefonie ADPCM: 8kHz Abtastfrequenz, 4 bit pro Abtastwert.

77 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - Grundlegende Verfahren 27 Weitere grundlegende Verfahren: –Farbtabellen –Stummschaltung: Daten werden nur kodiert, wenn der Lautstärkepegel bestimmten Schwellwert überschreitet.

78 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 1 (Gliederung) Anforderungen an JPEG Übersicht:Schritte im JPEG-Kompressionsverfahren Bildaufbereitung (für alle Modi) Bildverarbeitung im 1. Modus (FDCT) Quantisierung Entropiekodierung Erweiterter, verlustbehafteter DCT-basierter Mode Verlustfreier Mode Hierarchischer Mode Zur Qualität

79 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 2 (Joint Photographic Expert Group) J, da 2 Kommissionen beteiligt waren, wohl 1992 veröffentlicht für farbige und grauskalierte Standbilder auch für Bewegtbildsequenzen, dann M(otion)JPEG als Software oder mit spezieller Hardwareunterstützung verfügbar. Vorsicht: z. Teil nur ein Teil von JPEG kommerziell erhältlich ("Basismode")

80 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 3 Anforderungen an JPEG: –Unabhängigkeit von der Bildgröße von Höhe zu Breite - eines Bildes - eines Pixels. der Farbvielfalt vom verwendeten Farbraum von der Komplexität des Bildinhalts von den statistischen Eigenschaften des Bildinhalts –Aktueller Stand bzgl. des Kompressionsgrades und der erreichbaren Bildqualität (nahezu) zu erreichen. –Softwarelösung sollte auf (möglichst vielen) Standardprozessoren laufen.

81 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 4 Anforderungen an JPEG (Fortsetzung 1) –Hardwarelösung sollte Komplexität der Verarbeitung drastisch reduzieren. –Beim Dekodieren mögliche Alternativen unterstützen: sequentiellen Bildaufbau progressiven Bildaufbau (Bild wird erst nur grob, dann immer feiner gezeigt.) verlustfreie Dekodierung Kodierung mit unterschiedlichen Auflösungen desselben Bildes.

82 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 5 Anforderungen an JPEG (Fortsetzung 2) – obige "Parametrisierbarkeit" läßt Wahl zu unter: Qualität des reproduzierten Bildes Dauer der Kompression Größe des komprimierten Bildes – Möglichkeit: nur Kodierer oder Dekodierer nötig –Austauschformat nach JPEG: Parameter + Tabellen des Kodierprozesses (Manchmal nur als "abbreviated Format", wenn gewisse "Meta"daten aus dem Kontext schon bekannt) Bilddaten

83 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 6 Übersicht:Schritte im JPEG-Kompressionsverfahren

84 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 7 JPEG-Modi: 1. Baseline Process, Basis Mode –verlustbehafteter, sequentieller DCT-basierter Mode (muß von jedem JPEG-Decoder unterstützt werden.) 2. Erweiterter verlustbehafteter DCT-basierter Mode –stellt Menge von Alternativen zur Verfügung. 3. Verlustfreier Mode --> verlustfreie Reduktion; geringerer Kompressionsfaktor 4. Hierarchischer Mode –liefert mehrere, unterschiedliche Auflösungen pro Bild –verwendet Algorithmen aus 1.-3.

85 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 8 Bildaufbereitung (für alle Modi) –Zu beantwortende Frage: Wie wird ein (unkomprimiertes) Bild beschrieben und zur Verarbeitung in Teilinformationen zerlegt ? –Nach obigem: Viele Parameter offen, jedoch werden folgende Voraussetzungen an die Beschreibung des unkomprimierten Bildes gestellt: –Ein Bild besteht aus N Ebenen/Komponenten C i 1iN, 1N255.

86 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 9 Bildaufbereitung (für alle Modi; Fortsetzung 1) –Pro Pixel: p bit Beschreibungstiefe p = 8, 12, falls verlustbehafteter Modus 2 p 12, falls verlustfreier Modus. Ansonsten vorweg Transformation in eine solche Darstellung.

87 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 10 Bildaufbereitung (für alle Modi; Fortsetzung 2) –Für 1iN: X i Spaltenzahl, Y i Zeilenzahl. Beispiel 1:Beispiel 2: Homogene Auflösung Heterogene Auflösungder Ebenen

88 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 11 Bildaufbereitung (für alle Modi; Fortsetzung 3) Konkrete Notation eines Bildes durch : –(N, p, y, x, V max, H max, (i, V i, H i ) 1iN), wobei: x := Min i = 1,.., N X i, y := Min i = 1,.., N Y i (X := Max i = 1,.., N X i, Y := Max i = 1,.., N Y i ) H i := X i /x; V i := Y i /y (H max := Max i = 1,.., N H i, V max := Max i = 1,.., N V i ) –Dabei Voraussetzung: 1H i,V i 4 für H i, V i ¿§ –Festlegung: Dateneinheit: 1 Pixel, falls verlustfreier Modus Block aus 8*8 Pixel, falls ein verlustbehafteter Modus

89 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 12 Bildaufbereitung (für alle Modi; Fortsetzung 4) Verarbeitung: –nicht über Ebenen verschachtelt: –über Ebenen verschachtelt (Interleaving): Problem: zusammengehörige Informationen sind zu verarbeiten, trotz evtl. unterschiedlicher Auflösung der verschiedenen Ebenen. führt zum Begriff der MCU: Minimum Coded Units

90 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 13 Bildaufbereitung (für alle Modi; Fortsetzung 5) –Beispiel: –Vorgehen: Zerlege jede Komponente/Ebene in Regionen, so daß die Anzahl der Regionen für jede Ebene gleich groß ist. Die jte MCU enthält jeweils die jte Region der Ebene i (für 1iN).

91 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 14 Bildaufbereitung (für alle Modi; Fortsetzung 6) –Für JPEG gilt: Jede MCU erfüllt: –Maximal 4 Komponenten können derart verschachtelt kodiert werden –maximal 10 Dateneinheiten können enthalten sein. –(Ende Bildaufbereitung für alle Modi.)

92 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 15 Bildverarbeitung im 1. Modus (FDCT) –Überblick: –unkomprimiertes Bild wird in Dateneinheiten zu je 8*8 Pixel zerlegt –p = 8 [bit]

93 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 16 Bildverarbeitung 1. Modus(FDCT ) (Fortsetzung1) –Bildverarbeitung für je 8x8 Pixel: (F)DCT: Diskrete Cosinus Transformation Beschreibe dazu 8*8 Pixel so: Verschiebe Wertebereich von [0,255] nach [-128, 127] Dann gilt: Pixelwerte s yx aus [-128, 127] für 0x,y7 Wende darauf FDCT (Forward DCT) an: S vu = (1/4) c u c v x= 0,.., 7 y= 0,.., 7 s yx cos((2x+1)u /16) cos((2y+1)v /16) mit c u,c v = 2 -1/2 für u,v =0, sonst c u, c v = 1 für u,v [0,7].

94 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 17 Bildverarbeitung 1. Modus(FDCT ) (Fortsetzung2) –Dies ist interessant, da folgende Interpretation: S vu interpretierbar als "zweidimensionale" Frequenz. Beispiele: –S 00 DC- Koeffizient ( Gleichspannungsanteil; direct current) bestimmt Grundfarbton für die 64 Pixeldateneinheiten –andere: AC - Koeffizienten ( Wechselspannungsanteil) –S 70 = höchste Frequenz, die nur in waagerechter Richtung auftritt, d. h. dichtest mögliches Muster senkrechter Streifen. –S 77 maximal, wenn 8*8 Dateneinheit aus möglichst vielen, d.h. 1*1 Karos

95 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 18 Bildverarbeitung 1. Modus(FDCT ) (Fortsetzung3) –"zweidimen- sionale" Frequenzen

96 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 19 Bildverarbeitung 1. Modus(FDCT ) (Fortsetzung 4 ) –Rücktransformation durch IDCT (Inverse DCT) : s yx = (1/4) u= 0,.., 7 v= 0,.., 7 c u c v S vu cos((2x+1)u /16) cos((2y+1)v /16) mit c u,c v = 2 -1/2 für u,v =0, sonst c u, c v = 1. –Anmerkungen: Cos-Werte in Tabelle erfaßbar. Hin- und Rücktransformation nicht exakt. Genauigkeit durch JPEG nicht vorgeschrieben. Flächen erzeugen viele AC-Koeffizienten zu Null oder fast Null.

97 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 20 Quantisierung –Erzeugt Verlustbehaftung –pro Block: 64 Quantisierungseinträge; individuell einstellbar (vom Bildmaterial abhängig) Bildqualität Kompressionsgrad einstellbar –Q vu 8bit ganzzahlige Werte gemäß: sq vu = round S vu /Q vu. Je größer Tabelleneinträge, desto gröber die Quantisierung. –Dequantisierung mit derselben Tabelle gemäß R vu = sq vu * Q vu

98 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 21 Entropiekodierung –Vorbereitung der Verarbeitung in der Kodierung i.a. unterschiedliche Behandlung von DC- und AC - Koeffizienten DC-Wert: beschreibt Grundfarbton, differieren i.a. wenig von Block zu Block. Daher: –Differenzbildung benachbarter Werte

99 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 22 Entropiekodierung (Fortsetzung 1) –AC-Werte: "Zick-Zack"- Verarbeitung nach steigenden Frequenzen (entspricht meist fallenden Werten --> 0)

100 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 23 Entropiekodierung (Fortsetzung 2) –JPEG-Entropiekodierung Zunächst Lauflängenkodierung (von Nullwerten) dann: Huffman (/z. T. Arithmetische Kodierung) --> Liefert ISO- Intermediate-Symbol-Sequenz- Format i. w. folgende alternierende Angaben: Anzahl der folgenden Koeffizienten mit dem Wert Null für die Darstellung des danach folgenden Koeffizienten benutzte Anzahl an Bits Wert des Koeffizienten, dargestellt mit der angegebenen Anzahl an Bits

101 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 24 Entropiekodierung (Fortsetzung 3 ) –Zudem: AC- Werte 0 sowie DC- Werte werden so dargestellt, daß Anzahl benötigter Bits von der Größe des Wertes abhängt –AC-Werte: 1-10 bits –DC-Werte: 1-11 bits (i.a. höhere Auflösung) Huffman: –keine Lizenzgebühren für Patente –schlecht: Anwendung hat Kodierungstabellen bereitzustellen. Hier verwendet man: sequentielle Kodierung

102 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 25 Bildaufbau bei Dekodierung –Beispiel:

103 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 26 Erweiterter, verlustbehafteter DCT- basierter Mode –Unterschiede zum 1. Mode: p = 8 oder 12 Neben sequentieller Kodierung: progressive Kodierung ( Layered Coding) –Erlaubt folgenden Bildaufbau bei Dekodierung Beispiel:

104 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 27 Erweiterter, DCT-basierter Mode (Fortsetzung 1) –Wird erreicht durch: Erweiterung der Quantisierung --> Alle quantisierten Werte kommen in Puffer --> Selektive Weiterverarbeitung –Spectral Selektion: »zuerst: nur Koeffizienten der niedrigen Frequenzen »danach: auch Koeffizienten der höheren Frequenzen –Successive Approximation: »alle Koeffizienten werden übertragen. »jedoch nach Wertigkeit weiterverarbeitet –Neben Huffman: Arithmetischer Kode Patentschutz (noch?) - paßt sich autom. den statistischen Eigensch. des Bildes an.- > keine Tabellen auf Seiten der Anwendung nötig.

105 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 28 Erweiterter, DCT- basierter Mode (Fortsetzung 2) Verschiedene alternative Kombinationen in den Teilschritten: BildaufbauBits/ AbtastwertEntropiekodierung sequentiell 8Huffman - Kodierung sequentiell8Arithmetische Kodierung sequentiell12 Huffman-Kodierung sequentiell12 Arithmetische Kodierung progressiv sukzessive8 Huffman-Kodierung progressiv spektral8 Huffman-Kodierung progressiv sukzessive8 Arithmetische Kodierung progressiv spektral8 Arithmetische Kodierung progressiv sukzessive12 Huffman-Kodierung progressiv spektral12 Huffman-Kodierung progressiv sukzessive12 Arithmetische Kodierung progressiv spektral12 Arithmetische Kodierung

106 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 29 Verlustfreier Mode –Start: Dateneinheit: Pixel mit bit Beschreibungstiefe. Statt Transformationskodierung:

107 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 30 Verlustfreier Mode (Fortsetzung 1) –Prädiktionsverfahren Für Pixel X : 1-8 Prädiktoren Aufgabe: Möglichst gute Vorhersage von X aus den bekannten A,B,C Selektionswert Prädiktion 0 keine Prädiktion4 A + B + C 1A5 A + (B-C)/2 2B6 B + (A-C)/ 3C7 (A + B)/2 Selektionswert sowie Prä(X) - X werden entropiekodiert.

108 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 31 Hierarchischer Mode –nach Bedarf: - verlustbehaftet -verlustfrei –Kodierungen je eines Bildes mit (mehreren) unterschiedlichen Auflösungen 1. Digitalisiertes Bild "um den Faktor 2 n herabsetzen" --> komprimieren 2. Digitalisiertes Bild "um den Faktor 2 n-1 herabsetzen" --> Bild gemäß 1 davon abziehen ("Differenzbild") --> komprimieren geeignet iterieren, bis "vollständiges" Bild komprimiert. Damit Skalierung einfach möglich.

109 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 32 Hierarchischer Mode (Fortsetzung) –Vorteil: Anwendung verarbeitet die Auflösung, die ihr angepaßt ist. --> Berechnung der reduzierten Informationen aus den detailliert beschriebenen Bildern durch die Anwendung nicht nötig. –Nachteil: Kodierung ist rechen- und speicherplatzintensiv.

110 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - JPEG 33 Zur Qualität –Für DCT-kodierte Einzelbilder: 0,25 bis 0,50 bit/Pixel :Mäßige bis gute Qualität, für einige Anwendungen ausreichend. 0,50 bis 0,75 bit/Pixel: Gute bis sehr gute Qualität, für viele Anwendungen ausreichend. 0,75 bis 1,50 bit/Pixel: Ausgezeichnete Qualität, für die meisten Anwendungen ausreichend. 1,50 bis 2,00 bit/Pixel: Meistens vom Original nicht mehr zu unterscheiden. Genügt fast allen Anwendungen, selbst bei höchsten Qualitätsansprüchen. –Im verlustfreien Modus: Kompressionsgrad 2:1 im Mittel.

111 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - H.261 (px64) 1 Bewegtbildstandard Für Einsatz bzgl. ISDN gedacht für z. B.: –Bildtelefon - Videokonferenzsysteme --> Kodierung + Dekodierung in Echtzeit –jetzt: für Videokompression auf p x 64 Kbit/sec mit p = 1, 2,..., 30 H. 261 Video Codec for Audiovisual Services at p x 64 kbit/s – Coder/Decoder –1990 verabschiedet –Voraussetzung: Kompression + Dekompression 150 msec Signalverzögerung.

112 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - H.261 (px64) 2 Bildaufbereitung –Präzise(re) Voraussetzungen: Am Eingang anliegende Bildwechselfrequenz: 29,97 = 30000/1001 (wieso?) Geringere Bildwechselfrequenzen für Übertragung zugelassen (z.B ) Nicht Zeilensprungverfahren. Bild mit Y Luminanz, Cb,Cr Chrominanzdifferenzen (gemäß CCIR 601) 2:1:1 kodiert (vgl. YUV (Fernsehen); entspricht wohl 4:2:2)

113 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - H.261 (px64) 3 Auflösungen: 4:3 Seitenformat –CIF (Common Intermediate Format) : optional 288*352 Pixel Luminanz 144*176 Chrominanz –QCIF (Quarter CIF) : vorgeschrieben 144*176 Pixel Luminanz –Zur Hilfe:[(2*3*3*8) *(2*11*8)] für unten 72* 88 Chrominanz [(3*3*8) *(11*8)] Nötiger Kompressionsgrad, um mit QCIF über 1 ISDN- B-Kanal zu kommen: 1: 47,5. (bei 10 Bildern/sec) Heute technisch machbar. CIF benötigt 6 ISDN-B-Kanäle

114 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - H.261 (px64) 4 Verwendete Unterteilung je eines Bildes: –Jede Komponente in Blöcke zu 8*8 Pixel –Makroblock: 4 Blöcke für Y, je 1 für Cb und Cr –Gruppe von Blöcken: 3*11 Makroblöcke –QCIF-Bild: 3 Gruppen –CIF-Bild: 12 Gruppen

115 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - H.261 (px64) 5 Kodierungsverfahren –Intraframe. Zur Kodierung werden nur Daten eines Bildes verwendet (vgl. Intrapicture bei MPEG; s.u.) –Interframe: Zur Kodierung werden Daten aus mehreren Bildern verwendet. (vgl. P-Bilder in MPEG; s.u.). –Norm schreibt hier keine Parameter fest. –Zu Intraframe: 8*8 Pixelblock mit DCT (wie bei JPEG) DC und AC Koeffizienten unterschiedlich quantifiziert Kodierung mit Kode variabler Länge.

116 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - H.261 (px64) 6 –Zu Interframe: Für jeden Makroblock mit Prädiktion möglichst ähnlichen Block im vorangegangenen Bild suchen. Relative Lage über Bewegungsvektor festlegen. Bewegungsvektor nicht zwingend vorgeschrieben Möglich: Differenzen zwischen sequentiell aufeinanderfolgenden Makroblöcken kodieren. Datenstrom –ist in H.261 in Schichten aufgeteilt. Unterste Schicht: –Eigenschaften: komprimierte Bilder Fehlerkorrektur möglich Jedes Bild hat 5 bit lange Bildnummer Letztes Bewegtbild kann als Standbild "eingefroren" werden

117 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG Vorbemerkungen zu MPEG –MPEG: Moving Picture Expert Group –Derzeitige Fassungen: (eine Klassifikation, zitiert nach: MPEG Video Webpage, (5.5.99) MPEG-1 : Standard zur Speicherung und zum Information Retrieval bewegter Bilder und assoziiertem Audio auf Speichermedien MPEG-2 : Standard für digitales TV Noch in Entwicklung: MPEG-4 : Standard für Multimedia-Anwendungen MPEG-7 : Standard zur Inhaltsrepräsentation für die Inhaltssuche

118 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 1 Vorbemerkungen zu MPEG-1 MPEG-1: Zur Bearbeitung von Algorithmen zur Audio- und Bewegtbildkodierung.(s.u.) Interntl. Standard seit 92 (MPEG-1 approved Nov. 92). berücksichtigt andere Normierungen –JPEG: Bewegtbild entspricht Folge von Standbildern; JPEG lag früher vor. –H.261 MPEG 1: Datenrate 1856 Kbit/s (lt. Steinmetz 93) MPEG-1: Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s drogo.cselt.stet.it/mpeg/standards/mpeg-1/mpeg-1.htm (5.5.99)

119 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 2 –Geeignet für symmetrische und asymmetrische Kompression (incl. Audio) –MPEG spezifiziert: - Video - Audio - Systemdefinition Videokodierung –Bildaufbereitung (ähnlich H.261) Bild ist beschrieben durch: –Y Luminanz, –Cb,Cr Farbdifferenzkomponenten –Y hat in horizontaler und vertikaler Richtung je doppelte Auflösung (Color Subsampling) Es sollte sein: Räumliche Auflösung 768*576 Pixel

120 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 3 Bildaufbereitung (Fortsetzung) –p = 8 in jeder Ebene –Weitere Infos bei MPEG: 14 unterschiedliche Seitenverhältnisse von Pixeln 8 Bildwechselfrequenzen: 23,976 Hz, 24 Hz, 25 Hz, 29,97 Hz, 30 Hz, 50 Hz, 59,94 Hz, 60 Hz. –Verwendung von Prädiktoren für Bildbereiche –Aufbau eines Bildes aus Bereichen: Block : 8*8 Pixel Makroblock: - 16*16 Pixel Luminanz, - 8*8 Pixel je Chrom. diese 6 Blöcke werden sequentialisiert –--> der Anwender hat keine MCUs zu definieren –3 Komponenten werden gemeinsam komprimiert/ dekompr. kein progressiver Bildaufbau (Bildaufbau in max 41,7 ms)

121 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 4 Bildverarbeitung –4 unterschiedliche Bildkodierungsarten: wegen: effiziente Kodierung wahlfreier Zugriff auf Einzelbild/Frame –Bildarten: I-, P-, B-, D- Bilder

122 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 5 Bildverarbeitung (Fortsetzung 1) Beschreibung grob. (Zu Einzelheiten vgl. [Steinmetz ´93]) –I-Bilder (Intra Coded Pictures) wird als Standbild (Einzelbild) behandelt. wie in JPEG (8*8 Blöcke, DCT, DPCM für DC-Koeff,....) Kompression jedoch in Echtzeit nötig --> geringe Kompressionsrate bilden Anker für wahlfreien Zugriff –P-Bilder (Predictive Coded Pictures) verwenden vorangegangene I- resp. P-Bilder --> Bewegungsschätzung: (Algorithmus ist nicht vorgeschrieben; nur die Kodierung des Ergebnisses. Bewegungsvektor + Differenzbild)

123 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 6 Bildverarbeitung (Fortsetzung 2) Bewegungsvektoren häufig (fast) gleich. Daher dafür DPCM- Kodierung. --> höhere Kompressionsrate als I-Bilder. Makroblöcke in P- Bildern auch wie in I-Bildern kodierbar. Im Prinzip gleich, im Detail anders als bei JPEG. –B-Bilder (Bidirectionally Predictive Coded Pictures) verwendet vorangegangene und nachfolgende I- und P- Bilder --> höchste Kompressionsrate

124 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 7 Bildverarbeitung (Fortsetzung 3) Beispiel (zu sinnvollem Einsatz von B-Bildern): Bewegung eines Balles von links nach rechts vor statischem Hintergrund. Geben sukkzessive Teile des Hintergrundes frei. Daher Ableitung aus nachfolgenden Bildern günstig. u.a. Interpolation von Makroblöcken. B-Bilder werden nicht im Dekoder als Referenzbilder gespeichert. –D-Bilder (DC-Coded Picture) intraframekodiert; nur DC-Parameter (, resp. niederfrequente AC) für schnellen Vorlauf diese Funktionalität kann auch durch periodisch auftretende I-Bilder erreicht werden

125 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 8 Bildverarbeitung (Fortsetzung 4) –Weitere Anmerkungen: Reihenfolge der Bilder in der Dekodierung und der Präsentation können unterschiedlich sein. (vgl. Beispiel oben + unten) Rückwärtslauf hier (evtl.) aufwendig, da Group of Pictures vorher zu verarbeiten. In praktischen Anwendungen von MPEG: –Bildfolge : I BBPBBPBB I BBPBBPBB I > Wahlfreier Zugriff auf jedes 9. Bild. (Mindestens alle 15 Bilder je ein I Bild gefordert.)

126 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 9 Quantisierung –wird an Bedarf angepaßt Audiokodierung –Abtastraten: eine aus 32 kHz, 44,1 kHz, 48kHz; Abtastung mit 16 bit. –Kompression je Audiosignal: –zu einem von 64, 96, 128, 192 kbit/sec. –Vorverarbeitung: FF - Transformation (--> also Infos in Spektraldarstellung) –Zerlegung des Frequenzbereichs in 32 (disjunkte) Bereiche (Bänder). Können unterschiedlich gewichtet quantisiert werden.

127 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 10 Audiokodierung (Fortsetzung) –3 Qualitätsstufen: Stufe 1+2: PCM-kodiert Stufe 3: PCM-kodiert + Huffman –verarbeitbar: 1 Kanal, 2 unabhängige Kanäle Joint Stereo: nutzt Abhängigkeiten zwischen beiden Kanälen –kompatibel zu: CD-DA (Compact Disc - Digital Audio) DAT (Digital Audio Tape)

128 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 11 Datenstrom MPEG spezifiziert feste Syntax für Audio- und Videodaten- strom –Audiostrom besteht aus Frames, diese aus Audio Access Units, diese wiederum aus Slots. Slot: bei niedrigster Komplexität der Kodierung: 4 Byte, sonst 1 Byte Audio Access Unit: kleinstmögliche Audiosequenz komprimierter Daten, die unabhängig von allen übrigen Daten vollständig dekodiert werden kann. –Spieldauern hierfür: - 48kHz: 8ms kHz: 8,7ms- 32 kHz: 12 ms Frame: feste Anzahl von Abtastwerten

129 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 12 Datenstrom (Fortsetzung 1) –Videostrom: 6 Schichten Sequence Group of pictures Picture Slice Makroblock Block

130 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 13 Datenstrom (Fortsetzung 1) –Videostrom: (Fortsetzung) Sequence Layer: Steuert Zwischenspeicherung der Daten –Angaben enthalten u.a.: »für Sequenz konstante Bitrate »für Dekodierung min. Speicherplatz –Video Buffer verifier: Sitzt hinter Quantisierer. Wird zur Überprüfung der durch die Dekodierung entstehenden Verzögerungszeit verwendet. –Zwischen Sequenzen können grundlegende Parameter des Dekoders neu gesetzt und Initialisierung durchgeführt werden.

131 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 14 Datenstrom (Fortsetzung 2) –Videostrom (Fortsetzung 1) Group of Pictures Layer: –Enthält mindestens ein I-Bild (und das an erster Stelle). –Folge im Datenstrom und in der Präsentation können unterschiedlich sein Beispiel: »Reihenfolge bei der Darstellung: Bildart B B I B B P B B P B B I Bildnummer »Reihenfolge im Datenstrom: Bildart I B B P B B P B B I B B Bildnummer

132 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 15 Datenstrom (Fortsetzung 3) –Videostrom (Fortsetzung 2) Picture Layer: beinhaltet –je ein gesamtes Einzelbild –zeitlicher Bezug über Bildnummer –(noch freie weitere Datenfelder [für Erweiterungen]) Slice Layer –besteht aus Anzahl von Makroblöcken, die sich von Bild zu Bild ändern können. –enthält u.a. Skalierung der DCT-Quantisierung für dieses slice. Macro Block Layer Block Layer

133 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 16 Systemdefinition –Zusammenfassung von Audio- und Videostrom. –Multiplexen incl. Koordination beim Datentransfer zwischen einkommenden und ausgehenden Datenströmen Justage von Uhren Puffermanagement –Zerlegung des Datenstroms (nach ISO 11172) in Packs. Erster Pack enthält Infos z.B. über maximal auftretende Datenrate. (Headerinfos). ---> Dies Vorgehen kritisch bei Verteilungsanwendung (etwa späteres Aufschalten!). –MPEG setzt zur Synchronisation erforderliche Zeitstempel.

134 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 17 Systemdefinition (Fortsetzung 1) –Prototypischer ISO/IEC Dekoder:

135 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-1 18 Anmerkungen –MPEG verlangt nicht Kompression in Echtzeit. –MPEG spezifiziert Prozeß der Dekompression, nicht den Dekoder selbst. –Weitgehend verfügbar: MPEG 1 Datenrate: 1.5 Mbit/s –Wichtig: Qualität, Kompressionsfaktor –Unwichtig: Kompressionszeit

136 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 1 MPEG-2 (ISO 13818) Referenzen: (Stand: ) –Startseite zu MPEG-2 (ISO 13818): –MPEG-2-Dokumentation: –Video-Codierung mit MPEG-2: Breites Spektrum (deutsch) (*) –MPEG-2 FAQ Table of Contents

137 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 2 MPEG-2 (ISO 13818) Referenzen: Fortsetzung –Überblicke zu MPEG (u.a. MPEG-2): The MPEG Home Page: –http://drogo.cselt.stet.it/mpeg/ (5.5.99) MPEG and multimedia communications (Leonardo Chiariglione) ["Vater" von MPEG] (**) Recent advances in video compression Anmerkung: –Dieses Material v.a. nach (*) zusammengestellt.

138 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 3 Entwicklungstufen des Standards ISO (MPEG-2): – Working Draft 1 November 1992 – Comittee Draft November 1993 – Draft International Standard März 1994 – International Standard November 1994 –"Generische Kodierung von Bewegtbildern und synchronisiertem Audio" (übersetzt)

139 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 4 Ziele: –MPEG 1: Kodierung von Video auf CD-ROMs Anwendungen bei: Video-CDs (CD-V/heute: DVD), CD- Interactive (CD-I), Spieleconsolen

140 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 5 Ziele (Fortsetzung): –Ziele für MPEG 2: Für Einsatz im Fernsehfunk (broadcasting): Einsatzgebiete: –Video-On-Demand im Consumerbereich (Home Cinema) – hochqualitative und verlustfreie Übertragung von Video im Studiobereich »Verringerung der Kosten bei Satellitenübertragungen »Nicht: Videokonferenzen (dazu: --> H.261) »(würde: --> synchrones Kodierungsverhältnis, geringe Kodierverzögerung) –in MPEG-2: –Verzögerung zwischen analogem Eingangsstrom und digitalem Videodatenstrom: 1/2 bis 3 Sekunden.

141 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 6 Systemansatz: –Kombination eines oder mehrerer elementarer Video- und Audioströme mit weiteren Daten in einen oder mehrfachen Strom zur –Speicherung –Übertragung –Spezifiziert in Program- und Transportstrom –(Vgl. Bild nächste Seite)

142 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 7 Systemansatz (Fortsetzung):

143 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 8 Verwendete Mechanismen (für Videos): –bei MPEG-1 und MPEG-2 ähnlich: Einzelbilder kodieren –mit temporären Abhängigkeiten (IPB-frames) und –zeitlichen Verschiebungen von Bildinhalten (motion vectors). Mathematische Verfahren zur Datenreduktion: –Diskrete-Cosinus-Transform-Kodierung, –Huffman- und Lauflängenkodierung. –Ungleicher Kodier-/Dekodier-Aufwand: Studio-/Home- Hardware

144 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 9 MPEG-2 ermöglicht: –Skalierbarkeit: schnellere Dekodierhardware ---> erhöhte Bildqualität räumlich: für 16:9 HDTV-Bild Abwärtskompatibilität zu herkömmlichem 4:3. Bitrate bis 10 Mbit/s. –erhebliche Flexibilität des Videoteils: verschiedene Bildformate wahlfreie Bildqualität variable Bitraten

145 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 10 MPEG-2 ermöglicht: (Fortsetzung 1) –erhebliche Flexibilität des Videoteils (Fortsetzung) channel hopping: wahlfreier Zugriff auf verschiedene Videokanäle nachträgliche und einfache Editierung des kodierten Bitstroms trick modes (z.B. für effektreiche Überblendungen) Wiederholung des Kodier- /Dekodiervorgangs darf nicht zu weiteren Qualitätsverlusten führen.

146 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 11 MPEG-2 ermöglicht: (Fortsetzung 2) –Audioteil der Kodierung muß mehrere Kanäle (--> Multilingualität) und niedrigere Sampling-Frequenzen unterstützen. –Rückwärtskompatibilität zu MPEG-1 und H.261 u.a.: MPEG-2 Kodierer realisieren Sub-Kodierer, die exakt rückwärtskompatible Datenströme erzeugen. z.B.: Video Main Profile + Video Main Level ist MPEG-1 ähnlich.

147 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 12 Kodierungs"methoden": - Profiles und Levels- Scalability- Security – Profiles (complexity of compression) und Levels (sample rate, framedimension, coded bitrates) schränken die zur Verfügung stehenden Parameter der Kodierung ein, um dieseEinschränkungen dann in den Kompressionsalgorithmen ausnutzen zu können. Standardisieren Kodierungsparameter.

148 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 13 Kodierungs"methoden":(Fortsetzung 1) –Profile und Level in MPEG-2:

149 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 14 Kodierungs"methoden":(Fortsetzung 2) –Sampling Größen und Bitraten:

150 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 15 Scalability: ist die Möglichkeit des Dekoders, Teile eines Datenstroms zu ignorieren und doch sinnvolle und angepaßte Video- und Audioausgaben zu erzeugen. --> MPEG-2 weitgehend speicher- und übertragunsmedienunabhängig.

151 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 16 Kodierungs"methoden":(Fortsetzung 3) –Zeitliche Scalability Bildrate kann erhöht werden, indem in den normalen Ablauf des "Base Layers zusätzliche B-frames des "Enhancement Layers" dekodiert werden.

152 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 17 Kodierungs"methoden":(Fortsetzung 4) –Qualitative Scalability anstelle der ungenaueren B-frames des "Base Layers"werden P-frames des "Enhancement Layers" dekodiert und angezeigt.

153 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 18 Kodierungs"methoden":(Fortsetzung 5) –Pan-Scan-Scalability: ermöglicht die Definition von Ausschnitten im aktuellen Bild. Diese Ausschnitte können zwar von Bild zu Bild unterschiedlich eingeteilt werden, die Hauptanwendung ist jedoch die Definition eines 4:3 Fernsehbildes innerhalb eines 16:9 HDTV-Bildes.

154 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 19 Kombinationsmöglichkeiten:

155 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 20 Weitere Möglichkeiten von MPEG-2: –Sicherheit (Vertraulichkeit + Integrität) wird unterstützt (nicht ausgeführt.) –Makroblock-Scalability: einzelne Macroblöcke können mehrfach, in verschiedenen Qualitätsstufen kodiert werden. –Block-based Motion Compression Prediction (MCP): das Erkennen von relativen Bewegungen einzelner Blöcke im Vergleich von Bild zu Bild wird im MPEG-2 Format viel einfacher realisiert. – Frame Motion Prediction: Das Auffinden von ganzen, gleichen Frames innerhalb des Datenstroms (Frame Motion Prediction) und

156 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 21 Weitere Möglichkeiten von MPEG-2:(Fortsetzung 1) –Field Motion Prediction: das Auffinden von gleichen, wie auch immer geformten Teilen in verschiedenen Bildern und auch innerhalb des aktuellen Bildes wird ermöglicht. ---> vgl. JPEG –variabler Farbraum für den Studiobereich notwendig, ein Farbverlust ist während der Produktionsphase von Filmen nicht akzeptabel in MPEG-1 wird immer im Verhältnis 4:1:1 kodiert.

157 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-2 22 Weitere Möglichkeiten von MPEG-2:(Fortsetzung 2) –Zu Audio: (kurz) für Kodierung von Audiosignalen hoher Qualität (CD,Studio). auch für digitale Quellen ausgelegt, z.B. ISDN. unterstützt HDTV, Dolby Sorround (bis zu 5 Kanäle) –MPEG-2 ist auf Verwendung von Hardware zugeschnitten --> SetTop Boxen

158 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 1 Wo bleibt MPEG 3 ? –Sollte v.a. HDTV bis zu 1920x1080 Pixel bis zu 30 Hz mit kodierten Bitraten zwischen 20 und 40 Mbit/sec bearbeiten. Wurde jedoch allein durch MPEG 1+2 beschreibbar. HDTV ist nun Bestandteil von MPEG-2 High Level MPEG 3 ist damit gecancelt. –Anmerkung: Vorsicht. MPEG 3 nicht gleich MP3 : = MPEG 1 Layer 3 (aktuelles Audioformat !!!!)

159 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 2 (Nur) Einstieg in MPEG-4: –zitiert v.a. nach: Overview of the MPEG-4 Standard ISO/IEC JTC1/SC29/WG11 N2725 March 1999/Seoul, South Korea (Stand ) Inhaltsverzeichnis –Executive Overview –Scope and features of the MPEG-4 standard –Detailed technical description of the MPEG-4 –List of major functionalities provided by MPEG-4 in Vers. 1 –Verification Test: checking MPEGs Performance standard –Profiles in MPEG-4 Version 1 - Version 2 of MPEG-4 –Annexes

160 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 3 Executive Overview –MPEG-4 (offiziell: ISO/IEC 14496) is an ISO/IEC standard von MPEG entwickelt –MPEG-4 begonnen Juli 1993 Draft Intnl Standard level Oktober Offizieller Standard: 1999 Aktuell wird gearbeitet an MPEG-4 Version 2 (abwärtskompatibel zu MPEG-4 Version 1)

161 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 4 Executive Overview (Fortsetzung 1) –MPEG-4 stützt sich auf die nachgewiesenermaßer erfolgreichen Gebiete: Digital television Interactive graphics applications (synthetic content) Interactive multimedia (World Wide Web, distribution of and access to content) –MPEG-4 liefert standardisierte technologische Elemente für die Integration von Produktion Verteilung und Zugriff auf den Inhalt aller drei Bereiche von oben. Also: nicht (nur) Kompression !!

162 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 5 Executive Overview (Fortsetzung 2) The MPEG-4 standard: a set of technologies to support AVOs "audio-visual objects"

163 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 6 Executive Overview (Fortsetzung 3) Satz von Technologien: –1. Kodierte Repräsentation von Objekten mit sprachlichem oder visuellem oder audiovisuellem Inhalt (AVOs) –2. Art, wie individuelle AVOs in einer Szene zusammengesetzt werden; –3.Art, wie AVOs gemultiplexed und synchronisiert werden, so daß sie über Netzwerke transportiert werden können bei Einhaltung benötigter Qualität. –4. Generisches (?) Interface zwischen Anwendung und Transportmechanismus –5. Art für die Benutzerinteraktion mit der Szene –6. Projektion der AV Szene gemäß Benutzersicht/Hörpunkt.

164 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 7

165 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Kompression - MPEG-4 8 MPEG 4: zielt auf sehr niedrige Bitraten bits/sec. Bis 176x144 und 10 Hz: Für Videophone und analoges Telephon. Aktuelle Infos zu MPEG-4: –Overview of the MPEG-4 Standard drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm (Stand ) –MPEG Informations, Questions and Answers (Stand )

166 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Grundlagen 1.1 Videotechnik 1.2 Kompression 1.3 DV Formate + deren Eigenschaften 1.4 Quicktime

167 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Literatur Bajohr, M.: DV Formate Vortrag und Ausarbeitung im Seminar Digitales Video Veranstalter Dittrich, FBI UniDo, SS 99 Roger Jennings: Video, Audio, and Data Recording Formats [Stand: ] Wilt, A. J. : The DV, DVCAM, & DVCPRO Formats + weitere Beiträge zu Video and Data Recording Formats U.a. [Stand: ]

168 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Gliederung Formate für Video im Consumerbereich DV - Format – Vorbemerkungen- Eingangsbilddarstellung – Allgem. DV Format - Digital Interface (DIF) Format DV - Format : Technische Aspekte – DV Kassetten und Aufzeichnungsformat – 1394/FireWire - LSI Impl. eines DV Systems Sichtbare Phänomene DV Formate konkret

169 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate DV Formate -... für Video im Consumerbereich Analog: –VHS/VHS-C VHS weitest verbreitet VHS-C durch Adapterkassette in norm. VCRs abspielbar. –S-VHS Bessere Qualität; Y/C Kodierung –Video 8 Erheblich kleinere Kassetten –Hi 8 Bessere Qualität im Vergleich zu Video 8; Y/C Kodierung Digital: –DVC/MiniDV

170 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Vorbemerkungen 1 DV: Standard für digitales, komprimiertes Video und Audio von 10 Firmen gegründet: –Sony Corp –Panasonic –Victor Corporation of Japan (JVC) –Philips Electronics, N.V. –Sanyo Electric Co. Ltd –Hitachi, Ltd. –Sharp Corporation –Thompson Multimedia –Mitsubishi Electric Corporation –Toshiba Corporation

171 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Vorbemerkungen 2 DV definiert ein eigenes Kassettenformat MiniDV und DVC Video wird in einer Rate von 4:1:1 (NTSC) oder 4:2:0 (PAL) gesampled max. Auflösung: 720 x 480 Pixel Datenrate bei ca. 3.6 Mbyte/sec Kompressionsverhältnis: : 1 (in der Regel 5.0:1) Digitale Datenübertragung via FireWire Vervielfältigung ohne Verluste

172 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate DV Formate - Eingangsbilddarstellung 1 Verschiedene Notationen: SQCIF, CIF und SDTV, nach ITU-R BT.601; hier SDTV verwendet. YUV-Darstellung: Helligkeitswerte Y Farbdifferenz Rot Cr Farbdifferenz Blau Cb DV ist eine 4:1:1 YUV Bildfolge (NTSC) bei einer 4:1:1 Norm ergibt sich: Ersparnis von 12 (von ursprüngl. 24) Bit pro Pixel! --> PIX Formate

173 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate DV Formate - Eingangsbilddarstellung 2 Speicherplatzverbrauch pro Pixel wobei Farbtiefe: Anzahl Bits für die Helligkeit (nach ITU-R BT.601: 8 Bit) Beispiel: Ein volles RGB Bild mit 720 x 480 Pixel Hinweis: RGB Bilder sind 4:4:4 (=24 Bit pro Pixel) gecoded

174 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate DV Formate - Eingangsbilddarstellung 3 4:2:2 Format –Farbe wird in der halben Rate des Helligkeitssignals gesampled –Bei 720 Pixeln pro Zeile ergeben sich 360 Farbabtastungen pro Farbdifferenz

175 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate DV Formate - Eingangsbilddarstellung 4 4:1:1 Format –Farbe wird in der viertel Rate des Helligkeitssignals gesampled –Bei 720 Pixeln pro Zeile ergeben sich 180 Farbabtastungen pro Farbdifferenz

176 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate DV Formate - Eingangsbilddarstellung 5 4:2:0 Format 1 –Wird eine Farbe gar nicht berücksichtigt? NEIN! –Farbe in der halben Rate des Helligkeitssignals in horizontaler und vertikaler Richtung abgetastet

177 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate DV Formate - Eingangsbilddarstellung 6 4:2:0 Format 2 2 Definitionen: –jeweils 360 Farbinformationen für Rot und Blau pro ungerader Zeile –jeweils 360 Farbwerte für Rot in den ungeraden Zeilen und 360 Farbwerte für Blau in den Geraden (co-sited)

178 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate DV Formate - Eingangsbilddarstellung 7 PIX Formate im Vergleich: Es ergibt sich ein immer noch zu hoher Datenstrom! –ca. 240 Mbit/s (unkomprimiert, RGB) –ca. 170 Mbit/s (4:2:2) –ca. 120 Mbit/s (4:1:1, 4:2:0) ( alle Berechnungen gelten für 720 x 480 Pixel bei 30 frames/sec)

179 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Allgem. Format: Aufbau 1 Ein komprimiertes Bild besteht aus 10 tracks Bildauflösung: 720 x 485 Pixel! 1 Track umfaßt 138 Datablocks (nur Video) 1 Datablock enthält 76 Bytes Nutzdaten und 1 Byte Header inklusiv Fehlerkorrektur und Synchronisationsdaten ergeben sich 90 Bytes pro Datablock die Synchronisations- und die Fehlerkorrektur- daten werden nicht mitübertragen!

180 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Allgem. Format: Aufbau 2 Video, Audio und Subcode Aufnahme Format

181 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Allgem. Format: Datenraten 1 Videodatenrate: Es werden statt 30 frames/sec immer nur 29,97 frames/sec berücksichtigt, da bei 1000 frames ein Bild nicht verwendet wird

182 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Allgem. Format: Datenraten 2 Videodatenrate ITU-R BT.601 (4:1:1): Kompressionsverhältnis: Kompressionsverhältnis zu 4:2:2 Format:

183 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Allgem. Format: Datenraten 3 Audioinformationen werden in 9 blocks zu 76 bytes gespeichert max. Audiodatenrate: entspricht 4 Spuren in 32 kHz zu 12-bit: oder 2 Spuren in 48 kHz zu 16-bit:

184 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Allgem. Format: Datenraten 4 Gesamtdatenrate (Audio & Video), inklusiv Parity, aber ohne ITI sector Overhead: 25 % der aufgezeichneten Daten für subcode data, error detection und error correction!

185 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Allgem. Format: Fehlerbehandlg DV nutzt den Reed-Solomon (RS) error detection / correction Code Daten eines droupouts (burst errors) nur selten rekonstruierbar große Menge an Arbeitsspeicher (RAM) erforderlich Error concealment arbeitet mit einer Schätzung der verlorenen Daten Zur Datenübertragung wird nur ein error detection Code verwandt

186 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Allgem. Format: Fehlererkennung mit Kreuzparität Video und Audio Daten mit einer Kreuzparität versehen nur 1 Bit Fehler korrigierbar gerade Parität Darstellung einer Error Detection mit Parity bits

187 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 1 Aufbau1 –Data in Frame: DIF –Format zur Datenübertragung via FireWire –arbeitet nur mit error detection => einfachere Implementierung, geringerer Overhead –DIF Format lehnt sich an das allg. DV Format an –Bildauflösung: 720 x 480 Pixel –die Synchronisations- und die Fehlerkorrekturdaten werden nicht mitübertragen!

188 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 2 Aufbau2 –Ein NTSC Bild mit 720 x 480 Pixel wird in 10 gleichgroße DIF Sequenzen zu je Bytes gepackt –Eine DIF Sequenz beinhaltet 5 Superblocks für die Videodaten –DIF Sequenzen bestehen aus 150 DIF Blocks zu je 80 Bytes (=20 Quadlets) Inhalt Eine DIF Sequenz besteht aus: –135 DIF blocks für Video Daten –9 DIF blocks für Audio Daten –6 DIF blocks für Header, Subcode und Video Auxiliary (VAUX)

189 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 3 DIF Sequenzen im Detail 1 Anordnung von DIF Sequenzen

190 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 4 DIF Sequenzen im Detail2 –Resultierende Datenrate: –Übertragung der DIF Blocks: 9 Audio DIF Blocks werden interleaved mit 135 Video DIF Blocks in eine 9 x 14 Matrix gemischt Zu Beginn wird ein 6 Block langer Header mit Subcode und VAUX übertragen Wiedergabe erfolgt in der gleichen Reihenfolge wie die Aufnahme

191 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 5 DIF Sequenzen im Detail3 Übertragungssequenz von Data, Video und Audio DIF Blocks

192 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 6 Superblocks & Makroblocks 1 –DV frames bestehen aus 270 Videosegmenten => pro DIF Sequenz ergeben sich 27 Videosegmente –jedes Videosegment beinhaltet 5 komprimierte Makroblocks zu je 80 Bytes –ein Makroblock entspricht physikalisch einem DIF Block –jeder Makroblock stellt eine 32 x 8 Pixel Region innerhalb eines Bildes dar => 1350 Makroblocks pro Bild –ein Superblock enthält 27 Makroblocks => pro DIF Sequenz gibt es 5 Superblocks (5 * 27 = 135 DIF Blocks) –jeweils 5 Superblocks pro Spalte ergeben eine DIF Sequenz

193 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 7 Superblocks & Makroblocks 2 Struktur eines Videosegments

194 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 8 Superblocks & Makroblocks 3 Aufbau eines Makroblocks 3 bytes für die DIF block ID information 14 bytes jeweils für die Helligkeitsinformationen Y0, Y1, Y2, Y3 (=56 bytes) 10 bytes jweils für die Farbinformation Cr und Cb (= 20 bytes) 1 byte als quantization number (QNO) und block status (STA)

195 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 9 Superblocks & Makroblocks 4 Anordnung der Makroblocks –Pro Superblock (Spalten) gibt es 27 Makroblocks –Die letzten Makroblocks (24, 25, 26) ergeben jeweils eine 16 x 8 Pixel Region pro Zeile => 720 Pixel / 32 Pixel = 22,5 –Makroblocks werden nicht zeilenweise angeordnet => error concealment

196 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 10 Superblocks & Makroblocks 5 Superblocks innerhalb eines NTSC frames

197 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 11 Superblocks... Anordnung der Makro- blocks innerhalb eines NTSC DV frame

198 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 12 Dekodierung eines Videosegments 1 –Dekodierung der AC Koeffizienten erfolgt mit einem 3 schrittigen variable length decoding Algorithmus: Schritt 1: dekodiere VLC AC Koeffizienten für Y0, Y1, Y2, Y3, Cr und Cb innerhalb eines Makroblocks Schritt 2: dekodiere übergelaufene VLC AC Koeffizienten innerhalb eines Makroblocks Schritt 3: dekodiere übergelaufene VLC AC Koeffizienten innerhalb eines Video Segments

199 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - DIF (Format) 13 Dekodierung eines Videosegments 2 Dekomprimierung und IDCT: –Inverse quantization –Zigzag Koeffizienten Sortierung –Inverse Gewichtung –Inverse diskrete Cosinus Transformation (DCT) nach 8-8 oder (2-4-8 wird benötigt, wenn sich viele Details im Bild befinden.) –Speichere die Pixeldaten in der richtigen Reihenfolge innerhalb des Video frames Randbedingungen: –Alle 3 Video Segmente muß der Audio DIF Block übersprungen werden –Nach jeweils 27 Video Segmenten muß der Header, Subcode und VAUX übersprungen werden. Dieses sind 6 DIF blocks. –Decodiere die 27 Video Segmente –Dieses wird nun 10 Mal pro Bild durchgeführt. Als Ergebnis erhält man ein YUV kodiertes 4:1:1 Bild mit einer Auflösung von 720 x 480 Bildpunkten

200 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Techn. Aspekte: Kassetten 1 Grundlagen –2 verschiedene Formate: DVC und MiniDV –Band hat eine Breite von 6,35 mm (1/4 inch) –wird mit 18,81 mm/sec im Normal Modus fortbewegt –MiniDV ist mit einem Kassettenadapter zur Standard DV Kassette kompatibel –interner Festwertspeicher, MIC (Memory in Cassette), max. 16 MB, aber nicht erforderlich! –MIC Daten werden über FireWire mitübertragen –geringere Probleme gegen Dropouts, als bei Hi8 Bändern –Bandmaterial besteht aus 5 Schichten

201 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Techn. Aspekte: Kassetten 2 Geometrische Eigenschaften

202 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Techn. Aspekte: Kassetten 3 Anordnung der Spuren1 –min. 2 Köpfe auf einer rotierenden Kopftrommel –Rotationsgeschwindigkeit: 9000 rpm –azimuth recording Verfahren (+/- 10 Grad) –Spurlage um 9 Grad geneigt –Spurlänge: 35 mm, davon genutzt 33 mm –Spurbreite: 10 microns (Millionstel eines Meters) (Hi8 benötigt 20,5 microns, VHS sogar 58 microns) –keine Kontrollspur zur Bandgeschwindigkeitsanpassung => DV mischt Pilottöne in den Datenstrom –2 horizontale Spuren, die herstellerabhängig genutzt werden

203 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Techn. Aspekte: Kassetten 4 Anordnung der Spuren2 Spuranordnung auf dem DV Band

204 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Techn. Aspekte: Kassetten 5 Anordnung der Spuren3 Aufnahme eines Bildes nach NTSC Norm Anzahl an Tracks kann von DV geändert werden: => NTSC 525/60 nutzt 10 Tracks pro Bild => PAL 625/50 benötigt 12 Tracks pro Bild

205 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Techn. Aspekte: Kassetten 6 Verwendung der Spuren –Insert and Track Information (ITI) Sektor: Track status Kontrollspur während des Insert Schnittes => Pilottonspur –Audio Sektor: Audio und Audio Auxiliary (AAUX) Daten 4 x 32 kHz, 12 Bit oder 2 x 48 kHz [44.1 kHz, 32 kHz], 16 Bit –Video Sektor: Video und Auxiliary Video (VAUX) Daten Video Bilder mit DCT und Huffmann Kodierung auf 5:1 komprimiert VAUX Daten enthalten Datum und Uhrzeit, Zoom und Linsen- einstellung, shutter speed, Farbbalance, sonstige Kamera Einstellungen –Subcode Sektor: Timecode in kleinen Blöcken, packs, gespeichert sonstige Informationen

206 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate -Techn. Aspekte: 1394/FireWire 1 Grundlagen –digitale Kommunikation zwischen max. 63 DV Geräten –Hochgeschwindigkeits serieller Bus (bidirektional) –dient der reinen Kommunikation ähnlich TCP/IP, keine Angaben zur Kodierung/Dekodierung Vorteile –digitale Kopien zwischen 2 Camcordern oder VTRs mit 1394 I/O Interface ohne Qualitätsverlust –linear editing ohne Qualitätsverlust möglich, keine Artefakte –Digitale Daten können von einem VTR oder einem Camcorder mit 1394 I/O Interface direkt in einen Computer übertragen werden. Es ist keine Digitalisierung erforderlich! –Günstiger Preis. Diese Schnittstelle wird in bereits vielen low- end DV-Kameras eingebaut und kostet wesentlich weniger als die professionelle Lösung, SMPTE 259M SDI (serial digital interface)

207 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate -Techn. Aspekte: 1394/FireWire 2 IEEE-1394 Steckernorm –2 geschirmte verdrillte Adernpaare (RX und TX) – Stromversorgung ( V, 1.5 A) – Gameboy Stecker – Datenraten: , , Mbps!

208 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate -Techn. Aspekte: 1394/FireWire 3 DVC 1394 Paket

209 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Sichtbare Phänomene 1 PIX Sampling in der Praxis 1 4:1:1 codiertes Bild

210 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Sichtbare Phänomene 2 Aufnahme mit VX /29.97 NTSC Mode 2 Pixel gleiche Farbe, da co-sited 4:1:1 Format 4:1:1 codiertes Bild (Detail)

211 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Sichtbare Phänomene 3 Aufnahme mit VX /50 PAL Mode 4:2:0 codiertes Bild (Detail)

212 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: PIX Artefakte 1 Allgemein Durch die Farbreduktion ergeben sich 3 Probleme: Mosquito Noise Quilting Motion Blocking –diese Effekte sind in der Regel kaum sichtbar –nur von Bedeutung beim Videoschnitt (Vergrößerung, Zeitlupe, Gamma Korrektur,...)

213 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: PIX Artefakte 2 Mosquito Noise 1 –Entstehung durch hochfrequente Bildanteile –Erkennbar durch Pixelrauschen an scharfen Kanten –nur innerhalb einer 8 x 8 Pixel Region –tritt in allen DCT orientierten Kompressionsverfahren auf, wie JPEG, DV oder MJPEG –Minderung dieser Artefakte durch Tiefpaß Filter => Weichzeichnen, Reduktion der Schärfe

214 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: PIX Artefakte 3 Mosquito Noise 2 Testbild, erzeugt mit Adobe Premiere 4.2

215 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: PIX Artefakte 4 Mosquito Noise 3 Testbild, erzeugt mit Adobe Premiere 4.2 (Detail)

216 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: PIX Artefakte 5 Quilting 1 –Entstehung durch Diskontinuität benachbarter DCT (8 x 8) Blöcke –Sichtbar an leicht diagonalen Linien –Effekt tritt vor allen bei langsamen Kamera-schwenks auf –Minderung durch Kontrastveringerung

217 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: PIX Artefakte 6 Quilting 2 4:1:1 codiertes Bild

218 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: PIX Artefakte 7 Quilting 3 Detailaufnahme (72 x 48 Pixel, 8 x 8 DCT Pfeile)

219 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: PIX Artefakte 8 Motion Blocking 1 –Entstehung durch getrennte Codierung der beiden Halbbilder => Codecs –tritt hauptsächlich bei PAL codierten Videos auf –Sichtbar bei schnell bewegten Objekten –Bild verliert in den ruhigen Flächen an Schärfe –Minderung durch höhere Verschlußzeiten der Blende => High Speed Shutter

220 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: PIX Artefakte 9 Motion Blocking 2 Aufnahme mit einer PAL DVCAM

221 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: DV Aussetzer & Fehler 1 Ursachen –Fehler werden hauptsächlich durch das Bandmaterial verursacht –Fehler kann nicht beseitigt werden, da nur error detection => fehlerhafte Stelle wird ausgelassen = Dropout Fehlerarten Dropout 32 x 8 Pixel Region defekt verdrecktes oder verknittertes Band Bandeffekt vorheriges Bild bleibt im Puffer stehen und wird angezeigt verschmutzte oder defekte Videoköpfe (1 Kopf liest falsche Daten)

222 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: DV Aussetzer & Fehler 2 Dropout 1 Dropout, aufgenommen mit einer VX1000 auf Sony MiniDV, 32 x 8 Pixel

223 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: DV Aussetzer & Fehler 3 Dropout 2 Dropout, aufgenommen mit einer VX1000 auf Panasonic MiniDV, (32 x 20) - (16 x 4) Pixel

224 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: DV Aussetzer & Fehler 4 Dropout 3 Multiple Dropout, bei einem Videokopf

225 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - Phänomene: DV Aussetzer & Fehler 5 Bandeffekt Bandeffekt, NTSC 525/60 Bild mit 10 Streifen

226 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate konkret 1 Klassifizierung

227 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate konkret 2

228 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate konkret 3

229 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate konkret 4 DVCPro 4:1:1 –Propritäres Format von Panasonic und Television Systems Co. –Benutzt Metallband mit einer Spurberite von 18 micron und einer Bandgeschw. Von 33,82 mm/sec –nicht kompatibel zu DV, aber MiniDV Kassetten –Neuere VTRs können beide Formate abspielen –Beide Längsspuren werden für audio cue und control tracks genutzt –Studioqualität –günstigere Versionen verfügen statt dem SDI über ein 1394/FireWire Anschluß –4 fache Datenübertragung zwischen VTRs oder Computern mit FireWire Anschluß –AJ-D200, VTR: AJ-D230

230 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate konkret 5 DVCPro 4:2:2 (DVCPro 50) –Weiterentwicklung der DVCPro –1/4 inch DV Metallbänder mit einer Bandgeschw. von 67,64 mm/sec –3,3:1 Kompression bei 4:2:2, gleich mit JVCs 1/2 inch Digital-S –DV ähnliches Format, jedoch Verdoppelung der Tracks pro Bild (bei NTSC statt 10 jetzt 20, bei PAL 24) –2 zusätzliche Videoköpfe erforderlich (4 Köpfe) –Datenrate: 50 Mbps –kompatibel zu dem alten DVCPro Format

231 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate konkret 6 DVCAM –Entwickelt von Sony für die industrielle Videoproduktion –nutzt DV ME Band und weicht nur mit der Trackbreite von 15 microns und der Bandgeschw. vom DV Format ab –Bandgeschwindigkeit: mm/s –durch die breitere Spur verkürzt sich die Aufnahmezeit einer 4.5 h Kassette auf 3 h –2 Mbit MIC zur Speicherung von 198 Szenen –4 fache Übertragungsgeschw. zwischen VTRs oder Computern mit FireWire –liest normale DV Bänder, aber keine DVCPRO –DSR-130, DSR-200, VTR: DSR-85 –DCR-VX800, DCR-VX1000, DCR-VX9000

232 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate konkret 7 Digital-S –Entwickelt von Japan Victor Corp. (JVC) –1/2 inch VHS Kassetten mit einer Spieldauer von max. 104 min –Kompression: 3.3:1 DCT 4:2:2 –2 Längsspuren für audio cue track und control track –einige Digital-S Recorder können auch SVHS Kassetten abspielen –Produktionskosten wurden gesenkt, da die Mechanik aus den VHS Videorekordern übernommen wurde –geringere Dropouts als bei den 1/2 inch Bändern

233 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate konkret 8 Betacam SX –Entwickelt von Sony –1/2 inch digitales Format –Spurbreite: 32 microns –benutzt MPEG-2 Kompression mit 4:2:2 –Auflösung: 720 x 512 (nicht 720 x 480!) –max. Datenrate: 50 Mbps –Standard Datenrate bei 18 Mbps für Satelliten Link –Einsatz für Broadcast ENG/SNG

234 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate konkret 9 Qualität Bewertung: 1 : Normales Video 10: Studioqualität (Subjektive Einschätzung von Adam Wilt et al.)

235 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - LSI Implementierung 1 Aufbau –LSI Entwurf von Matsushita Electric Ind. der Schaltkreise für das consumer DV –Einsatz in DVCPRO –Fähigkeit: einen 4:1:1 DV Datenstrom in einen 4:2:2 DV Datenstrom zu interpolieren –Audio I/O mit I2C Interface von Philips => IC erzeugt ein serial D-1 (SMPTE 259M) video und AES/EBU serial audio Signal zur Versorgung der digitalen Komponenten der DVCPRO –Integration des 1394 Interfaces –Verzögerung von 2 Bildern bei der Aufnahme und Wiedergabe des Audio/Videostroms

236 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - LSI Implementierung 2 Funktionsweise 1 –Application Layer shuffle/deshuffle compression/decompression der DV-Daten –Tape Format Layer Erzeugung der Reed-Solomon-Codes die Modulation/Demodulation für die Aufnahme/ Wiedergabeköpfe –DVC-BUS proprietären Bus, der die beiden Einheiten verbindet mit 8 Datenleitungen und 3 Kontrollsignalen BDEN (data enable) BDCK (data clock) BQUIET (data start)

237 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich DV Formate - LSI Implementierung 3 Funktionsweise 2 LSI Entwurf der DVCPRO

238 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Grundlagen 1.1 Videotechnik 1.2 Kompression 1.3 DV Formate + deren Eigenschaften 1.4 Quicktime

239 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Gliederung Was ist QT? Literatur Historie Bestandteile –Component Manager –Image Compression Manager –Movie Toolbox Movie Frontends –QT Viewer- QT Player (Pro) –QTVR Player

240 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Was ist QT? Ein Herstellerstandard (Apple). Architektur/Toolkit für multimediale Daten –unterstützt: - Standbilder - Graphik- Video- Sound - Sprites/ Animation - Text- MIDI - 3D -Tween - Timecode- VR –schließt ein: - Benutzerschnittstellen - Mediendienste (z.B. für Kompr.) - Datenformate - Abstraktionsschicht –Hardwareunabhängig - Plattformunabhängig - Erweiterbar Apple möchte: Postscript für Digitale Medien Alternativen anderer Hersteller : - AVI? - Real networks? Grundlage für MPEG-4 Standardisierung (?)

241 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Literatur Literatur: (Stand ) –QT Home Page; –QT Spezifikationen –QuickTime4 Fact Sheet –QuickTime4Pro Data Sheet –Die QuickTime Media Layer; Broschüre Apple 1996 –Flechtker, B.: QT 3.0/4.0; Vortrag im Kompress.Sem., (Veranstalter Dittrich), FBI, UniDo, SS 99

242 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Historie 1991 von Apple vorgestellt JPEG, Cinepak, mit multimedialen Daten 1992 QT 1.5 doppelte Geschwindigkeit, Kodak Foto Format 1994 QT 2.0 Videos erstmals Bildschirm-füllend, Videos in mehreren Sprach- versionen, MPEG I können ohne spezielle Hardware abgespielt werden QT 2.5 Midi, searchable Text Tracks QT 3.0 Sorenson Video Codec, Qdesign Music Compressor, Qualcomm Pure Voice 1999 QT 4.0 (final )

243 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime -Verfügbarkeit MacTeil des Betriebssystems PC3.1195/98 NT4.0 SGIIrix

244 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Bestandteile 1 auf Benutzerebene: –QT-Viewer: Standbilder –QT-Player: Movies, Sounds –QTVR-Player: Interaktive 3D-Movies auf Entwicklerebene: –Bietet: Datenbank, die Routinen registriert und Applikationen zur Verfügung stellt Routinen zum –Anfertigen, Editieren und Abspielen –Komprimieren und Dekomprimieren

245 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Bestandteile 2 QuickTime: (als) Systemerweiterung Bei Installation integriert es sich in das Betriebssystem und kann von beliebigen Anwendungen ohne extra Aufruf durch den Anwender im Hintergrund benutzt werden. –Toolbox: liefert Manager Manager sind Routinensammlungen, die vom Programmie- rer angesprochen werden stellen ihre Dienste anderen Managern oder Applikationen zur Verfügung erweiterbar durch Hinzufügen von Components bieten standardisierte Human Interfaces 3 wichtige Manager : –Component Manager - Image Compression Manager –Movie Toolbox

246 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Bestandteile 3 Component Manager –ist für das Verwalten von Geräten und Ressourcen (Components) zuständig, die jede Anwendung nutzen kann. Zudem unterstützt er gleichzeitigen Zugriff mehrerer Programme auf das gleiche Programm oder die Ressource. QT 3.0: 175 Components QT 4.0: over 200 media capabilities and components

247 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Bestandteile 4 Image Compression Manager (ICM) –ist für das Komprimieren und Dekomprimieren von Bilddatenmengen zuständig. –Geräte- und Treiber-unabhängig –verwaltet verschiedenste Kompressionsmodelle. (Für künftige Codecs offen!)

248 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Bestandteile 5 –Unterstützte Video Kompressoren (QT 4): –H H Animation - Apple BMP –Apple Video- Cinepak- Component video –DV NTSC and PAL - Graphics –Intel Indeo Video Microsoft RLE –Microsoft Video 1- Motion JPEG A + B –Photo JPEG - Planar RGB - Sorenson Video 1+2 –Unterstützte Sound Kompressoren (QT 4): –24-bit integer - 32-bit floating point –32-bit integer- 64-bit floating point –ALaw 2:1 - AU- IMA 4:1- MACE 3:1 –MACE 6:1- MS ADPCM –QDesign Music Qualcomm PureVoice

249 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Bestandteile 6 Movie Toolbox –Routinen für das Herstellen, Bearbeiten, Synchronisieren und Abspielen von Daten des Datentyps movie.

250 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 1 QT spielt ein movie:

251 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 2 Organi- sation eines movies Video Audio Poster Preview Tracks Zeitachse Beliebig viele Tracks Individueller Offset Alternate Group Searchable Text Tracks

252 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 3 Organi- sation eines movies 2 Track verweist über Pointer auf das Medium Medium enthält Rohmaterial Rohmaterial kann sowohl in der Resource Fork als auch in der Data Fork enthalten sein (nur auf Mac) 2Video Track Media

253 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 4 Datenstruktur eines movies: –Movie ist Baumstruktur, die aus Atomen (atoms) unterschiedlicher Hierachieebenen besteht –Atome können andere Atome enthalten –Jedes Atom enthält Informationen über Typ und Länge

254 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Movie 5 Atom eines movies: Movie atom Movie header atom Movie clipping atom User-defined data atom Track atom Clipping region atom Movie user data Track header atom Track clipping atom Clipping region atom Track matte atom Clipping region atom Edit atom Edit list atom Media atom Media header atom Media handler Reference atom Video media information atom Data information atom

255 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 6 Darstellung eines movies 1

256 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 7 Darstellung eines movies 2

257 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 8 Darstellung eines movies 3

258 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 9 Darstellung eines movies 4

259 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 10 Darstellung eines movies 5

260 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 11 Von QuickTime in Movies unterstützte Medientypen 1 –Video: MPEG, M-JPEG (jetzt hinreichend kompatibel zwischen verschiedenen Herstellern) und andere digitale Video- Standards, z. B. Cinepak,... DV (neu in QT 3.0) –Sprites: Graphikbausteine für Computerspiele –Sound: Musik, Geräusche, Töne - eben digitalisierte Schallwellen; mLAW-, IMA-Codecs.

261 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 11 Von QuickTime in Movies unterstützte Medientypen 2 –Music: für MIDI-Daten –Text: wird meist zum Untertiteln von Videos eingesetzt. – Graphiken –Animation: gerenderte, also bildweise berechnete Daten aus Animationsprogrammen –Quickdraw 3D: Apples 3dimensionaler Graphikstandard

262 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 12 Von QuickTime in Movies unterstützte Medientypen 3 – Tween: Art Steuerspur, um z. B. Quickdraw-Operationen wie Skalieren, Rotieren etc. auf Daten in anderen Spuren anzuwenden. –Time Code: auch nach dem SMPTE - Standard; (Society of Motion Picture and Television Engineers).

263 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 13 Anmerkungen 1 –Synchronisation der verschiedenen zeitbasierten Daten wird erreicht durch Verwendung von Spuren/Tracks in einem Zeitkoordinatensystem. ---> Parallelität von Datenströmen. –Bei Leistungsengpässen werden Bilder übersprungen. Ton wird solange wie möglich vollständig erhalten. Zeitbasis wird, wenn irgend möglich, eingehalten.

264 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime Quicktime - Movie 14 Anmerkungen 2 –QuickTime unterstützt Multiprocessing (erste Schritte). –Text in Textspur (z. B. für Untertitel) ist Text und kein Graphikoverlay. --> z.B. durchsuchbar. Gut für etwa Indizierung von Bild- oder Videokatalog. Codecs arbeiten asynchron zu QuickTime.

265 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Frontends 1 QuickTime Viewer –Für (Stand)bilder

266 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Frontends 2 QuickTime Player (Pro) 1 –Easy-to-use controls –New enhanced interface –Ability to save effects settings –Movie controller selection slider –Bass and treble controls –Balance control –Streaming media support –Ability to save movie favorites –Info tray

267 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Frontends 3 QuickTime Player (Pro) 2 –Import file formats 3DMF AIFF AU Audio CD Data (Macintosh) AVI BMP DV FlashPix* GIF JPEG/JFIF Karaoke MacPaint Macromedia Flash MIDI MPEG 1 MPEG 1, Layer 3(MP3) Photoshop* PICS PICT Pictures PNG QuickTime Image File QuickTime Movie SGI Sound Targa Text TIFF* Virtual Reality (VR) Wave

268 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Frontends 4 QuickTime Player (Pro) 3 –Export file formats AIFF AU AVI BMP DV Stream FLC Image Sequence movie exporters JPEG/JFIF MacPaint MIDI Photoshop PICT Picture PNG QuickTime Image QuickTime Movie SGI System 7 Sound Targa Text TIFF WAV

269 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Frontends 5 QuickTime Player (Pro) 4 –Video effects Alpha gain Blur Color balance Color style Color tint Edge detection Emboss Film noise General convolution Lens flare HSL balance RGB balance Sharpen Zoom

270 Kapitel 1: GrundlagenSpV "Desktop Video"Prof. Dr. G. Dittrich Quicktime - Frontends 6 QuickTime VR (Teil vom QT Player) –Softwarelösung zur Erstellung und Erkundung virtueller Welten. – Unterschied zum Videofilm: Benutzer steuert seinen Blick (via Maus) selbst. –2 Techniken: Panoramavideotechnik: –360 Grad Rundumblick wird durch "Vernähen" von Fotos erzeugt. Object-Video-Technologie: –Erlaubt interaktive Untersuchung von Objekten. –Läßt das Objekt sich vor den Augen des Benutzers um 360 Grad drehen. –Personen und Objekte anklickbar (Hot Spots).


Herunterladen ppt "Desktop Video SPV 2 SWS SS 99 Gisbert Dittrich FBI Unido"

Ähnliche Präsentationen


Google-Anzeigen