Desktop Video SPV 2 SWS SS ‘99 Gisbert Dittrich FBI Unido

Desktop Video SPV 2 SWS SS ‘99 Gisbert Dittrich FBI Unido

1. Grundlagen 1.1 Videotechnik 1.2 Kompression
1.3 Formate + deren Eigenschaften 1.4 Quicktime

1.1 Videotechnik Das menschliche Auge Grundlagen zu Signalen
Schwarzweißfernsehen Farbfernsehen Videotechnik im Rechner

1.1 Videotechnik - Das menschliche Auge
Menschliches Auge ist Rezeptor für Bilder. Bildet Randbedingungen für das Folgende. Auge: ortsabhängiges Auflösungsvermögen optischer Tiefpaß: nur begrenztes Vermögen, Kanten (ﬂ hohe Frequenz) aufzulösen. Bewegtbildauflösung: ab ca. 16 Bilder pro Sekunde Flimmereffekt: bei ≤ 50 Bilder/sec: periodische Schwankung der Helligkeitsempfindung

1.1 Videotechnik - Grundlagen zu Signalen 1
- Darstellung über Wellen Modulation - Signale: Amplitude, Frequenz, Phase

Modulation Jede Art der Beeinflussung einer charakteristischen Größe (Amplitude, Frequenz, Phase) von meist höherfrequenten, ungedämpften periodischen Vorgängen, im engeren Sinne von elektromagnetischen [Hochfrequenz]wellen bzw. -schwingungen, Lichtstrahlen oder Impulsfolgen zum Zwecke der Übertragung von Signalen oder Nachrichten ...

Beispiele: • Amplitudenmodulation

Frequenzmodulation

Quadraturmodulation: Betrachte Trägerfrequenz und eine um 90 Grad phasenverschobene Variante derselben. Führe Amplitudenmodulation zweier Teilsignale auf diese Träger durch. Summiere diese beiden zu einem neuen Signal auf.

Beispiel für Diskretisierung einer kontinuierlichen Funktion:

Lehrsatz der Informationstheorie: Abtasttheorem: (zitiert nach Meyers Enzyklopädischem Lexikon) Ist ein Signalstrom durch eine kontinuierliche Funktion f(t) gegeben und wird diese Funktion durch Abtasten in bestimmten Zeitintervallen Dt in eine aus diskreten Impulsen bestehende Funktion zerlegt, so läßt sich aus dieser Impulsfunktion die ursprüngliche Funktion ohne Informationsverlust wiedergewinnen, wenn für die Bandbreite B gilt: Dt < 1/(2B). Oder: Abtastrate 1/Dt > 2B.

Bandbreite: Differenz zwischen größter und kleinster Frequenz in einem zusammenhängenden Bereich von Schwingungen unterschiedlicher Frequenzen. In Nachrichtentechnik: Breite eines Frequenzbandes zwischen zwei Grenzfrequenzen, für die die übertragene oder von einem Bandfilter hindurchgelassene Leistung auf die Hälfte, die Spannung auf das 0,71fache abfällt; wird absolut in Hz oder relativ (auf die mittlere Frequenz bezogen) angegeben.

1.1 Videotechnik - Schwarzweißfernsehen 1
Darstellung von Helligkeit : Luminanz Zeilensprungverfahren (Schema)

in Europa: 625 Zeilen, Breite:Höhe = 4:3 also 833 Punkte pro Zeile

Extreme Übergänge schwarz-weiß-schwarz:

BAS-Signal (Schema) [Bild -Austast -Synchronsignal]

Abschätzungen zum BAS: Für 25 Bilder/sec: Zeilendauer: 64ms (= 40ms/625 Zeilen) Abtastfrequenz: 13,5 MHz, Zeilenfrequenz (1/64ms=) KHz Videobandbr. max: 6,75 MHz; fakt.: 5/5,5 MHz zudem: "Schwebungseffekte erzeugen unvernünftige Bilder" --> Kell-Faktor: 0,64 (0,67) --> Vertikale Auflösung von 400 Zeilen

Amplitudenmoduliertes Videosignal:

1.1 Videotechnik - Farbfernsehen 1
Erste Grundidee: Zusammensetzen aus z. B. RGB Komponentenkodierung: Betrachtet die Bestandteile der Videoinformation getrennt voneinander. z. B. Synchronisation extra Verschiedene Arten: RGB Grundfarben werden angegeben Oder: Herausziehen der Luminanz Y: YUV Luminanz (Leuchtdichte) [braucht man für SW-Fernseher] Chrominanz (Farbinformation)

Bestimmung von YUV aus RGB: Y = 0.30 R G B U = (B-Y) * 0.493 V = (R-Y) * Analoge Behandlung für YIQ - Signal (verwendet für NTSC) I = 0.60 R G B Q = R G B - Randbedingung (historisch): Als Erweiterung zum SW- Fernsehen, d.h. zum BAS-Signal

FBAS - Signal : Farb - Bild - Austast - Synchronsignal - Die oben angegebenen Komponenten werden zu einem Signal kombiniert. - Dies ist einfacher, jedoch bedeutet das: Chrominanz und Luminanz können sich stören.

Verschiedene Fernsehnormen NTSC National Television Systems Committee (Amerika) Bildwechselfrequenz: 30 Hz Bild aus 525 Zeilen verwendet Quadraturamplitudenmodulation SECAM Sequential Coleur avec Memoire (Frankreich, ...) Bildwechselfrequenz: 25 Hz Bild aus 625 Zeilen verwendet Frequenzmodulation PAL Phase alternating line (Deutschland, Bruch 1963) Bildwechselfrequenz: Halbbilder 50 Hz Grundprinzip: Quadraturamplitudenmodulation

Bandbreite des FS-Signals (auch SW-FS)

1.1 Videotechnik - Farbfernsehen 5a
Ergänzende Literatur: Conventional Analog Television - An Introduction

Fernsehen der Zukunft: (?) D2-MAC: Duobinary Multiplexed Analog Components Komponentenverfahren! 2 hochwertige Stereo- resp. 8 Kanäle niederer Güte für Audio. (wohl überholt !!!) HDTV: High Definition Television in Europa: Übertragungsverfahren HD-MAC (HD = High Definition) Höhere Datenrate: gegenüber PAL * 5.33 (überprüfen!!) absolut: 1,152* 109 bit/s durch Datenkompression Reduktion auf 34 Mbit/s (" ohne merklichen Qualitätsverlust")

HDTV (Fortsetzung) wird unterschieden in: Studiostandard Produktionsstandard Übertragungsstandard Reproduktionsstandard übergeordneter Standard HDP (P = Progressiv)

1.1 Videotechnik - Farbfernsehen 7a
Ergänzende Literatur: (Stand ) HDTV Television - An Introduction HDTV (High Definition Television) High Definition Television

HDTV-Entwicklungen: HD-MAC Europa 1250 Zeilen , 50 Halbbilder, Bildwiederholfrequenz: 100 MUSE Japan 1125 Zeilen 60 Hz (seit ´92 auf Sendung, gar keine Kompatibilität) NTSC 1050 Zeilen, 59,94 Hz

Digitales Fernsehen (gemäß beschlossener Normen) Geschlossene Kodierung (denkbar) BAS-Signal: 2 x 5MHz x 8bit = 80Mbit/sec FBAS-Signal: 4 x 4,43MHz x 8bit = 141 Mbit/s Datenrate Probleme: -Übersprechen, -Norm-abhängig, -Abtastfrequenz +Datenreduktion nicht komponentenabhängig, Weitere Störungen Komponentenkodierung: 4:2:2 Kodierung Luminanz wird höher gewichtet: Behandlung von Y (Luminanz) mit 13.5 MHz, R-Y und B-Y je mit 6.25 MHz. Je zu 8 bit pro Abtastwert. --> Multiplexen.

Komponentenkodierung (Fortsetzung) Erfordert 216 Mbit/sec (= 28,25 Mbyte) Datenrate. Paßt nicht in herkömmliche PCM-Hierarchie. Daher Substandards mit niedrigerer Datenrate: 1:(5/6,5/6)-->180Mbit/sec 2:(3/4,1/2)--> 135Mbit/sec 3:(2/3,1/3)--> 108Mbit/sec Weitere Reduktionen möglich.

1.1 Videotechnik - Videotechnik im Rechner 1
Fast nie mit Zeilensprungverfahren ( Ausnahme: Amiga) Bildwechselfrequenz ca. ≥ 70 Hz, daher flimmerfrei. Farben über CLUT (Color LookUp Table) Anzahl der verwendbaren Farben n << m Anzahl aller darstellbaren Farben. Einige "Standards "(v.a. alte): CGA Color Graphics Adapter Bildgröße: 320*200 Pixel Anzahl der verfügbaren Farben: 4 Aufwand zur Darstellung eines Bildschirminhaltes: 320*200 Pixel*(2bit/Pixel)/(8bit/byte) = byte

EGA Enhanced GraphicAdapter Bildgröße: 640*350 Pixel Anzahl der verfügbaren Farben: 16 Aufwand zur Darstellung eines Bildschirminhaltes: 640*350Pixel*(4bit/Pixel)/(8bit/byte) = byte VGA Video Graphics Array Bildgröße: 640*480 Pixel Anzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(8bit/Pixel)/(8bit/byte) = byte 8514/ A Display Adapter Mode Bildgröße: 1024*768 Pixel Anzahl Farben: 256 Aufwand zur Darstellung eines Bildschirminhaltes: *768Pixel*(8bit/Pixel)/(8bit/byte) = byte

XGA Extended Graphics Array Bildgröße: 640*480 Pixel Anzahl der verfügbaren Farben: 65536 Aufwand zur Darstellung eines Bildschirminhaltes: 640*480Pixel*(16bit/Pixel)/(8bit/byte) = byte Letztere erfordern hohe Datenraten (v.a. für Bewegtbilder!) Also: Kompressionsverfahren nötig !

1.3 Formate + deren Eigenschaften 1.4 Quicktime

1.2 Kompression Motivation Kompressionsverfahren
Anforderungen an Kodierungen Kodierungen Klassifikation der Kodierungs- und Kompressionsverfahren Grundlegende Verfahren JPEG H. 261 MPEG

1.2 Kompression - Motivation 1
Zur Motivation von Datenkompression Beispielrechnungen für typische Werte: - Abkürzungen: 1kbit = bit Kbit = 210 bit = bit - Analog für Mbyte: Mbit = 210 *210 bit = 1.024*1.024 bit Speicherplatzbedarf: = Anforderung an Speicherplatz , wenn je ein Bildschirminhalt resp. je ein Datenstrom pro Sekunde unkomprimiert dargestellt wird:

Je ein Bildschirminhalt Text Annahme: je Zeichen der Größe 8*8 Pixel sind 2 Byte nötig. Zeichen je Bildschirmseite: 640*480/(8*8) = Speicherplatzbedarf: 4800*2 = 9600 byte = 9,4 Kbyte Vektorbilder Annahme: typisches Bild besteht aus 500 Geraden, Koordinate in x-Richtung : 10 bit, Koordinate in y-Richtung : 9 bit, Attributvektor pro Gerade: 8 bit Bit je Linie: ( ) bit = 46 bit Speicherplatzbedarf: 500*46/8 byte = 2875 byte = 2,8 Kbyte

Je ein Bildschirminhalt (Fortsetzung) Pixelbild Annahme: 256 Farben, d.h. 1byte pro Pixel Speicherplatzbedarf: 640*480*1 byte = byte = Kbyte Von hier ab: Platzbedarf für je eine Sekunde Sprache in Telefonqualität Annahme: Abtastung mit 8kHz, quantisiert mit 8 bit Datenstrom: 64 Kbit/s Speicherplatzbedarf: 8 Kbyte

Platzbedarf für je eine Sekunde (Fortsetzung) Stereo-Audiosignal in CD-Qualität Annahme: Abtastung mit 44,1 kHz, quantisiert mit 16 bit Datenstrom: 2*44100* 16/8 byte/s = byte/s Speicherplatzbedarf: 172 Kbyte Videosequenz Annahme: 25 Vollbilder pro Sekunde Luminanz und Chrominanz zusamm. mit 3 byte pro Pixel Luminanz Y mit 13,5 MHz, Chrominanz (R-Y sowie B-Y) mit 6,75 MHz. 8 bit-gleichförmige Kodierung: (13,5 MHz + 2*6,75 MHz) * 8bit = 216*106 bit/s (entspricht ca. 27 MByte/s)

Videosequenz (Fortsetzung) Datenrate: 640*480*25*3 byte/s = byte/s Speicherplatzbedarf: Kbyte = 21, 97 Mbyte Datenübertragungsraten von ungefähr 140 (175,78) Mbit/s. ’ Heute nicht kostengünstig realisierbar Kontinierliche Medien erhöhen die Anforderungen an das System erheblich! Durch Kompressionsverfahren "erheblich" reduzierbar.

1.2 Kompression - Kompressionsverfahren
, die immer wieder genannt werden: JPEG für Einzelbilder (Joint Photographic Expert Group) MJPEG [H.261(px64) für Videosequenzen mit geringer Auflösung] MPEG für Bewegtbilder als auch Audio (Motion Picture Expert Group) [DVI für Einzelbilder und kontinuierliche Medien (Digital Video Interactive)]

1.2 Kompression - Anforderungen an Kod. 1
1. Gute Qualität nach Kodierung - Dekodierung 2. Verfahren möglichst einfach 3. Symmetrisch in Aufwand für Kompression-Dekom-pression z. B. für Dialogsysteme (Bildübertragung, Videoconferencing, ..) etwa: Ende-zu-Ende Verzögerung ≤ 150 msec ( z. B. px64) 4. Kompression mit hohem Aufwand - Dekompression schnell z. B. für Abfragesysteme (audiovisuelle Auskunftssysteme, ...): einmal komprimieren, häufig dekomprimieren, möglichst in Echtzeit (z.B. DVI)

sollen erfüllen: Formal unabhängig von Bildschirmgröße/ Bildwiederhol-frequenz zu definieren verschiedene Datenraten für Audio/Video Audio/Video exakt synchronisierbar, auch mit anderen Medienobjekten kostengünstig, möglichst Software Kooperation von unterschiedlichen Systemen ’ Standards : de jure - de facto

4. soll insbesondere erfüllen: schneller Vor- /Rücklauf bei Anzeige der Daten wahlfreier Zugriff auf Einzelbilder ≤ 0.5 sec Dekompression von Einzelbildern/Videosequenzen direkt, d.h. ohne Zugriff auf "vorherige" Daten möglich. ’ Editieren nach wahlfreiem Zugriff möglich.

1.2 Kompression - Kodierungen 1
Grobe Einteilung: Entropiekodierung: verlustfrei (Entropie: mittlerer Informationsgehalt einer Zeichenmenge) Quellenkodierung:meist verlustbehaftet nutzt Semantik der Daten, bzgl. des Kompressionsgrades abhängig vom Medium. Kanalkodierung (hier weggelassen) hybride Kodierung

Wesentliche Schritte der Datenkompression für Audio und Video (am Beispiel Einzelbild formuliert):

Schritte der Datenkompression (Fortsetzung) 1. Bildaufbereitung z. B. Zerlegung in Blöcke von je 8x8 Pixel mit n Bit Beschreibungstiefe pro Block/Pixel 2. Bildverarbeitung erzeugt geeignete digitale Darstellung (verschiedenste Verfahren) 3. Quantisierung erzeugt Verlustbehaftung 4. Entropiekodierung Bearbeitet linearen Datenstrom; verlustfreie Kompression! (2. und 3. können mehrfach iterativ durchlaufen werden). Dekompression läuft invers.

1.2 Kompression - Klassifikation K&Kverf 1
(wichtig für unseren Kontext; Verfahren werden im folgenden z. Teil erläutert) Entropiekodierung Lauflängenkodierung Huffman-Kodierung Arithmetische Kodierung Quellenkodierung Prädiktion: DPCM DM Transformation: FFT DCT nach Wichtigkeit, "Layered Coding": Bitposition • Unterabtastung Subband Kodierung Klassifikation der Kodierungs- und Kompressionsverfahren

1.2 Kompression - Klassifikation K&Kverf 2
Vektor-Quantisierung Hybride Kodierung JPEG MPEG px64

1.2 Kompression - Grundlegende Verfahren 1
Vorbemerkung Hybride Verfahren verwenden unterschiedliche grundlegende Verfahren. Gemäß den Fähigkeiten/Eigenschaften der Sinnesorgane: unterschiedliche Gewichtungen für verschiedene Attribute, z. B. Helligkeit hohes Gewicht, Farbe niedrigeres Gewicht.

Lauflängenkodierung Voraussetzung: Bytestrom wird übertragen. Bei häufigen Wiederholungen von Bytes: Angabe des Bytes + Anzahl des Vorkommens. (Unter Verwendung von M(arkierungs)-Bytes, z. B. "!“ Wenn mindestens 4 Bytes gleich, dann wird gezählt. Damit gleiche in 3 Bytes kodierbar. Beispiel ( in vereinfachter Darstellung ) : Unkomprimierte Daten : a!bbbcccccccccd Lauflängenkodierung : a! !bbb!c5d

Nullunterdrückung (Spezialfall der Lauflängenkodierung) Nur ein spezielles Zeichen wird potentiell gezählt. Ab gleiche Bytes so auf 2 Bytes reduzierbar. Variationen möglich. Vektorquantisierung (vereinfacht:) Zerlegt Datenstrom in Blöcke zu je n Bytes. Verwendet Tabelle mit Mustern als Einträgen. Suche Muster, das gegebenen Block am besten approximiert . Block erhält Index(vektor) des zug. Musters aus dieser Tabelle zugeteilt.

Beispiel zur Vektorquantisierung: Tabelle für Blöcke (hier durch 3 Dezimalziffern dargestellt) ´24´,´801´ komprimiert ergibt z.B. (1,1), (6,4), dekodiert:´10´,´794´ Dimension 1 Dimension 2 Aufwand: Ziffern: 12 bit ‚Vektor‘: 3 +2 bit

Weitere Verfahren (Static) Pattern Substitution Ersetzt häufige Muster durch einzelne Bytes. (Z.B. BEGIN in Progspr.) Häufig durch Approximation (z.B. für Bilder. ﬂ Vektorquantisierung) Anmerkungen: M- Bytes benutzen benötigt eine vorher bekannte Codetabelle schwierige Musterfindung bei Einzelbildern und Audiodaten

Diatomic Encoding Variante von Static Pattern Substitution: Zusammenfassung je zweier Datenbytes. Z.B. für englisch: 8 häufigste Paare: 'E ', 'T ', 'TH', ' A', 'S ', 'RE', 'IN', 'HE' (Vorsicht: Leerzeichen!) Allein Ersetzung dieser durch spezielle Bytes, die sonst nie auftreten ’10% Ersparnis.

Dynamic Pattern Substitution Grundidee wie Static Pattern Substitution Erstellung der Codetabelle aber zur Laufzeit Problem Erkennung der besten Muster Beispiel: Unkomprimierte Daten : ABCDEABCEEABCEE Komprimierte Daten : ABCDE11 Tabelleninhalt : 1=ABCEE Implementierung Lempel-Ziv Encoding: in vielen Programmen eingesetzt

Lempel-Ziv Encoding 1 Grundideen Codetabelle wird während der Kompression erzeugt jede neue Folge von Bytes in der Codetabelle aufnehmen Kompression sei #i der i-te Index und W der Inhalt von einem Fenster Pseudocode 1.) Codetabelle initialisieren mit Alphabet 2.) Fenster = [ W ] mit W = leer 3.) Falls ein Zeichen K vorhanden ist, dann Fenster = [ WK ] Sonst Index von W ausgeben und Programm beenden 4.) Falls Fensterinhalt in der Codetabelle, dann W = WK, 3.) Sonst füge WK in die Codetabelle ein, Index von W ausgeben, setze W = K und springe zu Punkt 3.)

Beispiel für Lempel-Ziv Kodierung : Alphabet = { A,B,C } - Originaldaten : ´ABABAAA´ Lempel-Ziv Kodierung : ´#1 #2 #4 #1 #7´

Lempel-Ziv Kodierung 3 Anmerkungen keine explizite Übertragung der Codetabelle Tabellengröße bestimmt Kompressionsgrad und Geschwindigkeit wächst schnell Speicherplatzprobleme, Index wird zu groß erfordert erneute Initialisierung

Lempel-Ziv Kodierung 4 Dekompression inverses Verfahren der Kompression Aufbau der Codetabelle sortiertes Alphabet initialisiert die Codetabelle beim ersten dekomprimierten Index passiert nichts sonst das vorherige dekodierte Codewort plus erstes Zeichen von dem neuen dekodierten Codewort einfügen

Lempel-Ziv Kodierung 5 Sonderfall Problem : verspäteter Aufbau der Tabelle um einen Schritt  letzter Eintrag aus der Codetabelle wurde benutzt  erster Buchstabe des dekodierten Codewortes wird benötigt  Anfang des zuletzt dekodierten Codewortes ist gleich dem Anfang des neuen  letzter Buchstabe = erster Buchstabe

Statistische Kodierung Zeichen können unterschiedlich lang kodiert werden. häufig vorkommende Zeichen werden kurz, selten vorkommende Zeichen werden lang kodiert. wichtig: Eindeutige Dekodierung muß möglich sein. Beispiele: Huffman, Arithmetische Kodierung (s.u.). Huffman Kodierung Gegeben: Zeichen mit Wahrscheinlichkeit/ (relative) Häufigkeit ihres Auftretens. Darstellung: Kodierung mit minimaler Anzahl benötigter Bits über binären Baum. Prefix Code: - variable Symbollänge kein Codewort ist Prefix eines anderen

Beispiel (zu Huffman) : Zahl = Anzahl des (relativen) Auftretens des Zeichens p(A) = 10, p(B) = 30, p(C) = 5, p(D) = 8, p(E) = 6 ’ p(CE) = 11, p(AD) = 18, p(ACDE) = 29, p(ABCDE) = 59

Beispiel (zu Huffman, Fortsetzung) : ’ Kode: w(A) = 011, w(B) = 1, w(C) = 000, w(D) = 010, w(E) = 001 Ersichtlich eindeutige Kodierung, da alle Zeichen an Blättern stehen. Beispiel: ’ABBAC’ wird kodiert durch: Bei "üblicher" 3bit-Kodierung: 15 Bit nötig. Hier nur : 11 Bit nötig. In unserem Kontext: Tabelle für jedes Einzelbild oder für mehrere Einzelbilder resp. für eine Sequenz oder Menge von Sequenzen. Dieselbe Tabelle braucht man für Kodierung und Dekodierung.

Arithmetische Kodierung 1 Motivation Huffman- Kodierung liefert keine ausgeglichenen Bäume Beispiel ein Zeichen kommt zu 90% vor ein Bit benötigt bereits zuviel Speicherplatz Grundidee eine Zeichenkette entspricht einem Intervall zwischen [0..1] eine Zahl aus dem Intervall repräsentiert die Zeichenkette die Auftrittswahrscheinlichkeit bestimmt die Intervallgröße anfängliche Festlegung Reihenfolge • Auftrittswahrscheinlichkeiten • Intervalle

Arithmetische Kodierung 2 auch optimale Kodierung (wie Huffman). kodiert Zeichen immer unter Berücksichtigung aller vorangegangenen Zeichen ’ wahlfreier Zugriff nicht möglich.

Arithmetische Kodierung 3 Kodierung: Beispiel: sei low( i ) = untere Intervall grenze des i-ten Zeichens high( i ) = obere Intervall grenze L = 0 und H = 1 für alle Zeichen i = {1..n} berechne : L = L + ( H - L ) ·low( i ) H = L + ( H - L ) ·high( i ) // ( alten L-Wert benutzen ) wähle eine Zahl zwischen L und H

Arithmetische Kodierung 4 Beispiel: ´ACB´ entspricht einer Zahl aus [0,12..0,15[ z.B 0.13

Arithmetische Kodierung 5 Zeichen werden nicht einzeln sondern ganzer String wird kodiert ’ Anzahl der komprimierten Zeichen Länge vorher übergeben Endezeichen Eigenschaften kein zufälliger Zugriff möglich Kompressionsrate ungefähr wie bei der Huffman Kodierung

Transformationskodierung transformiert Daten in anderen mathematischen Raum, in dem (hoffentlich) besser kodiert werden kann. z.B.: Diskrete Kosinustransformation DCT (vgl. später JPEG) Wavelets Fouriertransformation FFT

Subbandkodierung nur selektive Frequenztransformation Qualitätskriterium: Anzahl der Bänder gut zur Kompression von Sprache Prädiktion/relative Kodierung Grundidee: Kodierung von Differenzen von Bytes resp. Bytefolgen Beispiele: 1. ein Bild: Kanten fl große Differenzwerte für Luminanz/ Chrominanz Flächen fl kleine Differenzwerte homogene Fläche fl viele Nullen ’ Lauflängenkodierung

Prädiktion/relative Kodierung (Fortsetzung) Beispiele (Fortsetzung) 2. Bilder über der Zeit: Bewegtbilder: beschrieben durch Differenz eines Bildes zum vorherigen. z. B. Nachrichtensendung/Bildtelefon: Hintergrund weitgehend gleich. Bewegungskompensation über Bewegungsvektor möglich. 3. in Audiotechnik: Differential Puls Code Modulation (DPCM) Folge von PCM-kodierten Abtastwerten werden dargestellt durch - erster Abtastwert durch volle Beschreibung - für die nachfolgenden durch Differenz zum vorherigen Wert.

Delta Modulation Variation von DPCM Kodierung der Differenzwerte durch genau 1 bit. (kleine Differenzen sind dadurch sinnvoll beschreibbar.) ! DIFFERENZBILDUNG ist wesentliches Merkmal aller im Multimedia-Bereich eingesetzten Verfahren!

Adaptive Kompressionsverfahren Bisherige Verfahren: gut in bestimmtem Kontext untypische Folgen von Zeichen ﬂ keine Kompression. Adaptive Verfahren: lassen Anpassung des Verfahrens an zu komprimierende Daten zu. Grundidee: Kodierungstabelle (etwa nach Huffman) durch Zähler je Eintrag für Vorkommen erweitern. Die Zuordnung der Kodewörter durch Anderung gemäß der Häufigkeit der Vorkommen (Zählereinträge!) anpassen! ’ Die häufigst erscheinenden Zeichen werden dann immer am kürzesten kodiert.

Adaptive Verfahren (Fortsetzung) Beispiel: Adaptive DPCM (ADPCM, häufig auch nur DPCM). wenige Differenzbits beschreiben: wenige große Differenzen -> hohe Frequenzen wenige kleine Differenzen -> niedrige Frequenzen Fehler in diesem Kontext: Slope overload - Änderung der Faktoren adaptiv möglich. --> nicht geeignet für z.B. Audio mit sich häufig ändernden Anteilen; jedoch: CCITT: für Telefonie ADPCM: 8kHz Abtastfrequenz, 4 bit pro Abtastwert.

Weitere grundlegende Verfahren: Farbtabellen Stummschaltung: Daten werden nur kodiert, wenn der Lautstärkepegel bestimmten Schwellwert überschreitet.

1.2 Kompression - JPEG 1 (Gliederung)
Anforderungen an JPEG Übersicht:Schritte im JPEG-Kompressionsverfahren Bildaufbereitung (für alle Modi) Bildverarbeitung im 1. Modus (FDCT) Quantisierung Entropiekodierung Erweiterter, verlustbehafteter DCT-basierter Mode Verlustfreier Mode Hierarchischer Mode Zur Qualität

1.2 Kompression - JPEG 2 (Joint Photographic Expert Group)
J, da 2 Kommissionen beteiligt waren, wohl 1992 veröffentlicht für farbige und grauskalierte Standbilder auch für Bewegtbildsequenzen, dann M(otion)JPEG als Software oder mit spezieller Hardwareunterstützung verfügbar. Vorsicht: z. Teil nur ein Teil von JPEG kommerziell erhältlich ("Basismode")

1.2 Kompression - JPEG 3 Anforderungen an JPEG: Unabhängigkeit
von der Bildgröße von Höhe zu Breite - eines Bildes - eines Pixels. der Farbvielfalt vom verwendeten Farbraum von der Komplexität des Bildinhalts von den statistischen Eigenschaften des Bildinhalts Aktueller Stand bzgl. des Kompressionsgrades und der erreichbaren Bildqualität (nahezu) zu erreichen. Softwarelösung sollte auf (möglichst vielen) Standardprozessoren laufen.

1.2 Kompression - JPEG 4 Anforderungen an JPEG (Fortsetzung 1)
Hardwarelösung sollte Komplexität der Verarbeitung drastisch reduzieren. Beim Dekodieren mögliche Alternativen unterstützen: sequentiellen Bildaufbau progressiven Bildaufbau (Bild wird erst nur grob, dann immer feiner gezeigt.) verlustfreie Dekodierung Kodierung mit unterschiedlichen Auflösungen desselben Bildes.

1.2 Kompression - JPEG 5 Anforderungen an JPEG (Fortsetzung 2)
’ obige "Parametrisierbarkeit" läßt Wahl zu unter: Qualität des reproduzierten Bildes Dauer der Kompression Größe des komprimierten Bildes Möglichkeit: nur Kodierer oder Dekodierer nötig Austauschformat nach JPEG: Parameter + Tabellen des Kodierprozesses (Manchmal nur als "abbreviated Format", wenn gewisse "Meta"daten aus dem Kontext schon bekannt) Bilddaten

1.2 Kompression - JPEG 6 Übersicht:Schritte im JPEG-Kompressionsverfahren

1.2 Kompression - JPEG 7 JPEG-Modi: 1. Baseline Process, Basis Mode
verlustbehafteter, sequentieller DCT-basierter Mode (muß von jedem JPEG-Decoder unterstützt werden.) 2. Erweiterter verlustbehafteter DCT-basierter Mode stellt Menge von Alternativen zur Verfügung. 3. Verlustfreier Mode --> verlustfreie Reduktion; geringerer Kompressionsfaktor 4. Hierarchischer Mode liefert mehrere, unterschiedliche Auflösungen pro Bild verwendet Algorithmen aus 1.-3.

1.2 Kompression - JPEG 8 Bildaufbereitung (für alle Modi)
Zu beantwortende Frage: Wie wird ein (unkomprimiertes) Bild beschrieben und zur Verarbeitung in Teilinformationen zerlegt ? Nach obigem: Viele Parameter offen, jedoch werden folgende Voraussetzungen an die Beschreibung des unkomprimierten Bildes gestellt: Ein Bild besteht aus N Ebenen/Komponenten Ci 1≤i≤N, 1≤N≤255.

1.2 Kompression - JPEG 9 Bildaufbereitung
(für alle Modi; Fortsetzung 1) Pro Pixel: p bit Beschreibungstiefe p = 8, 12, falls verlustbehafteter Modus 2≤ p ≤ 12 , falls verlustfreier Modus. Ansonsten vorweg Transformation in eine solche Darstellung.

1.2 Kompression - JPEG 10 Bildaufbereitung (für alle Modi; Fortsetzung 2) Für 1≤i≤N: Xi Spaltenzahl, Yi Zeilenzahl. Beispiel 1: Beispiel 2: Homogene Auflösung Heterogene Auflösung der Ebenen der Ebenen

1.2 Kompression - JPEG 11 Bildaufbereitung (für alle Modi; Fortsetzung 3) Konkrete Notation eines Bildes durch : (N, p, y, x, Vmax, Hmax, (i, Vi, Hi) 1≤i≤N), wobei: x := Min i = 1,.., N Xi , y := Min i = 1,.., N Yi (X := Max i = 1,.., N Xi , Y := Max i = 1,.., N Yi) Hi := Xi/x; Vi := Yi/y (Hmax := Max i = 1,.., N Hi , Vmax := Max i = 1,.., N Vi) Dabei Voraussetzung: 1≤Hi ,Vi≤4 für Hi, Vi¿§ Festlegung: Dateneinheit: 1 Pixel, falls verlustfreier Modus Block aus 8*8 Pixel, falls ein verlustbehafteter Modus

1.2 Kompression - JPEG 12 Bildaufbereitung (für alle Modi; Fortsetzung 4) Verarbeitung: nicht über Ebenen verschachtelt: über Ebenen verschachtelt (Interleaving): Problem: zusammengehörige Informationen sind zu verarbeiten, trotz evtl. unterschiedlicher Auflösung der verschiedenen Ebenen. führt zum Begriff der MCU: Minimum Coded Units

1.2 Kompression - JPEG 13 Bildaufbereitung (für alle Modi; Fortsetzung 5) Beispiel: Vorgehen: Zerlege jede Komponente/Ebene in Regionen, so daß die Anzahl der Regionen für jede Ebene gleich groß ist. Die jte MCU enthält jeweils die jte Region der Ebene i (für 1≤i≤N).

1.2 Kompression - JPEG 14 Bildaufbereitung (für alle Modi; Fortsetzung 6) Für JPEG gilt: Jede MCU erfüllt: Maximal 4 Komponenten können derart verschachtelt kodiert werden maximal 10 Dateneinheiten können enthalten sein. (Ende Bildaufbereitung für alle Modi.)

1.2 Kompression - JPEG 15 Bildverarbeitung im 1. Modus (FDCT)
Überblick: unkomprimiertes Bild wird in Dateneinheiten zu je 8*8 Pixel zerlegt p = 8 [bit]

1.2 Kompression - JPEG 16 Bildverarbeitung 1. Modus(FDCT) (Fortsetzung1) Bildverarbeitung für je 8x8 Pixel: (F)DCT: Diskrete Cosinus Transformation Beschreibe dazu 8*8 Pixel so: Verschiebe Wertebereich von [0,255] nach [-128, 127] Dann gilt: Pixelwerte syx aus [-128, 127] für 0≤x,y≤7 Wende darauf FDCT (Forward DCT) an: Svu = (1/4) cu cv S x= 0,.., 7 S y= 0,.., 7 syx cos((2x+1)up/16) cos((2y+1)vp/16) mit cu,cv = 2-1/2 für u,v =0 , sonst cu, cv = 1 für u,v e [0,7].

1.2 Kompression - JPEG 17 Bildverarbeitung 1. Modus(FDCT) (Fortsetzung2) Dies ist interessant, da folgende Interpretation: Svu interpretierbar als "zweidimensionale" Frequenz. Beispiele: S00 DC- Koeffizient (ﬂ Gleichspannungsanteil; direct current) bestimmt Grundfarbton für die 64 Pixeldateneinheiten andere: AC - Koeffizienten (ﬂ Wechselspannungsanteil) S70 = höchste Frequenz, die nur in waagerechter Richtung auftritt, d. h. dichtest mögliches Muster senkrechter Streifen. S77 maximal, wenn 8*8 Dateneinheit aus möglichst vielen, d.h. 1*1 Karos

1.2 Kompression - JPEG 18 Bildverarbeitung 1. Modus(FDCT) (Fortsetzung3) "zweidimensionale" Frequenzen

1.2 Kompression - JPEG 19 Bildverarbeitung 1. Modus(FDCT) (Fortsetzung 4) Rücktransformation durch IDCT (Inverse DCT) : syx = (1/4) S u= 0,.., 7 S v= 0,.., 7 cu cv Svu cos((2x+1)up/16) cos((2y+1)vp/16) mit cu,cv = 2-1/2 für u,v =0 , sonst cu, cv = 1. Anmerkungen: Cos-Werte in Tabelle erfaßbar. Hin- und Rücktransformation nicht exakt. Genauigkeit durch JPEG nicht vorgeschrieben. Flächen erzeugen viele AC-Koeffizienten zu Null oder fast Null.

1.2 Kompression - JPEG 20 Quantisierung Erzeugt Verlustbehaftung
pro Block: 64 Quantisierungseinträge; individuell einstellbar (vom Bildmaterial abhängig) Bildqualität <--> Kompressionsgrad einstellbar Qvu 8bit ganzzahlige Werte gemäß: sqvu = round Svu/Qvu. Je größer Tabelleneinträge, desto gröber die Quantisierung. Dequantisierung mit derselben Tabelle gemäß Rvu = sqvu* Qvu

1.2 Kompression - JPEG 21 Entropiekodierung
Vorbereitung der Verarbeitung in der Kodierung i.a. unterschiedliche Behandlung von DC- und AC - Koeffizienten DC-Wert: beschreibt Grundfarbton, differieren i.a. wenig von Block zu Block. Daher: Differenzbildung benachbarter Werte

1.2 Kompression - JPEG 22 Entropiekodierung (Fortsetzung 1)
AC-Werte: "Zick-Zack"- Verarbeitung nach steigenden Frequenzen (entspricht meist fallenden Werten --> 0)

1.2 Kompression - JPEG 23 Entropiekodierung (Fortsetzung 2)
Zunächst Lauflängenkodierung (von Nullwerten) dann: Huffman (/z. T. Arithmetische Kodierung) --> Liefert ISO- Intermediate-Symbol-Sequenz- Format i. w. folgende alternierende Angaben: Anzahl der folgenden Koeffizienten mit dem Wert Null für die Darstellung des danach folgenden Koeffizienten benutzte Anzahl an Bits Wert des Koeffizienten, dargestellt mit der angegebenen Anzahl an Bits

1.2 Kompression - JPEG 24 Entropiekodierung (Fortsetzung 3) Zudem:
AC- Werte ﬁ 0 sowie DC- Werte werden so dargestellt, daß Anzahl benötigter Bits von der Größe des Wertes abhängt AC-Werte: 1-10 bits DC-Werte: 1-11 bits (i.a. höhere Auflösung) Huffman: keine Lizenzgebühren für Patente schlecht: Anwendung hat Kodierungstabellen bereitzustellen. Hier verwendet man: sequentielle Kodierung

1.2 Kompression - JPEG 25 Bildaufbau bei Dekodierung Beispiel:

1.2 Kompression - JPEG 26 Erweiterter, verlustbehafteter DCT-basierter Mode Unterschiede zum 1. Mode: p = 8 oder 12 Neben sequentieller Kodierung: progressive Kodierung (ﬂ Layered Coding) Erlaubt folgenden Bildaufbau bei Dekodierung Beispiel:

1.2 Kompression - JPEG 27 Erweiterter, DCT-basierter Mode (Fortsetzung 1) Wird erreicht durch: Erweiterung der Quantisierung --> Alle quantisierten Werte kommen in Puffer --> Selektive Weiterverarbeitung Spectral Selektion: zuerst: nur Koeffizienten der niedrigen Frequenzen danach: auch Koeffizienten der höheren Frequenzen Successive Approximation: alle Koeffizienten werden übertragen. jedoch nach Wertigkeit weiterverarbeitet Neben Huffman: Arithmetischer Kode Patentschutz (noch?) - paßt sich autom. den statistischen Eigensch. des Bildes an.- > keine Tabellen auf Seiten der Anwendung nötig.

1.2 Kompression - JPEG 28 Erweiterter, DCT-basierter Mode (Fortsetzung 2) Verschiedene alternative Kombinationen in den Teilschritten: Bildaufbau Bits/ Abtastwert Entropiekodierung sequentiell Huffman - Kodierung sequentiell 8 Arithmetische Kodierung sequentiell Huffman-Kodierung sequentiell Arithmetische Kodierung progressiv sukzessive Huffman-Kodierung progressiv spektral Huffman-Kodierung progressiv sukzessive Arithmetische Kodierung progressiv spektral Arithmetische Kodierung progressiv sukzessive Huffman-Kodierung progressiv spektral Huffman-Kodierung progressiv sukzessive Arithmetische Kodierung progressiv spektral Arithmetische Kodierung

1.2 Kompression - JPEG 29 Verlustfreier Mode Start:
Dateneinheit: Pixel mit bit Beschreibungstiefe. Statt Transformationskodierung:

1.2 Kompression - JPEG 30 Verlustfreier Mode (Fortsetzung 1)
Prädiktionsverfahren Für Pixel X : 1-8 Prädiktoren Aufgabe: Möglichst gute Vorhersage von X aus den bekannten A,B,C Selektionswert Prädiktion Selektionswert Prädiktion keine Prädiktion A + B + C 1 A A + (B-C)/2 2 B B + (A-C)/ 3 C (A + B)/2 Selektionswert sowie Prä(X) - X werden entropiekodiert.

1.2 Kompression - JPEG 31 Hierarchischer Mode
nach Bedarf: - verlustbehaftet -verlustfrei Kodierungen je eines Bildes mit (mehreren) unterschiedlichen Auflösungen 1. Digitalisiertes Bild "um den Faktor 2n herabsetzen" --> komprimieren 2. Digitalisiertes Bild "um den Faktor 2n-1 herabsetzen" --> Bild gemäß 1 davon abziehen ("Differenzbild") --> komprimieren 3. 2. geeignet iterieren, bis "vollständiges" Bild komprimiert. Damit Skalierung einfach möglich.

1.2 Kompression - JPEG 32 Hierarchischer Mode (Fortsetzung) Vorteil:
Anwendung verarbeitet die Auflösung, die ihr angepaßt ist. --> Berechnung der reduzierten Informationen aus den detailliert beschriebenen Bildern durch die Anwendung nicht nötig. Nachteil: Kodierung ist rechen- und speicherplatzintensiv.

1.2 Kompression - JPEG 33 Zur Qualität Für DCT-kodierte Einzelbilder:
0,25 bis 0,50 bit/Pixel :Mäßige bis gute Qualität, für einige Anwendungen ausreichend. 0,50 bis 0,75 bit/Pixel: Gute bis sehr gute Qualität, für viele Anwendungen ausreichend. 0,75 bis 1,50 bit/Pixel: Ausgezeichnete Qualität, für die meisten Anwendungen ausreichend. 1,50 bis 2,00 bit/Pixel: Meistens vom Original nicht mehr zu unterscheiden. Genügt fast allen Anwendungen, selbst bei höchsten Qualitätsansprüchen. Im verlustfreien Modus: Kompressionsgrad 2:1 im Mittel.

1.2 Kompression - H.261 (px64) 1 Bewegtbildstandard
Für Einsatz bzgl. ISDN gedacht für z. B.: Bildtelefon - Videokonferenzsysteme --> Kodierung + Dekodierung in Echtzeit jetzt: für Videokompression auf p x 64 Kbit/sec mit p = 1, 2, . .., 30 H. 261 Video Codec for Audiovisual Services at p x 64 kbit/s Coder/Decoder 1990 verabschiedet Voraussetzung: Kompression + Dekompression ≤ 150 msec Signalverzögerung.

1.2 Kompression - H.261 (px64) 2 Bildaufbereitung
Präzise(re) Voraussetzungen: Am Eingang anliegende Bildwechselfrequenz: 29,97 = 30000/1001 (wieso?) Geringere Bildwechselfrequenzen für Übertragung zugelassen (z.B ) Nicht Zeilensprungverfahren. Bild mit Y Luminanz, Cb,Cr Chrominanzdifferenzen (gemäß CCIR 601) 2:1:1 kodiert (vgl. YUV (Fernsehen); entspricht wohl 4:2:2)

1.2 Kompression - H.261 (px64) 3 Auflösungen: 4:3 Seitenformat
CIF (Common Intermediate Format) : optional 288*352 Pixel Luminanz 144*176 Chrominanz QCIF (Quarter CIF) : vorgeschrieben 144*176 Pixel Luminanz Zur Hilfe: [(2*3*3*8) *(2*11*8)] für unten 72* 88 Chrominanz [(3*3*8) *(11*8)] Nötiger Kompressionsgrad, um mit QCIF über 1 ISDN-B-Kanal zu kommen: 1: 47,5. (bei 10 Bildern/sec) Heute technisch machbar. CIF benötigt 6 ISDN-B-Kanäle

1.2 Kompression - H.261 (px64) 4 Verwendete Unterteilung je eines Bildes: Jede Komponente in Blöcke zu 8*8 Pixel Makroblock: 4 Blöcke für Y, je 1 für Cb und Cr Gruppe von Blöcken: 3*11 Makroblöcke QCIF-Bild: 3 Gruppen CIF-Bild: 12 Gruppen

1.2 Kompression - H.261 (px64) 5 Kodierungsverfahren
Intraframe. Zur Kodierung werden nur Daten eines Bildes verwendet (vgl. Intrapicture bei MPEG; s.u.) Interframe: Zur Kodierung werden Daten aus mehreren Bildern verwendet. (vgl. P-Bilder in MPEG; s.u.). Norm schreibt hier keine Parameter fest. Zu Intraframe: 8*8 Pixelblock mit DCT (wie bei JPEG) DC und AC Koeffizienten unterschiedlich quantifiziert Kodierung mit Kode variabler Länge.

1.2 Kompression - H.261 (px64) 6 Datenstrom Zu Interframe:
Für jeden Makroblock mit Prädiktion möglichst ähnlichen Block im vorangegangenen Bild suchen. Relative Lage über Bewegungsvektor festlegen. Bewegungsvektor nicht zwingend vorgeschrieben Möglich: Differenzen zwischen sequentiell aufeinanderfolgenden Makroblöcken kodieren. Datenstrom ist in H.261 in Schichten aufgeteilt. Unterste Schicht: Eigenschaften: komprimierte Bilder Fehlerkorrektur möglich • Jedes Bild hat 5 bit lange Bildnummer • Letztes Bewegtbild kann als Standbild "eingefroren" werden •

1.2 Kompression - MPEG Vorbemerkungen zu MPEG
MPEG: Moving Picture Expert Group Derzeitige Fassungen: (eine Klassifikation, zitiert nach: MPEG Video Webpage, (5.5.99) MPEG-1: Standard zur Speicherung und zum Information Retrieval bewegter Bilder und assoziiertem Audio auf Speichermedien MPEG-2: Standard für digitales TV Noch in Entwicklung: MPEG-4: Standard für Multimedia-Anwendungen MPEG-7: Standard zur Inhaltsrepräsentation für die Inhaltssuche

1.2 Kompression - MPEG-1 1 Vorbemerkungen zu MPEG-1 MPEG-1:
Zur Bearbeitung von Algorithmen zur Audio- und Bewegtbildkodierung.(s.u.) Interntl. Standard seit 92 (MPEG-1 „approved“ Nov. 92). berücksichtigt andere Normierungen JPEG: Bewegtbild entspricht Folge von Standbildern; JPEG lag früher vor. H.261 MPEG 1: Datenrate ≤ 1856 Kbit/s (lt. Steinmetz ‚93) MPEG-1: Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s drogo.cselt.stet.it/mpeg/standards/mpeg-1/mpeg-1.htm (5.5.99)

1.2 Kompression - MPEG-1 2 Videokodierung
Geeignet für symmetrische und asymmetrische Kompression (incl. Audio) MPEG spezifiziert: - Video - Audio - Systemdefinition Videokodierung Bildaufbereitung (ähnlich H.261) Bild ist beschrieben durch: Y Luminanz, Cb,Cr Farbdifferenzkomponenten Y hat in horizontaler und vertikaler Richtung je doppelte Auflösung (Color Subsampling) Es sollte sein: Räumliche Auflösung ≤ 768*576 Pixel

1.2 Kompression - MPEG-1 3 Bildaufbereitung (Fortsetzung)
p = 8 in jeder Ebene Weitere Infos bei MPEG: 14 unterschiedliche Seitenverhältnisse von Pixeln 8 Bildwechselfrequenzen: 23,976 Hz, 24 Hz, 25 Hz, 29,97 Hz, 30 Hz, 50 Hz, 59,94 Hz, 60 Hz. Verwendung von Prädiktoren für Bildbereiche Aufbau eines Bildes aus Bereichen: Block : 8*8 Pixel Makroblock: - 16*16 Pixel Luminanz, - 8*8 Pixel je Chrom diese 6 Blöcke werden sequentialisiert --> der Anwender hat keine MCUs zu definieren 3 Komponenten werden gemeinsam komprimiert/ dekompr. kein progressiver Bildaufbau (Bildaufbau in max 41,7 ms)

1.2 Kompression - MPEG-1 4 Bildverarbeitung 4 unterschiedliche
Bildkodierungsarten: wegen: effiziente Kodierung <--> wahlfreier Zugriff auf Einzelbild/Frame Bildarten: I-, P-, B-, D- Bilder

1.2 Kompression - MPEG-1 5 Bildverarbeitung (Fortsetzung 1)
Beschreibung grob. (Zu Einzelheiten vgl. [Steinmetz ´93]) I-Bilder (Intra Coded Pictures) wird als Standbild (Einzelbild) behandelt. wie in JPEG (8*8 Blöcke, DCT, DPCM für DC-Koeff, ....) Kompression jedoch in Echtzeit nötig --> geringe Kompressionsrate bilden Anker für wahlfreien Zugriff P-Bilder (Predictive Coded Pictures) verwenden vorangegangene I- resp. P-Bilder --> Bewegungsschätzung: (Algorithmus ist nicht vorgeschrieben; nur die Kodierung des Ergebnisses. Bewegungsvektor + Differenzbild)

Bewegungsvektoren häufig (fast) gleich. Daher dafür DPCM-Kodierung. --> höhere Kompressionsrate als I-Bilder. Makroblöcke in P- Bildern auch wie in I-Bildern kodierbar. Im Prinzip gleich, im Detail anders als bei JPEG. B-Bilder (Bidirectionally Predictive Coded Pictures) verwendet vorangegangene und nachfolgende I- und P-Bilder --> höchste Kompressionsrate

Beispiel (zu sinnvollem Einsatz von B-Bildern): Bewegung eines Balles von links nach rechts vor statischem Hintergrund. Geben sukkzessive Teile des Hintergrundes frei. Daher Ableitung aus nachfolgenden Bildern günstig. u.a. Interpolation von Makroblöcken. B-Bilder werden nicht im Dekoder als Referenzbilder gespeichert. D-Bilder (DC-Coded Picture) intraframekodiert; nur DC-Parameter (, resp. niederfrequente AC) • für schnellen Vorlauf diese Funktionalität kann auch durch periodisch auftretende I-Bilder erreicht werden

Weitere Anmerkungen: Reihenfolge der Bilder in der Dekodierung und der Präsentation können unterschiedlich sein. (vgl. Beispiel oben + unten) Rückwärtslauf hier (evtl.) aufwendig, da Group of Pictures vorher zu verarbeiten . In praktischen Anwendungen von MPEG: Bildfolge : I BBPBBPBB I BBPBBPBB I .... --> Wahlfreier Zugriff auf jedes 9. Bild. (Mindestens alle 15 Bilder je ein I Bild gefordert.)

1.2 Kompression - MPEG-1 9 Quantisierung Audiokodierung
wird an Bedarf angepaßt Audiokodierung Abtastraten: eine aus 32 kHz, 44,1 kHz, 48kHz; Abtastung mit 16 bit. Kompression je Audiosignal: zu einem von 64, 96, 128, 192 kbit/sec. Vorverarbeitung: FF - Transformation (--> also Infos in Spektraldarstellung) Zerlegung des Frequenzbereichs in 32 (disjunkte) Bereiche (Bänder). Können unterschiedlich gewichtet quantisiert werden.

1.2 Kompression - MPEG-1 10 Audiokodierung (Fortsetzung)
3 Qualitätsstufen: Stufe 1+2: PCM-kodiert Stufe 3: PCM-kodiert + Huffman verarbeitbar: 1 Kanal, 2 unabhängige Kanäle Joint Stereo: nutzt Abhängigkeiten zwischen beiden Kanälen kompatibel zu: CD-DA (Compact Disc - Digital Audio) DAT (Digital Audio Tape)

1.2 Kompression - MPEG-1 11 Datenstrom Audiostrom
MPEG spezifiziert feste Syntax für Audio- und Videodaten-strom Audiostrom besteht aus Frames, diese aus Audio Access Units, diese wiederum aus Slots. Slot: bei niedrigster Komplexität der Kodierung: 4 Byte, sonst 1 Byte Audio Access Unit: kleinstmögliche Audiosequenz komprimierter Daten, die unabhängig von allen übrigen Daten vollständig dekodiert werden kann. Spieldauern hierfür: - 48kHz: 8ms kHz: 8,7ms kHz: 12 ms Frame: feste Anzahl von Abtastwerten

1.2 Kompression - MPEG-1 12 Datenstrom (Fortsetzung 1)
Videostrom: 6 Schichten Sequence Group of pictures Picture Slice Makroblock Block

Videostrom: (Fortsetzung) Sequence Layer: Steuert Zwischenspeicherung der Daten Angaben enthalten u.a.: für Sequenz konstante Bitrate für Dekodierung min. Speicherplatz Video Buffer verifier: Sitzt hinter Quantisierer. Wird zur Überprüfung der durch die Dekodierung entstehenden Verzögerungszeit verwendet. Zwischen Sequenzen können grundlegende Parameter des Dekoders neu gesetzt und Initialisierung durchgeführt werden.

Videostrom (Fortsetzung 1) Group of Pictures Layer: Enthält mindestens ein I-Bild (und das an erster Stelle) . Folge im Datenstrom und in der Präsentation können unterschiedlich sein Beispiel: Reihenfolge bei der Darstellung: Bildart B B I B B P B B P B B I Bildnummer Reihenfolge im Datenstrom: Bildart I B B P B B P B B I B B Bildnummer

Videostrom (Fortsetzung 2) Picture Layer: beinhaltet je ein gesamtes Einzelbild zeitlicher Bezug über Bildnummer (noch freie weitere Datenfelder [für Erweiterungen]) Slice Layer besteht aus Anzahl von Makroblöcken, die sich von Bild zu Bild ändern können. enthält u.a. Skalierung der DCT-Quantisierung für dieses slice. Macro Block Layer Block Layer

1.2 Kompression - MPEG-1 16 Systemdefinition
Zusammenfassung von Audio- und Videostrom. Multiplexen incl. Koordination beim Datentransfer zwischen einkommenden und ausgehenden Datenströmen Justage von Uhren Puffermanagement Zerlegung des Datenstroms (nach ISO 11172) in Packs. Erster Pack enthält Infos z.B. über maximal auftretende Datenrate. (Headerinfos). ---> Dies Vorgehen kritisch bei Verteilungsanwendung (etwa späteres Aufschalten!). MPEG setzt zur Synchronisation erforderliche Zeitstempel.

1.2 Kompression - MPEG-1 17 Systemdefinition (Fortsetzung 1)
Prototypischer ISO/IEC Dekoder: Part 1 addresses the problem of combining one or more data streams from the video and audio parts of the MPEG-1 standard with timing information to form a single stream as in Figure 1 below. This is an important fuction because, once combined into a single stream, the data are in a form well suited to digital storage or transmission.

1.2 Kompression - MPEG-1 18 Anmerkungen
MPEG verlangt nicht Kompression in Echtzeit. MPEG spezifiziert Prozeß der Dekompression, nicht den Dekoder selbst. Weitgehend verfügbar: MPEG Datenrate: 1.5 Mbit/s Wichtig: Qualität, Kompressionsfaktor Unwichtig: Kompressionszeit

1.2 Kompression - MPEG-2 1 MPEG-2 (ISO 13818) Referenzen: (Stand: ) Startseite zu MPEG-2 (ISO 13818): MPEG-2-Dokumentation: Video-Codierung mit MPEG-2: Breites Spektrum (deutsch) (*) MPEG-2 FAQ Table of Contents

1.2 Kompression - MPEG-2 2 MPEG-2 (ISO 13818) Referenzen: Fortsetzung
Überblicke zu MPEG (u.a. MPEG-2): The MPEG Home Page: (5.5.99) MPEG and multimedia communications (Leonardo Chiariglione) ["Vater" von MPEG] (**) Recent advances in video compression Anmerkung: Dieses Material v.a. nach (*) zusammengestellt.

1.2 Kompression - MPEG-2 3 Entwicklungstufen des Standards ISO (MPEG-2): Working Draft 1 November 1992 Comittee Draft November 1993 Draft International Standard März 1994 International Standard November 1994 "Generische Kodierung von Bewegtbildern und synchronisiertem Audio" (übersetzt)

1.2 Kompression - MPEG-2 4 Ziele: MPEG 1:
Kodierung von Video auf CD-ROMs Anwendungen bei: Video-CDs (CD-V/heute: DVD), CD-Interactive (CD-I), Spieleconsolen

1.2 Kompression - MPEG-2 5 Ziele (Fortsetzung): Ziele für MPEG 2:
Für Einsatz im Fernsehfunk (broadcasting): Einsatzgebiete: Video-On-Demand im Consumerbereich (Home Cinema) hochqualitative und verlustfreie Übertragung von Video im Studiobereich Verringerung der Kosten bei Satellitenübertragungen Nicht: Videokonferenzen (dazu: --> H.261) (würde: --> synchrones Kodierungsverhältnis, geringe Kodierverzögerung) in MPEG-2: Verzögerung zwischen analogem Eingangsstrom und digitalem Videodatenstrom: 1/2 bis 3 Sekunden.

1.2 Kompression - MPEG-2 6 Systemansatz:
Kombination eines oder mehrerer elementarer Video- und Audioströme mit weiteren Daten in einen oder mehrfachen Strom zur Speicherung Übertragung Spezifiziert in Program- und Transportstrom (Vgl. Bild nächste Seite)

1.2 Kompression - MPEG-2 7 Systemansatz (Fortsetzung):

1.2 Kompression - MPEG-2 8 Verwendete Mechanismen (für Videos):
bei MPEG-1 und MPEG-2 ähnlich: Einzelbilder kodieren mit temporären Abhängigkeiten (IPB-frames) und zeitlichen Verschiebungen von Bildinhalten (motion vectors). Mathematische Verfahren zur Datenreduktion: Diskrete-Cosinus-Transform-Kodierung, Huffman- und Lauflängenkodierung. Ungleicher Kodier-/Dekodier-Aufwand: Studio-/Home-Hardware

1.2 Kompression - MPEG-2 9 MPEG-2 ermöglicht: Skalierbarkeit:
schnellere Dekodierhardware ---> erhöhte Bildqualität räumlich: für 16:9 HDTV-Bild Abwärtskompatibilität zu herkömmlichem 4:3. Bitrate bis 10 Mbit/s. erhebliche Flexibilität des Videoteils: verschiedene Bildformate wahlfreie Bildqualität variable Bitraten

1.2 Kompression - MPEG-2 10 MPEG-2 ermöglicht: (Fortsetzung 1)
erhebliche Flexibilität des Videoteils (Fortsetzung) channel hopping: wahlfreier Zugriff auf verschiedene Videokanäle nachträgliche und einfache Editierung des kodierten Bitstroms trick modes (z.B. für effektreiche Überblendungen) Wiederholung des Kodier- /Dekodiervorgangs darf nicht zu weiteren Qualitätsverlusten führen.

1.2 Kompression - MPEG-2 11 MPEG-2 ermöglicht: (Fortsetzung 2)
Audioteil der Kodierung muß mehrere Kanäle (--> Multilingualität) und niedrigere Sampling-Frequenzen unterstützen. Rückwärtskompatibilität zu MPEG-1 und H.261 u.a.: MPEG-2 Kodierer realisieren Sub-Kodierer, die exakt rückwärtskompatible Datenströme erzeugen. z.B.: Video Main Profile + Video Main Level ist MPEG-1 ähnlich. Offenbar: Main Profile und Main Level

1.2 Kompression - MPEG-2 12 Kodierungs"methoden":
- Profiles und Levels - Scalability - Security Profiles (complexity of compression) und Levels (sample rate, framedimension, coded bitrates) schränken die zur Verfügung stehenden Parameter der Kodierung ein, um dieseEinschränkungen dann in den Kompressionsalgorithmen ausnutzen zu können. Standardisieren Kodierungsparameter.

1.2 Kompression - MPEG-2 13 Kodierungs"methoden":(Fortsetzung 1)
Profile und Level in MPEG-2:

Sampling Größen und Bitraten:

1.2 Kompression - MPEG-2 15 Scalability:
ist die Möglichkeit des Dekoders, Teile eines Datenstroms zu ignorieren und doch sinnvolle und angepaßte Video- und Audioausgaben zu erzeugen. --> MPEG-2 weitgehend speicher- und übertragunsmedienunabhängig.

Zeitliche Scalability Bildrate kann erhöht werden, indem in den normalen Ablauf des "Base Layers“ zusätzliche B-frames des "Enhancement Layers" dekodiert werden.

Qualitative Scalability anstelle der ungenaueren B-frames des "Base Layers"werden P-frames des "Enhancement Layers" dekodiert und angezeigt.

Pan-Scan-Scalability: ermöglicht die Definition von Ausschnitten im aktuellen Bild. Diese Ausschnitte können zwar von Bild zu Bild unterschiedlich eingeteilt werden, die Hauptanwendung ist jedoch die Definition eines 4:3 Fernsehbildes innerhalb eines 16:9 HDTV-Bildes.

1.2 Kompression - MPEG Kombinationsmöglichkeiten:

1.2 Kompression - MPEG-2 20 Weitere Möglichkeiten von MPEG-2:
Sicherheit (Vertraulichkeit + Integrität) wird unterstützt (nicht ausgeführt.) Makroblock-Scalability: einzelne Macroblöcke können mehrfach, in verschiedenen Qualitätsstufen kodiert werden. Block-based Motion Compression Prediction (MCP): das Erkennen von relativen Bewegungen einzelner Blöcke im Vergleich von Bild zu Bild wird im MPEG-2 Format viel einfacher realisiert. Frame Motion Prediction: Das Auffinden von ganzen, gleichen Frames innerhalb des Datenstroms (Frame Motion Prediction) und

1.2 Kompression - MPEG Weitere Möglichkeiten von MPEG-2:(Fortsetzung 1) Field Motion Prediction: das Auffinden von gleichen, wie auch immer geformten Teilen in verschiedenen Bildern und auch innerhalb des aktuellen Bildes wird ermöglicht. ---> vgl. JPEG variabler Farbraum für den Studiobereich notwendig, ein Farbverlust ist während der Produktionsphase von Filmen nicht akzeptabel in MPEG-1 wird immer im Verhältnis 4:1:1 kodiert.

1.2 Kompression - MPEG Weitere Möglichkeiten von MPEG-2:(Fortsetzung 2) Zu Audio: (kurz) für Kodierung von Audiosignalen hoher Qualität (CD,Studio). auch für digitale Quellen ausgelegt, z.B. ISDN. unterstützt HDTV, Dolby Sorround (bis zu 5 Kanäle) MPEG-2 ist auf Verwendung von Hardware zugeschnitten --> SetTop Boxen

1.2 Kompression - MPEG-4 1 Wo bleibt MPEG 3 ?
Sollte v.a. HDTV bis zu 1920x1080 Pixel bis zu 30 Hz mit kodierten Bitraten zwischen 20 und 40 Mbit/sec bearbeiten. Wurde jedoch allein durch MPEG 1+2 beschreibbar. HDTV ist nun Bestandteil von MPEG-2 High Level MPEG 3 ist damit gecancelt. Anmerkung: Vorsicht. MPEG 3 nicht gleich MP3 : = MPEG 1 Layer 3 (aktuelles Audioformat !!!!)

1.2 Kompression - MPEG-4 2 (Nur) Einstieg in MPEG-4:
zitiert v.a. nach: Overview of the MPEG-4 Standard ISO/IEC JTC1/SC29/WG11 N March 1999/Seoul, South Korea (Stand ) Inhaltsverzeichnis Executive Overview Scope and features of the MPEG-4 standard Detailed technical description of the MPEG-4 List of major functionalities provided by MPEG-4 in Vers. 1 Verification Test: checking MPEG’s Performance standard Profiles in MPEG-4 Version Version 2 of MPEG-4 Annexes

1.2 Kompression - MPEG-4 3 Executive Overview
MPEG-4 (offiziell: ISO/IEC 14496) is an ISO/IEC standard von MPEG entwickelt MPEG-4 begonnen Juli 1993 Draft Intnl Standard level Oktober 1998. Offizieller Standard: 1999 Aktuell wird gearbeitet an MPEG-4 Version 2 (abwärtskompatibel zu MPEG-4 Version 1)

1.2 Kompression - MPEG-4 4 Executive Overview (Fortsetzung 1)
MPEG-4 stützt sich auf die nachgewiesenermaßer erfolgreichen Gebiete: Digital television Interactive graphics applications (synthetic content) Interactive multimedia (World Wide Web, distribution of and access to content) MPEG-4 liefert standardisierte technologische Elemente für die Integration von Produktion Verteilung und Zugriff auf den Inhalt aller drei Bereiche von oben. Also: nicht (nur) Kompression !!

The MPEG-4 standard: a set of technologies to support AVOs "audio-visual objects"

Satz von Technologien: 1. Kodierte Repräsentation von Objekten mit sprachlichem oder visuellem oder audiovisuellem Inhalt (AVOs) 2. Art, wie individuelle AVOs in einer Szene zusammengesetzt werden; 3.Art, wie AVOs gemultiplexed und synchronisiert werden, so daß sie über Netzwerke transportiert werden können bei Einhaltung benötigter Qualität. 4. Generisches (?) Interface zwischen Anwendung und Transportmechanismus 5. Art für die Benutzerinteraktion mit der Szene 6. Projektion der AV Szene gemäß Benutzersicht/Hörpunkt.

1.2 Kompression - MPEG-4 7

1.2 Kompression - MPEG-4 8 MPEG 4: zielt auf sehr niedrige Bitraten bits/sec. Bis 176x144 und 10 Hz: Für Videophone und analoges Telephon. Aktuelle Infos zu MPEG-4: Overview of the MPEG-4 Standard drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm (Stand ) MPEG Informations, Questions and Answers (Stand )

1.3 DV Formate + deren Eigenschaften 1.4 Quicktime

1.3 DV Formate - Literatur Bajohr, M.: DV Formate
Vortrag und Ausarbeitung im Seminar „Digitales Video“ Veranstalter Dittrich, FBI UniDo, SS 99 Roger Jennings: “Video, Audio, and Data Recording Formats” html [Stand: ] Wilt, A. J. : “The DV, DVCAM, & DVCPRO Formats” + weitere Beiträge zu “Video and Data Recording Formats” U.a. [Stand: ]

1.3 DV Formate - Gliederung
Formate für Video im Consumerbereich DV - Format Vorbemerkungen - Eingangsbilddarstellung Allgem. DV Format - Digital Interface (DIF) Format DV - Format : Technische Aspekte DV Kassetten und Aufzeichnungsformat 1394/FireWire - LSI Impl. eines DV Systems Sichtbare Phänomene DV Formate konkret

1.3 DV Formate - ... für Video im Consumerbereich
Analog: VHS/VHS-C VHS weitest verbreitet VHS-C durch Adapterkassette in norm. VCRs abspielbar. S-VHS Bessere Qualität; Y/C Kodierung Video 8 Erheblich kleinere Kassetten Hi 8 Bessere Qualität im Vergleich zu Video 8; Y/C Kodierung Digital: DVC/MiniDV

1.3 DV Formate - Vorbemerkungen 1
DV: Standard für digitales, komprimiertes Video und Audio von 10 Firmen gegründet: Sony Corp Panasonic Victor Corporation of Japan (JVC) Philips Electronics, N.V. Sanyo Electric Co. Ltd Hitachi, Ltd. Sharp Corporation Thompson Multimedia Mitsubishi Electric Corporation Toshiba Corporation

1.3 DV Formate - Vorbemerkungen 2
DV definiert ein eigenes Kassettenformat MiniDV und DVC Video wird in einer Rate von 4:1:1 (NTSC) oder 4:2:0 (PAL) gesampled max. Auflösung: 720 x 480 Pixel Datenrate bei ca. 3.6 Mbyte/sec Kompressionsverhältnis: : 1 (in der Regel 5.0:1) Digitale Datenübertragung via FireWire Vervielfältigung ohne Verluste

1.3 DV Formate - Eingangsbilddarstellung 1
Verschiedene Notationen: SQCIF, CIF und SDTV, nach ITU-R BT.601; hier SDTV verwendet. YUV-Darstellung: Helligkeitswerte Y Farbdifferenz Rot Cr Farbdifferenz Blau Cb DV ist eine 4:1:1 YUV Bildfolge (NTSC) bei einer 4:1:1 Norm ergibt sich: Ersparnis von 12 (von ursprüngl. 24) Bit pro Pixel! --> PIX Formate

Speicherplatzverbrauch pro Pixel wobei Farbtiefe: Anzahl Bits für die Helligkeit (nach ITU-R BT.601: 8 Bit) Beispiel: Ein „volles“ RGB Bild mit 720 x 480 Pixel Hinweis: RGB Bilder sind 4:4:4 (=24 Bit pro Pixel) gecoded

Farbe wird in der halben Rate des Helligkeitssignals gesampled Bei 720 Pixeln pro Zeile ergeben sich 360 Farbabtastungen pro Farbdifferenz

Farbe wird in der viertel Rate des Helligkeitssignals gesampled Bei 720 Pixeln pro Zeile ergeben sich 180 Farbabtastungen pro Farbdifferenz

Wird eine Farbe gar nicht berücksichtigt? NEIN! Farbe in der halben Rate des Helligkeitssignals in horizontaler und vertikaler Richtung abgetastet

2 Definitionen: jeweils 360 Farbinformationen für Rot und Blau pro ungerader Zeile jeweils 360 Farbwerte für Rot in den ungeraden Zeilen und 360 Farbwerte für Blau in den Geraden (co-sited)

PIX Formate im Vergleich: Es ergibt sich ein immer noch zu hoher Datenstrom! ca. 240 Mbit/s (unkomprimiert, RGB) ca. 170 Mbit/s (4:2:2) ca. 120 Mbit/s (4:1:1, 4:2:0) (alle Berechnungen gelten für 720 x 480 Pixel bei 30 frames/sec)

1.3 DV Formate - Allgem. Format: Aufbau 1
Ein komprimiertes Bild besteht aus 10 tracks Bildauflösung: 720 x 485 Pixel! 1 Track umfaßt 138 Datablocks (nur Video) 1 Datablock enthält 76 Bytes Nutzdaten und 1 Byte Header inklusiv Fehlerkorrektur und Synchronisationsdaten ergeben sich 90 Bytes pro Datablock die Synchronisations- und die Fehlerkorrektur-daten werden nicht mitübertragen!

1.3 DV Formate - Allgem. Format: Aufbau 2
Video, Audio und Subcode Aufnahme Format

1.3 DV Formate - Allgem. Format: Datenraten 1
Videodatenrate: Es werden statt 30 frames/sec immer nur 29,97 frames/sec berücksichtigt, da bei 1000 frames ein Bild nicht verwendet wird

Videodatenrate ITU-R BT.601 (4:1:1): Kompressionsverhältnis: Kompressionsverhältnis zu 4:2:2 Format:

Audioinformationen werden in 9 blocks zu 76 bytes gespeichert max. Audiodatenrate: entspricht 4 Spuren in 32 kHz zu 12-bit: oder 2 Spuren in 48 kHz zu 16-bit:

Gesamtdatenrate (Audio & Video), inklusiv Parity, aber ohne ITI sector Overhead: 25 % der aufgezeichneten Daten für subcode data, error detection und error correction!

1.3 DV Formate - Allgem. Format: Fehlerbehandlg
DV nutzt den Reed-Solomon (RS) error detection / correction Code Daten eines droupouts (burst errors) nur selten rekonstruierbar große Menge an Arbeitsspeicher (RAM) erforderlich Error concealment arbeitet mit einer Schätzung der verlorenen Daten Zur Datenübertragung wird nur ein error detection Code verwandt

1.3 DV Formate - Allgem. Format: Fehlererkennung mit Kreuzparität
Video und Audio Daten mit einer Kreuzparität versehen nur „1 Bit Fehler“ korrigierbar gerade Parität Darstellung einer Error Detection mit Parity bits

1.3 DV Formate - DIF (Format) 1
Aufbau 1 Data in Frame: DIF Format zur Datenübertragung via FireWire arbeitet nur mit error detection => einfachere Implementierung, geringerer Overhead DIF Format lehnt sich an das allg. DV Format an Bildauflösung: 720 x 480 Pixel die Synchronisations- und die Fehlerkorrekturdaten werden nicht mitübertragen!

Aufbau 2 Ein NTSC Bild mit 720 x 480 Pixel wird in 10 gleichgroße DIF Sequenzen zu je Bytes gepackt Eine DIF Sequenz beinhaltet 5 Superblocks für die Videodaten DIF Sequenzen bestehen aus 150 DIF Blocks zu je 80 Bytes (=20 Quadlets) Inhalt Eine DIF Sequenz besteht aus: 135 DIF blocks für Video Daten 9 DIF blocks für Audio Daten 6 DIF blocks für Header, Subcode und Video Auxiliary (VAUX)

DIF Sequenzen im Detail 1 Anordnung von DIF Sequenzen

DIF Sequenzen im Detail 2 Resultierende Datenrate: Übertragung der DIF Blocks: 9 Audio DIF Blocks werden interleaved mit 135 Video DIF Blocks in eine 9 x 14 Matrix gemischt Zu Beginn wird ein 6 Block langer Header mit Subcode und VAUX übertragen Wiedergabe erfolgt in der gleichen Reihenfolge wie die Aufnahme

DIF Sequenzen im Detail 3 Übertragungssequenz von Data, Video und Audio DIF Blocks

Superblocks & Makroblocks 1 DV frames bestehen aus 270 Videosegmenten => pro DIF Sequenz ergeben sich 27 Videosegmente jedes Videosegment beinhaltet 5 komprimierte Makroblocks zu je 80 Bytes ein Makroblock entspricht physikalisch einem DIF Block jeder Makroblock stellt eine 32 x 8 Pixel Region innerhalb eines Bildes dar => 1350 Makroblocks pro Bild ein Superblock enthält 27 Makroblocks => pro DIF Sequenz gibt es 5 Superblocks (5 * 27 = 135 DIF Blocks) jeweils 5 Superblocks pro Spalte ergeben eine DIF Sequenz

Superblocks & Makroblocks 2 Struktur eines Videosegments

Superblocks & Makroblocks 3 Aufbau eines Makroblocks 3 bytes für die DIF block ID information 14 bytes jeweils für die Helligkeitsinformationen Y0, Y1, Y2, Y3 (=56 bytes) 10 bytes jweils für die Farbinformation Cr und Cb (= 20 bytes) 1 byte als quantization number (QNO) und block status (STA)

Superblocks & Makroblocks 4 Anordnung der Makroblocks Pro Superblock (Spalten) gibt es 27 Makroblocks Die letzten Makroblocks (24, 25, 26) ergeben jeweils eine 16 x 8 Pixel Region pro Zeile => 720 Pixel / 32 Pixel = 22,5 Makroblocks werden nicht zeilenweise angeordnet => error concealment

Superblocks & Makroblocks 5 Superblocks innerhalb eines NTSC frames

Superblocks ... Anordnung der Makro-blocks innerhalb eines NTSC DV frame

Dekodierung eines Videosegments 1 Dekodierung der AC Koeffizienten erfolgt mit einem 3 schrittigen variable length decoding Algorithmus: Schritt 1: dekodiere VLC AC Koeffizienten für Y0, Y1, Y2, Y3, Cr und Cb innerhalb eines Makroblocks Schritt 2: dekodiere übergelaufene VLC AC Koeffizienten innerhalb eines Makroblocks Schritt 3: dekodiere übergelaufene VLC AC Koeffizienten innerhalb eines Video Segments

Dekodierung eines Videosegments 2 Dekomprimierung und IDCT: Inverse quantization “Zigzag” Koeffizienten Sortierung Inverse Gewichtung Inverse diskrete Cosinus Transformation (DCT) nach 8-8 oder (2-4-8 wird benötigt, wenn sich viele Details im Bild befinden.) Speichere die Pixeldaten in der richtigen Reihenfolge innerhalb des Video frames Randbedingungen: Alle 3 Video Segmente muß der Audio DIF Block übersprungen werden Nach jeweils 27 Video Segmenten muß der Header, Subcode und VAUX übersprungen werden. Dieses sind 6 DIF blocks. Decodiere die 27 Video Segmente Dieses wird nun 10 Mal pro Bild durchgeführt. Als Ergebnis erhält man ein YUV kodiertes 4:1:1 Bild mit einer Auflösung von 720 x 480 Bildpunkten

1.3 DV Formate - Techn. Aspekte: Kassetten 1
Grundlagen 2 verschiedene Formate: DVC und MiniDV Band hat eine Breite von 6,35 mm (1/4 inch) wird mit 18,81 mm/sec im Normal Modus fortbewegt MiniDV ist mit einem Kassettenadapter zur Standard DV Kassette kompatibel interner Festwertspeicher, MIC (Memory in Cassette), max. 16 MB, aber nicht erforderlich! MIC Daten werden über FireWire mitübertragen geringere Probleme gegen Dropouts, als bei Hi8 Bändern Bandmaterial besteht aus 5 Schichten

Geometrische Eigenschaften

Anordnung der Spuren 1 min. 2 Köpfe auf einer rotierenden Kopftrommel Rotationsgeschwindigkeit: 9000 rpm azimuth recording Verfahren (+/- 10 Grad) Spurlage um 9 Grad geneigt Spurlänge: 35 mm, davon genutzt 33 mm Spurbreite: 10 microns (Millionstel eines Meters) (Hi8 benötigt 20,5 microns, VHS sogar 58 microns) keine Kontrollspur zur Bandgeschwindigkeitsanpassung => DV mischt Pilottöne in den Datenstrom 2 horizontale Spuren, die herstellerabhängig genutzt werden

Anordnung der Spuren 2 Spuranordnung auf dem DV Band

Anordnung der Spuren 3 Aufnahme eines Bildes nach NTSC Norm Anzahl an Tracks kann von DV geändert werden: => NTSC 525/60 nutzt 10 Tracks pro Bild => PAL 625/50 benötigt 12 Tracks pro Bild

Verwendung der Spuren Insert and Track Information (ITI) Sektor: Track status Kontrollspur während des Insert Schnittes => Pilottonspur Audio Sektor: Audio und Audio Auxiliary (AAUX) Daten 4 x 32 kHz, 12 Bit oder 2 x 48 kHz [44.1 kHz, 32 kHz], 16 Bit Video Sektor: Video und Auxiliary Video (VAUX) Daten Video Bilder mit DCT und Huffmann Kodierung auf 5:1 komprimiert VAUX Daten enthalten Datum und Uhrzeit, Zoom und Linsen-einstellung, shutter speed, Farbbalance, sonstige Kamera Einstellungen Subcode Sektor: Timecode in kleinen Blöcken, packs, gespeichert sonstige Informationen

1.3 DV Formate -Techn. Aspekte: 1394/FireWire 1
Grundlagen digitale Kommunikation zwischen max. 63 DV Geräten Hochgeschwindigkeits serieller Bus (bidirektional) dient der „reinen“ Kommunikation ähnlich TCP/IP, keine Angaben zur Kodierung/Dekodierung Vorteile digitale Kopien zwischen 2 Camcordern oder VTRs mit 1394 I/O Interface ohne Qualitätsverlust linear editing ohne Qualitätsverlust möglich, keine Artefakte Digitale Daten können von einem VTR oder einem Camcorder mit 1394 I/O Interface direkt in einen Computer übertragen werden. Es ist keine Digitalisierung erforderlich! Günstiger Preis. Diese Schnittstelle wird in bereits vielen low-end DV-Kameras eingebaut und kostet wesentlich weniger als die professionelle Lösung, SMPTE 259M SDI (serial digital interface)

IEEE-1394 Steckernorm 2 geschirmte verdrillte Adernpaare (RX und TX) Stromversorgung ( V, 1.5 A) „Gameboy“ Stecker Datenraten: , , Mbps!

DVC 1394 Paket

1.3 DV Formate - Sichtbare Phänomene 1
PIX Sampling in der Praxis 1 4:1:1 codiertes Bild

Aufnahme mit VX1000 525/29.97 NTSC Mode 2 Pixel gleiche Farbe, da co-sited 4:1:1 Format 4:1:1 codiertes Bild (Detail)

Aufnahme mit VX1000 625/50 PAL Mode 4:2:0 codiertes Bild (Detail)

1.3 DV Formate - Phänomene: PIX Artefakte 1
Allgemein Durch die Farbreduktion ergeben sich 3 Probleme: Mosquito Noise Quilting Motion Blocking diese Effekte sind in der Regel kaum sichtbar nur von Bedeutung beim Videoschnitt (Vergrößerung, Zeitlupe, Gamma Korrektur, ...)

Mosquito Noise 1 Entstehung durch hochfrequente Bildanteile Erkennbar durch Pixelrauschen an scharfen Kanten nur innerhalb einer 8 x 8 Pixel Region tritt in allen DCT orientierten Kompressionsverfahren auf, wie JPEG, DV oder MJPEG Minderung dieser Artefakte durch Tiefpaß Filter => Weichzeichnen, Reduktion der Schärfe

Mosquito Noise 2 Testbild, erzeugt mit Adobe Premiere 4.2

Mosquito Noise 3 Testbild, erzeugt mit Adobe Premiere 4.2 (Detail)

Quilting 1 Entstehung durch Diskontinuität benachbarter DCT (8 x 8) Blöcke Sichtbar an leicht diagonalen Linien Effekt tritt vor allen bei langsamen Kamera-schwenks auf Minderung durch Kontrastveringerung

Quilting 2 4:1:1 codiertes Bild

Quilting 3 Detailaufnahme (72 x 48 Pixel, 8 x 8 DCT Pfeile)

Motion Blocking 1 Entstehung durch getrennte Codierung der beiden Halbbilder => Codecs tritt hauptsächlich bei PAL codierten Videos auf Sichtbar bei schnell bewegten Objekten Bild verliert in den „ruhigen“ Flächen an Schärfe Minderung durch höhere Verschlußzeiten der Blende => High Speed Shutter

Motion Blocking 2 Aufnahme mit einer PAL DVCAM

1.3 DV Formate - Phänomene: DV Aussetzer & Fehler 1
Ursachen Fehler werden hauptsächlich durch das Bandmaterial verursacht Fehler kann nicht beseitigt werden, da nur error detection => fehlerhafte Stelle wird ausgelassen = Dropout Fehlerarten Dropout 32 x 8 Pixel Region defekt verdrecktes oder verknittertes Band Bandeffekt vorheriges Bild bleibt im Puffer stehen und wird angezeigt verschmutzte oder defekte Videoköpfe (1 Kopf liest falsche Daten)

Dropout 1 Dropout, aufgenommen mit einer VX1000 auf Sony MiniDV, 32 x 8 Pixel

Dropout 2 Dropout, aufgenommen mit einer VX1000 auf Panasonic MiniDV, (32 x 20) - (16 x 4) Pixel

Dropout 3 Multiple Dropout, bei einem Videokopf

Bandeffekt Bandeffekt, NTSC 525/60 Bild mit 10 Streifen

1.3 DV Formate konkret 1 Klassifizierung

1.3 DV Formate konkret 2

1.3 DV Formate konkret 3

1.3 DV Formate konkret 4 DVCPro 4:1:1
Propritäres Format von Panasonic und Television Systems Co. Benutzt Metallband mit einer Spurberite von 18 micron und einer Bandgeschw. Von 33,82 mm/sec nicht kompatibel zu DV, aber MiniDV Kassetten Neuere VTRs können beide Formate abspielen Beide Längsspuren werden für audio cue und control tracks genutzt Studioqualität günstigere Versionen verfügen statt dem SDI über ein 1394/FireWire Anschluß 4 fache Datenübertragung zwischen VTRs oder Computern mit FireWire Anschluß AJ-D200, VTR: AJ-D230

1.3 DV Formate konkret 5 DVCPro 4:2:2 (DVCPro 50)
Weiterentwicklung der DVCPro 1/4 inch DV Metallbänder mit einer Bandgeschw. von 67,64 mm/sec 3,3:1 Kompression bei 4:2:2, gleich mit JVCs 1/2 inch Digital-S DV ähnliches Format, jedoch Verdoppelung der Tracks pro Bild (bei NTSC statt 10 jetzt 20, bei PAL 24) 2 zusätzliche Videoköpfe erforderlich (4 Köpfe) Datenrate: 50 Mbps kompatibel zu dem alten DVCPro Format

1.3 DV Formate konkret 6 DVCAM
Entwickelt von Sony für die industrielle Videoproduktion nutzt DV ME Band und weicht nur mit der Trackbreite von 15 microns und der Bandgeschw. vom DV Format ab Bandgeschwindigkeit: mm/s durch die breitere Spur verkürzt sich die Aufnahmezeit einer 4.5 h Kassette auf 3 h 2 Mbit MIC zur Speicherung von 198 Szenen 4 fache Übertragungsgeschw. zwischen VTRs oder Computern mit FireWire liest normale DV Bänder, aber keine DVCPRO DSR-130, DSR-200, VTR: DSR-85 DCR-VX800, DCR-VX1000, DCR-VX9000

1.3 DV Formate konkret 7 Digital-S
Entwickelt von Japan Victor Corp. (JVC) 1/2 inch VHS Kassetten mit einer Spieldauer von max. 104 min Kompression: 3.3:1 DCT 4:2:2 2 Längsspuren für audio cue track und control track einige Digital-S Recorder können auch SVHS Kassetten abspielen Produktionskosten wurden gesenkt, da die Mechanik aus den VHS Videorekordern übernommen wurde geringere Dropouts als bei den 1/2 inch Bändern

1.3 DV Formate konkret 8 Betacam SX Entwickelt von Sony
1/2 inch digitales Format Spurbreite: 32 microns benutzt MPEG-2 Kompression mit 4:2:2 Auflösung: 720 x 512 (nicht 720 x 480!) max. Datenrate: 50 Mbps Standard Datenrate bei 18 Mbps für Satelliten Link Einsatz für Broadcast ENG/SNG

1.3 DV Formate konkret 9 Qualität Bewertung: 1 : Normales Video
10: Studioqualität (Subjektive Einschätzung von Adam Wilt et al.)

DV Formate - LSI Implementierung 1
Aufbau LSI Entwurf von Matsushita Electric Ind. der Schaltkreise für das consumer DV Einsatz in DVCPRO Fähigkeit: einen 4:1:1 DV Datenstrom in einen 4:2:2 DV Datenstrom zu interpolieren Audio I/O mit I2C Interface von Philips => IC erzeugt ein serial D-1 (SMPTE 259M) video und AES/EBU serial audio Signal zur Versorgung der digitalen Komponenten der DVCPRO Integration des 1394 Interfaces Verzögerung von 2 Bildern bei der Aufnahme und Wiedergabe des Audio/Videostroms

Funktionsweise 1 Application Layer shuffle/deshuffle compression/decompression der DV-Daten Tape Format Layer Erzeugung der Reed-Solomon-Codes die Modulation/Demodulation für die Aufnahme/ Wiedergabeköpfe DVC-BUS proprietären Bus, der die beiden Einheiten verbindet mit 8 Datenleitungen und 3 Kontrollsignalen BDEN (data enable) BDCK (data clock) BQUIET (data start)

Funktionsweise 2 LSI Entwurf der DVCPRO

1.3 DV Formate + deren Eigenschaften 1.4 Quicktime

1.4 Quicktime - Gliederung
Was ist QT? Literatur Historie Bestandteile Component Manager Image Compression Manager Movie Toolbox Movie Frontends QT Viewer - QT Player (Pro) QTVR Player

1.4 Quicktime - Was ist QT? Ein Herstellerstandard (Apple).
Architektur/Toolkit für multimediale Daten unterstützt: - Standbilder Graphik - Video - Sound - Sprites/ Animation - Text - MIDI D Tween Timecode - VR schließt ein: - Benutzerschnittstellen - Mediendienste (z.B. für Kompr.) - Datenformate Abstraktionsschicht Hardwareunabhängig - Plattformunabhängig - Erweiterbar Apple möchte: „Postscript“ für Digitale Medien Alternativen anderer Hersteller : - AVI? - Real networks? Grundlage für MPEG-4 Standardisierung (?)

1.4 Quicktime - Literatur Literatur: (Stand 26.5.99)
QT Home Page; QT Spezifikationen QuickTime4 Fact Sheet QuickTime4Pro Data Sheet Die QuickTime Media Layer; Broschüre Apple 1996 Flechtker, B.: QT 3.0/4.0; Vortrag im Kompress.Sem., (Veranstalter Dittrich), FBI, UniDo, SS ‘99

1.4 Quicktime - Historie 1991 von Apple vorgestellt
JPEG, Cinepak, mit multimedialen Daten 1992 QT 1.5 doppelte Geschwindigkeit, Kodak Foto Format 1994 QT 2.0 Videos erstmals Bildschirm-füllend, Videos in mehreren Sprach- versionen, MPEG I können ohne spezielle Hardware abgespielt werden QT 2.5 Midi, searchable Text Tracks QT 3.0 Sorenson Video Codec, Qdesign Music Compressor, Qualcomm Pure Voice QT 4.0 (final )

1.4 Quicktime -Verfügbarkeit
Mac Teil des Betriebssystems PC /98 NT4.0 SGI Irix

1.4 Quicktime - Bestandteile 1
auf Benutzerebene: QT-Viewer: Standbilder QT-Player: Movies, Sounds QTVR-Player: Interaktive 3D-Movies auf Entwicklerebene: Bietet: „Datenbank“, die Routinen registriert und Applikationen zur Verfügung stellt Routinen zum Anfertigen, Editieren und Abspielen Komprimieren und Dekomprimieren

QuickTime: (als) Systemerweiterung Bei Installation integriert es sich in das Betriebssystem und kann von beliebigen Anwendungen ohne extra Aufruf durch den Anwender im Hintergrund benutzt werden. Toolbox: liefert „Manager“ Manager sind Routinensammlungen, die vom Programmie-rer angesprochen werden stellen ihre Dienste anderen Managern oder Applikationen zur Verfügung erweiterbar durch Hinzufügen von Components bieten standardisierte Human Interfaces 3 wichtige Manager: Component Manager - Image Compression Manager Movie Toolbox

Component Manager ist für das Verwalten von Geräten und Ressourcen (Components) zuständig, die jede Anwendung nutzen kann. Zudem unterstützt er gleichzeitigen Zugriff mehrerer Programme auf das gleiche Programm oder die Ressource. QT 3.0: 175 Components QT 4.0: „over 200 media capabilities and components“

Image Compression Manager (ICM) ist für das Komprimieren und Dekomprimieren von Bilddatenmengen zuständig. Geräte- und Treiber-unabhängig verwaltet verschiedenste Kompressionsmodelle. (Für künftige Codecs offen!)

Unterstützte Video Kompressoren (QT 4): H H Animation - Apple BMP Apple Video - Cinepak - Component video DV NTSC and PAL - Graphics Intel Indeo Video Microsoft RLE Microsoft Video 1 - Motion JPEG A + B Photo JPEG - Planar RGB - Sorenson Video 1+2 Unterstützte Sound Kompressoren (QT 4): 24-bit integer bit floating point 32-bit integer bit floating point ALaw 2: AU - IMA 4:1 - MACE 3:1 MACE 6:1 - MS ADPCM QDesign Music Qualcomm PureVoice

Movie Toolbox Routinen für das Herstellen, Bearbeiten, Synchronisieren und Abspielen von Daten des Datentyps „movie“.

1.4 Quicktime - Movie 1 QT spielt ein movie:

1.4 Quicktime - Movie 2 Organi- sation eines movies 1
Audio Tracks 2 Video 3 Video Poster Preview Zeitachse Beliebig viele Tracks Individueller Offset Alternate Group Searchable Text Tracks

1.4 Quicktime - Movie 3 Organi- sation eines movies 2
Track 2 Video Media Track verweist über Pointer auf das Medium Medium enthält Rohmaterial Rohmaterial kann sowohl in der Resource Fork als auch in der Data Fork enthalten sein (nur auf Mac)

1.4 Quicktime - Movie 4 Datenstruktur eines movies:
Movie ist Baumstruktur, die aus Atomen (atoms) unterschiedlicher Hierachieebenen besteht Atome können andere Atome enthalten Jedes Atom enthält Informationen über Typ und Länge

Movie 5 Atom eines movies: Movie atom Movie header atom Movie clipping
User-defined data atom Movie 5 Atom eines movies: Clipping region atom Movie user data Track atom Track clipping atom Track matte atom Track header atom Clipping region atom Clipping region atom Media atom Edit atom Media header atom Media handler Reference atom Edit list atom Video media information atom Data information atom

1.4 Quicktime - Movie 6 Darstellung eines movies 1

1.4 Quicktime - Movie 11 Von QuickTime in Movies unterstützte Medientypen 1 Video: MPEG, M-JPEG (jetzt hinreichend kompatibel zwischen verschiedenen Herstellern) und andere digitale Video-Standards, z. B. Cinepak, ... DV (neu in QT 3.0) Sprites: Graphikbausteine für Computerspiele Sound: Musik, Geräusche, Töne - eben digitalisierte Schallwellen; mLAW-, IMA-Codecs.

1.4 Quicktime - Movie 11 Von QuickTime in Movies unterstützte Medientypen 2 Music: für MIDI-Daten Text: wird meist zum Untertiteln von Videos eingesetzt. Graphiken Animation: gerenderte, also bildweise berechnete Daten aus Animationsprogrammen Quickdraw 3D: Apples 3dimensionaler Graphikstandard

1.4 Quicktime - Movie 12 Von QuickTime in Movies unterstützte Medientypen 3 Tween: Art Steuerspur, um z. B. Quickdraw-Operationen wie Skalieren, Rotieren etc. auf Daten in anderen Spuren anzuwenden. Time Code: auch nach dem SMPTE - Standard; (Society of Motion Picture and Television Engineers).

1.4 Quicktime - Movie 13 Anmerkungen 1 Synchronisation
der verschiedenen zeitbasierten Daten wird erreicht durch Verwendung von Spuren/Tracks in einem Zeitkoordinatensystem. ---> Parallelität von Datenströmen. Bei Leistungsengpässen werden Bilder übersprungen. Ton wird solange wie möglich vollständig erhalten. Zeitbasis wird, wenn irgend möglich, eingehalten.

1.4 Quicktime - Movie 14 Anmerkungen 2
QuickTime unterstützt Multiprocessing (erste Schritte). Text in Textspur (z. B. für Untertitel) ist Text und kein Graphikoverlay. --> z.B. durchsuchbar. Gut für etwa Indizierung von Bild- oder Videokatalog. Codecs arbeiten asynchron zu QuickTime.

1.4 Quicktime - Frontends 1 QuickTime Viewer Für (Stand)bilder

1.4 Quicktime - Frontends 2 QuickTime Player (Pro) 1
Easy-to-use controls New enhanced interface Ability to save effects settings Movie controller selection slider Bass and treble controls Balance control Streaming media support Ability to save movie favorites Info tray

Import file formats 3DMF • AIFF • AU Audio CD Data (Macintosh) • AVI BMP • DV • FlashPix* GIF • JPEG/JFIF • Karaoke MacPaint • Macromedia Flash MIDI • MPEG 1 • MPEG 1, Layer 3(MP3) Photoshop* • PICS • PICT Pictures • PNG • QuickTime Image File QuickTime Movie • SGI Sound • Targa • Text TIFF* • Virtual Reality (VR) • Wave

Export file formats AIFF • AU • AVI BMP • DV Stream • FLC Image Sequence movie exporters • JPEG/JFIF MacPaint • MIDI • Photoshop PICT • Picture • PNG QuickTime Image • QuickTime Movie SGI • System 7 Sound • Targa Text • TIFF • WAV

1.4 Quicktime - Frontends 5 QuickTime Player (Pro) 4 Video effects
Alpha gain • Blur Color balance • Color style Color tint • Edge detection Emboss • Film noise General convolution • Lens flare HSL balance • RGB balance Sharpen • Zoom

1.4 Quicktime - Frontends 6 QuickTime VR (Teil vom QT Player)
Softwarelösung zur Erstellung und Erkundung virtueller Welten. Unterschied zum Videofilm: Benutzer steuert seinen Blick (via Maus) selbst. 2 Techniken: Panoramavideotechnik: 360 Grad Rundumblick wird durch "Vernähen" von Fotos erzeugt. Object-Video-Technologie: Erlaubt interaktive Untersuchung von Objekten. Läßt das Objekt sich vor den Augen des Benutzers um 360 Grad drehen. Personen und Objekte anklickbar (Hot Spots).

Desktop Video SPV 2 SWS SS ‘99 Gisbert Dittrich FBI Unido

Ähnliche Präsentationen

Präsentation zum Thema: "Desktop Video SPV 2 SWS SS ‘99 Gisbert Dittrich FBI Unido"— Präsentation transkript:

Ähnliche Präsentationen

Über Projekt

Feedback

Anmelden

Anmeldung über soziales Netzwerk:

Desktop Video SPV 2 SWS SS ‘99 Gisbert Dittrich FBI Unido

Ähnliche Präsentationen

Präsentation zum Thema: "Desktop Video SPV 2 SWS SS ‘99 Gisbert Dittrich FBI Unido"— Präsentation transkript:

Ähnliche Präsentationen

Über Projekt

Feedback