Mathematische Grundlagen der Video – Kompression „GIS und Multimedia“ Mathematische Grundlagen der Video – Kompression von Christian Müller

Was hat das Thema mit dem Studium zu tun? Allgemeines Was hat das Thema mit dem Studium zu tun? Einsatz von Videos im geodätischen Arbeitsbereich: Städtebauliche Planung Zeigen von Ist – Zuständen Photorealistische Visualisierung geplanter Bauobjekte Virtuelle Realität Routenplanung Wege als Videos zeigen Lehre Aufnahme von Vorlesungen und Vorträgen Animationen

Problem: große Datenmenge Allgemeines Woraus besteht ein Film? Ein Film besteht aus einer Reihe von aufeinanderfolgenden Bildern Jedes Bild für sich kann man als Bitmap – Vollbild betrachten Problem: große Datenmenge

Allgemeines viiieeeel zu groß!!! Rechenbeispiel PAL – Standard: 720 x 576 Pixel = 414.720 Pixel 414.720 Pixel x 3 (RGB Werte pro Pixel) = 1.244.160 Byte 1.244.160 Byte x 25 Bilder/s = 31.104.000 Byte 1 Sekunde Film = 30 MByte 90 Minuten Film = 156 GByte viiieeeel zu groß!!!

Allgemeines Datenkompression Verfahren, um die Anzahl der Bits eines Signals herabzu – zusetzen Man unterscheidet: Verlustfreie Kompression: Nach der Dekompression kann das ursprüngliche Signal wieder vollständig hergestellt werden Verlustbehaftete Kompression: Das Signal wird nur annähernd wiederhergestellt

MPEG – Format MPEG – Familie MPEG 1 MPEG 2 MPEG 4 Findet Anwendung bei sog. VideoCD VHS ähnliche Qualität MPEG 2 Kompatibel zu MPEG 1 Anwendung in der DVD – Technologie und im digitalen Fernsehen (Premiere World) MPEG 4 DivX, Echtzeitkommunikation, Mobile Multimedia UMTS

Vergleichen von Bildern MPEG – Format Vergleichen von Bildern Viele Informationen bleiben gleich, z.B.: der Hintergrund Idee: überflüssige Informationen nicht mehrmals speichern redundante Informationen auslassen Unterschied zwischen zwei Bilder wird gespeichert Bild um die Unterschiede zum vorhergehenden Bild ergänzen

Verschiedene Bildtypen MPEG – Format Verschiedene Bildtypen Es werden drei verschiedene Bildtypen benutzt: I – Frame (intra – frame): Ein komplettes Vollbild, welches alle Informationen enthält P – Frame (predictet – frame): Einzelbild, welches lediglich die Differenz zum vorhergegangenem Bild enthält B – Frame (bidirctional – frame): werden ausgehend von einem vorhergehenden und nachfolgenden Bild berechnet

Verschiedene Bildtypen MPEG – Format Verschiedene Bildtypen Ein MPEG – Datenstrom besteht in erster Linie aus einer Sequenz von groups-of-pictures (GOP). jede GOP enthält eine I – Frame als erstes Bild dazu mehrere P – Frames die B – Frames werden aus früheren und späteren P – und I – Frames abgeleitet

MPEG – Format Veranschaulichung: Group of Pictures P B B P B B I Startbild ist das I – Frame als Vollbild zum Einstieg

MPEG – Format Veranschaulichung: Group of Pictures Zwischenbilder aus vorherigen I – und P – Frames P B B P B B I Startbild ist das I – Frame als Vollbild zum Einstieg

MPEG – Format Veranschaulichung: Group of Pictures Zwischenbilder aus vorherigen I – und P – Frames P B B P B B Zwischenbilder aus vorigen und folgenden I – und P - Frames I Startbild ist das I – Frame als Vollbild zum Einstieg

Veranschaulichung: Group of Pictures MPEG – Format Veranschaulichung: Group of Pictures P B B P B B I

Veranschaulichung: Group of Pictures MPEG – Format Veranschaulichung: Group of Pictures P B B P B B I

Veranschaulichung: Group of Pictures MPEG – Format Veranschaulichung: Group of Pictures P B B P B B I

Veranschaulichung: Group of Pictures MPEG – Format Veranschaulichung: Group of Pictures P B B P B B I

Veranschaulichung: Group of Pictures MPEG – Format Veranschaulichung: Group of Pictures P B B P B B I

MPEG – Format Bildein – / ausgabe B – Frames werden vom Decoder nur dann entschlüsselt, wenn er den nachfolgenden P – Frame kennt:

MPEG – Format Bildein – / ausgabe B – Frames werden vom Decoder nur dann entschlüsselt, wenn er den nachfolgenden P – Frame kennt: Bilder werden in einer anderen Reihenfolge abgespeichert, als man sie hinterher zu sehen bekommt

MPEG – Format Beispiel: Bildein – / ausgabe Betrachtungsreihenfolge I

MPEG – Format Beispiel: Bildein – / ausgabe Betrachtungsreihenfolge I Übertragungsreihenfolge

Codierung von I – Frames Discrete Cosinustransformation Umwandlung räumlicher Information und Helligkeitswerte in eine Frequenzdarstellung Bild wird in 8x8 große Pixelblöcke aufgetrennt Blöcke werden einzeln bearbeitet Jeder Block durchläuft die DCT Umwandlung bis auf Rundungsfehler verlustfrei Verwandt mit der Fouriertransformation

Codierung von I – Frames Discrete Cosinustransformation Das menschliche Auge ist für hohe Frequenzen weniger empfindlich.

Codierung von I – Frames Discrete Cosinustransformation Das menschliche Auge ist für hohe Frequenzen weniger empfindlich. je nach gewünschtem Kompressionsfaktor Vernachlässigung dieser Anteile Wie geschieht dieses Weglassen von Hochfrequenzanteilen?

Codierung von I – Frames Quantisierung sogenannter Quantisierer sorgt für die Verringerung der DCT – Koeffizienten Koeffizienten nahe Null werden gleich Null gesetzt Dieser ganze Vorgang wird Quantisierung genannt.

Codierung von I – Frames Beispiel: Discrete Cosinustransformation Bild

Codierung von I – Frames Beispiel: Discrete Cosinustransformation 8x8 Pixelblock

Codierung von I – Frames Beispiel: Discrete Cosinustransformation 103 101 102 105 34 56 109 107 30 28 106 104 ursprüngliche Werte

Codierung von I – Frames Beispiel: Discrete Cosinustransformation 103 101 102 105 34 56 109 107 30 28 106 104 Transformierung ursprüngliche Werte DCT – Koeffizienten

Codierung von I – Frames Beispiel: Discrete Cosinustransformation 103 101 102 105 34 56 109 107 30 28 106 104 Farbwerte des Pixel der x-ten Matrixzeile und y-ten Matrixspalte ursprüngliche Werte

Codierung von I – Frames Beispiel: Discrete Cosinustransformation Transformierte Werte in der u – ten Zeile und v – ten Spalte DCT – Koeffizienten

Codierung von I – Frames Beispiel: Discrete Cosinustransformation 103 101 102 105 34 56 109 107 30 28 106 104 405 0,2 -0,2 1,3 30 -0,4 0,7 -3,2 -0,8 -0,5 -0,3 -0,6 -2,0 2,2 -1,6 Transformierung ursprüngliche Werte DCT – Koeffizienten

Codierung von I – Frames Beispiel: Discrete Cosinustransformation DC – Komponente bzw. Gleichanteil f = 0 103 101 102 105 34 56 109 107 30 28 106 104 405 0,2 -0,2 1,3 30 -0,4 0,7 -3,2 -0,8 -0,5 -0,3 -0,6 -2,0 2,2 -1,6 Transformierung ursprüngliche Werte DCT – Koeffizienten

Codierung von I – Frames Beispiel: Quantisierung und Kompression 405 0,2 -0,2 1,3 30 -0,4 0,7 -3,2 -0,8 -0,5 -0,3 -0,6 -2,0 2,2 -1,6 DCT – Koeffizienten

Codierung von I – Frames Beispiel: Quantisierung und Kompression 405 0,2 -0,2 1,3 30 -0,4 0,7 -3,2 -0,8 -0,5 -0,3 -0,6 -2,0 2,2 -1,6 405 1 30 3 -2 2 Quantisierung DCT – Koeffizienten Ergebnismatrix

Codierung von I – Frames Beispiel: Quantisierung und Kompression 405 1 30 3 -2 2 Ergebnismatrix

Codierung von I – Frames Beispiel: Quantisierung und Kompression 405 1 30 3 -2 2 Ergebnismatrix

Codierung von I – Frames Beispiel: Quantisierung und Kompression 405 30 1 -2 2 -3 405 1 30 3 -2 2 Zickzack Ergebnismatrix

Codierung von I – Frames Beispiel: Quantisierung und Kompression Wertefolge nach Zickzack – Auslesung 405 30 1 -2 2 -3 Lauflängen – Codierung 405 1 30 3 2 -2 -3

Codierung von I – Frames Beispiel: Quantisierung und Kompression Wertefolge nach Zickzack – Auslesung 405 30 1 -2 2 -3 1 3 2 1 3 Lauflängen – Codierung 405 1 30 3 2 -2 -3

Codierung von I – Frames Beispiel: Quantisierung und Kompression Wertefolge nach Zickzack – Auslesung 405 30 1 -2 2 -3 1 3 2 1 3 Lauflängen – Codierung 405 1 30 3 2 -2 -3 komprimierte Daten

Codierung von P – & B – Frames Motion Compensation Die Voraussage von P – und B – Frames geschieht mit der sog. „Motion Compensation“, d.h. bewegungskompensiert. Idee: Bildteile werden gesucht, die sich von Frame zu Frame nur verschieben, wie z.B.: sich bewegende Objekte An diese Bilder wird dann ein Bewegungsvektor weitergegeben

Codierung von P – & B – Frames Aufteilung in Makroblöcke Einteilung jedes Bildes in Makroblöcke aus 16x16 Pixeln makroblockweise Abtastung, in welche Richtung sich der Inhalt eines Blocks verschiebt Blöcke werden gemäß des Vektors verschoben und auf das Restbild addiert

Codierung von P – & B – Frames Beispiel

Codierung von P – & B – Frames Beispiel

Codierung von P – & B – Frames Beispiel

Codierung von P – & B – Frames I – Frame oder P – / B – Frame Strebt die Differenz zwischen zwei Makroblöcken gegen Null, so wird hier der Bewegungsvektor berechnet und die Motion Compensation benutzt, um ein P – bzw. B – Frame zu codieren. Werden allerdings keine übereinstimmenden Vektoren gefunden, wird dieses Bild als I – Frame mittels DCT codiert.

Codierung von P – & B – Frames Abtastverfahren

Codierung von P – & B – Frames Abtastverfahren

Schluss Vergleich von Kompressionsraten DCT + Motion Compensation: Datenrate 4 MBit/s Zum Vergleich: unkomprimierter Film mit 30 MByte/s Kompression von 60:1 ohne starken Verlust möglich: 100:1

Noch Fragen, Kienzle?