Mathematische Grundlagen der Video – Kompression

Präsentation zum Thema: "Mathematische Grundlagen der Video – Kompression"—  Präsentation transkript:

1 Mathematische Grundlagen der Video – Kompression
„GIS und Multimedia“ Mathematische Grundlagen der Video – Kompression von Christian Müller

2 Was hat das Thema mit dem Studium zu tun?
Allgemeines Was hat das Thema mit dem Studium zu tun? Einsatz von Videos im geodätischen Arbeitsbereich: Städtebauliche Planung Zeigen von Ist – Zuständen Photorealistische Visualisierung geplanter Bauobjekte Virtuelle Realität Routenplanung Wege als Videos zeigen Lehre Aufnahme von Vorlesungen und Vorträgen Animationen

3 Problem: große Datenmenge
Allgemeines Woraus besteht ein Film? Ein Film besteht aus einer Reihe von aufeinanderfolgenden Bildern Jedes Bild für sich kann man als Bitmap – Vollbild betrachten Problem: große Datenmenge

4 Allgemeines viiieeeel zu groß!!! Rechenbeispiel
PAL – Standard: 720 x 576 Pixel = Pixel Pixel x 3 (RGB Werte pro Pixel) = Byte Byte x 25 Bilder/s = Byte 1 Sekunde Film = 30 MByte 90 Minuten Film = 156 GByte viiieeeel zu groß!!!

5 Allgemeines Datenkompression
Verfahren, um die Anzahl der Bits eines Signals herabzu – zusetzen Man unterscheidet: Verlustfreie Kompression: Nach der Dekompression kann das ursprüngliche Signal wieder vollständig hergestellt werden Verlustbehaftete Kompression: Das Signal wird nur annähernd wiederhergestellt

6 MPEG – Format MPEG – Familie MPEG 1 MPEG 2 MPEG 4
Findet Anwendung bei sog. VideoCD VHS ähnliche Qualität MPEG 2 Kompatibel zu MPEG 1 Anwendung in der DVD – Technologie und im digitalen Fernsehen (Premiere World) MPEG 4 DivX, Echtzeitkommunikation, Mobile Multimedia UMTS

7 Vergleichen von Bildern
MPEG – Format Vergleichen von Bildern Viele Informationen bleiben gleich, z.B.: der Hintergrund Idee: überflüssige Informationen nicht mehrmals speichern redundante Informationen auslassen Unterschied zwischen zwei Bilder wird gespeichert Bild um die Unterschiede zum vorhergehenden Bild ergänzen

8 Verschiedene Bildtypen
MPEG – Format Verschiedene Bildtypen Es werden drei verschiedene Bildtypen benutzt: I – Frame (intra – frame): Ein komplettes Vollbild, welches alle Informationen enthält P – Frame (predictet – frame): Einzelbild, welches lediglich die Differenz zum vorhergegangenem Bild enthält B – Frame (bidirctional – frame): werden ausgehend von einem vorhergehenden und nachfolgenden Bild berechnet

9 Verschiedene Bildtypen
MPEG – Format Verschiedene Bildtypen Ein MPEG – Datenstrom besteht in erster Linie aus einer Sequenz von groups-of-pictures (GOP). jede GOP enthält eine I – Frame als erstes Bild dazu mehrere P – Frames die B – Frames werden aus früheren und späteren P – und I – Frames abgeleitet

10 MPEG – Format Veranschaulichung: Group of Pictures P B B P B B I
Startbild ist das I – Frame als Vollbild zum Einstieg

11 MPEG – Format Veranschaulichung: Group of Pictures
Zwischenbilder aus vorherigen I – und P – Frames P B B P B B I Startbild ist das I – Frame als Vollbild zum Einstieg

12 MPEG – Format Veranschaulichung: Group of Pictures
Zwischenbilder aus vorherigen I – und P – Frames P B B P B B Zwischenbilder aus vorigen und folgenden I – und P - Frames I Startbild ist das I – Frame als Vollbild zum Einstieg

13 Veranschaulichung: Group of Pictures
MPEG – Format Veranschaulichung: Group of Pictures P B B P B B I

14 Veranschaulichung: Group of Pictures
MPEG – Format Veranschaulichung: Group of Pictures P B B P B B I

15 Veranschaulichung: Group of Pictures
MPEG – Format Veranschaulichung: Group of Pictures P B B P B B I

16 Veranschaulichung: Group of Pictures
MPEG – Format Veranschaulichung: Group of Pictures P B B P B B I

17 Veranschaulichung: Group of Pictures
MPEG – Format Veranschaulichung: Group of Pictures P B B P B B I

18 MPEG – Format Bildein – / ausgabe
B – Frames werden vom Decoder nur dann entschlüsselt, wenn er den nachfolgenden P – Frame kennt:

19 MPEG – Format Bildein – / ausgabe B – Frames werden vom Decoder nur dann entschlüsselt, wenn er den nachfolgenden P – Frame kennt: Bilder werden in einer anderen Reihenfolge abgespeichert, als man sie hinterher zu sehen bekommt

20 MPEG – Format Beispiel: Bildein – / ausgabe Betrachtungsreihenfolge I

21 MPEG – Format Beispiel: Bildein – / ausgabe Betrachtungsreihenfolge I
Übertragungsreihenfolge

22 Codierung von I – Frames
Discrete Cosinustransformation Umwandlung räumlicher Information und Helligkeitswerte in eine Frequenzdarstellung Bild wird in 8x8 große Pixelblöcke aufgetrennt Blöcke werden einzeln bearbeitet Jeder Block durchläuft die DCT Umwandlung bis auf Rundungsfehler verlustfrei Verwandt mit der Fouriertransformation

23 Codierung von I – Frames
Discrete Cosinustransformation Das menschliche Auge ist für hohe Frequenzen weniger empfindlich.

24 Codierung von I – Frames
Discrete Cosinustransformation Das menschliche Auge ist für hohe Frequenzen weniger empfindlich. je nach gewünschtem Kompressionsfaktor Vernachlässigung dieser Anteile Wie geschieht dieses Weglassen von Hochfrequenzanteilen?

25 Codierung von I – Frames
Quantisierung sogenannter Quantisierer sorgt für die Verringerung der DCT – Koeffizienten Koeffizienten nahe Null werden gleich Null gesetzt Dieser ganze Vorgang wird Quantisierung genannt.

26 Codierung von I – Frames
Beispiel: Discrete Cosinustransformation Bild

27 Codierung von I – Frames
Beispiel: Discrete Cosinustransformation 8x8 Pixelblock

28 Codierung von I – Frames
Beispiel: Discrete Cosinustransformation 103 101 102 105 34 56 109 107 30 28 106 104 ursprüngliche Werte

29 Codierung von I – Frames
Beispiel: Discrete Cosinustransformation 103 101 102 105 34 56 109 107 30 28 106 104 Transformierung ursprüngliche Werte DCT – Koeffizienten

30 Codierung von I – Frames
Beispiel: Discrete Cosinustransformation 103 101 102 105 34 56 109 107 30 28 106 104 Farbwerte des Pixel der x-ten Matrixzeile und y-ten Matrixspalte ursprüngliche Werte

31 Codierung von I – Frames
Beispiel: Discrete Cosinustransformation Transformierte Werte in der u – ten Zeile und v – ten Spalte DCT – Koeffizienten

32 Codierung von I – Frames
Beispiel: Discrete Cosinustransformation 103 101 102 105 34 56 109 107 30 28 106 104 405 0,2 -0,2 1,3 30 -0,4 0,7 -3,2 -0,8 -0,5 -0,3 -0,6 -2,0 2,2 -1,6 Transformierung ursprüngliche Werte DCT – Koeffizienten

33 Codierung von I – Frames
Beispiel: Discrete Cosinustransformation DC – Komponente bzw. Gleichanteil f = 0 103 101 102 105 34 56 109 107 30 28 106 104 405 0,2 -0,2 1,3 30 -0,4 0,7 -3,2 -0,8 -0,5 -0,3 -0,6 -2,0 2,2 -1,6 Transformierung ursprüngliche Werte DCT – Koeffizienten

34 Codierung von I – Frames
Beispiel: Quantisierung und Kompression 405 0,2 -0,2 1,3 30 -0,4 0,7 -3,2 -0,8 -0,5 -0,3 -0,6 -2,0 2,2 -1,6 DCT – Koeffizienten

35 Codierung von I – Frames
Beispiel: Quantisierung und Kompression 405 0,2 -0,2 1,3 30 -0,4 0,7 -3,2 -0,8 -0,5 -0,3 -0,6 -2,0 2,2 -1,6 405 1 30 3 -2 2 Quantisierung DCT – Koeffizienten Ergebnismatrix

36 Codierung von I – Frames
Beispiel: Quantisierung und Kompression 405 1 30 3 -2 2 Ergebnismatrix

37 Codierung von I – Frames
Beispiel: Quantisierung und Kompression 405 1 30 3 -2 2 Ergebnismatrix

38 Codierung von I – Frames
Beispiel: Quantisierung und Kompression 405 30 1 -2 2 -3 405 1 30 3 -2 2 Zickzack Ergebnismatrix

39 Codierung von I – Frames
Beispiel: Quantisierung und Kompression Wertefolge nach Zickzack – Auslesung 405 30 1 -2 2 -3 Lauflängen – Codierung 405 1 30 3 2 -2 -3

40 Codierung von I – Frames
Beispiel: Quantisierung und Kompression Wertefolge nach Zickzack – Auslesung 405 30 1 -2 2 -3 1 3 2 1 3 Lauflängen – Codierung 405 1 30 3 2 -2 -3

41 Codierung von I – Frames
Beispiel: Quantisierung und Kompression Wertefolge nach Zickzack – Auslesung 405 30 1 -2 2 -3 1 3 2 1 3 Lauflängen – Codierung 405 1 30 3 2 -2 -3 komprimierte Daten

42 Codierung von P – & B – Frames
Motion Compensation Die Voraussage von P – und B – Frames geschieht mit der sog. „Motion Compensation“, d.h. bewegungskompensiert. Idee: Bildteile werden gesucht, die sich von Frame zu Frame nur verschieben, wie z.B.: sich bewegende Objekte An diese Bilder wird dann ein Bewegungsvektor weitergegeben

43 Codierung von P – & B – Frames
Aufteilung in Makroblöcke Einteilung jedes Bildes in Makroblöcke aus 16x16 Pixeln makroblockweise Abtastung, in welche Richtung sich der Inhalt eines Blocks verschiebt Blöcke werden gemäß des Vektors verschoben und auf das Restbild addiert

44 Codierung von P – & B – Frames
Beispiel

45 Codierung von P – & B – Frames
Beispiel

46 Codierung von P – & B – Frames
Beispiel

47 Codierung von P – & B – Frames
I – Frame oder P – / B – Frame Strebt die Differenz zwischen zwei Makroblöcken gegen Null, so wird hier der Bewegungsvektor berechnet und die Motion Compensation benutzt, um ein P – bzw. B – Frame zu codieren. Werden allerdings keine übereinstimmenden Vektoren gefunden, wird dieses Bild als I – Frame mittels DCT codiert.

48 Codierung von P – & B – Frames
Abtastverfahren

49 Codierung von P – & B – Frames
Abtastverfahren

50 Schluss Vergleich von Kompressionsraten
DCT + Motion Compensation: Datenrate 4 MBit/s Zum Vergleich: unkomprimierter Film mit 30 MByte/s Kompression von 60:1 ohne starken Verlust möglich: 100:1

51 Noch Fragen, Kienzle?