Datenkompression mit der Burrows-Wheeler-Transformation (BWT)

Präsentation zum Thema: "Datenkompression mit der Burrows-Wheeler-Transformation (BWT)"—  Präsentation transkript:

1 Datenkompression mit der Burrows-Wheeler-Transformation (BWT)
Andreas Junghans, IM2

2 Inhalt Verfahren zur Datenkompression
Die Burrows-Wheeler-Transformation (BWT) Datenkompression mit der BWT Implementierung Zusammenfassung und Ausblick

3 Verfahren zur Datenkompression
verlustfrei und verlustbehaftet Wörterbücher und Statistiken Wörterbücher: schnell Statistiken: gute Kompression BWT BWT

4 Verfahren zur Datenkompression
adaptiv und statisch Ströme und Blöcke Code-Tabelle/Wörterbuch 0010 1101 0101 1010

5 Die Burrows-Wheeler-Transformation
BWT = Vorsortierung (reversible Transformation) verlustfrei statistisch adaptiv oder statisch blockorientiert (ab 100 KB) Geschwindigkeit vergleichbar Wörterbüchern Effizienz vergleichbar Statistiken

6 Die Burrows-Wheeler-Transformation
Vorwärtstransformation HelloCello ooHCeellll

7 Die Burrows-Wheeler-Transformation
Rücktransformation

8 Die Burrows-Wheeler-Transformation
Eigenschaften Gruppen gleicher Zeichen wenige, kurze Unterbrechungen a: rray swap(pStart a: rray localIndex = a: rray * (n a: rray (i.e. the posit a: rray (needed for rec a: rray (which must be A: rray = new byte[1]; a: rray and outputs the a: rray for * sortin a: rray must not be ide a: rray of <code>int</c a: rray of MTF codes

9 Datenkompression mit der BWT
Ablauf BWT MTF RLE + Huffman / AC MTF: Move-To-Front-Coding („Nach-vorne-Codierung“) RLE: Run-Length-Encoding (Lauflängen-Codierung) AC: Arithmetische Codierung

10 Datenkompression mit der BWT
MTF: Move-To-Front-Coding „A“ „A“ „B“ 1 1 1 1 1 „A“ ... ... ... ... 65 „A“ 65 65 65 „?“ „AAB“ 66 „B“ 66 „B“ 66 „B“ 66 65, 0, 66 67 „C“ 67 „C“ 67 „C“ 67 „C“ ... ... ... ... 255 255 255 255 255 255 255 255

11 Datenkompression mit der BWT
MTF: Move-To-Front-Coding

12 Implementierung Speicher sparen (800 GB vs. 4,4 MB)
Effiziente Sortierung RLE vor BWT (Rekursionstiefe!) Huffman mit Codes für 0-Reihen Effizienzvergleich Datei Original WinZip bzip2 Eigenbau SRC-124.pdf (81%) (83%) (84%) opngl32p.cpp (9%) (6%) (7%) powerpnt.exe (51%) (48%) (50%)

13 Zusammenfassung und Ausblick
BWT ist Vorsortierung von Daten Ergebnis läßt sich meist sehr gut komprimieren Einsatz von RLE und statistischen Verfahren Andere Kompressionsmöglichkeiten? Andere Transformationen? Verlustbehaftete Kompression?