Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Kapitel 3Codes Damit Information in einem Rechner verarbeitet werden kann, muss sie in eine für den Rechner verarbeitbare Form transformiert werden. Dabei.

Ähnliche Präsentationen


Präsentation zum Thema: "Kapitel 3Codes Damit Information in einem Rechner verarbeitet werden kann, muss sie in eine für den Rechner verarbeitbare Form transformiert werden. Dabei."—  Präsentation transkript:

1 Kapitel 3Codes Damit Information in einem Rechner verarbeitet werden kann, muss sie in eine für den Rechner verarbeitbare Form transformiert werden. Dabei kann man sich beliebig ungeschickt anstellen. Dieses Unterkapitel beschreibt, wie eine solche Transformation funktionieren kann, welche Möglichkeiten man dabei hat und gibt ein Maß für die Qualität einer Transformation an. Inhalt 1.Definitionen 2.Codes zur Optimierung der Codelänge 3.Codes zur Fehlererkennung und Fehlerkorrektur 4.Beispiele

2 3.1Definitionen … ein paar Definitionen.. Inhalt 1.Definition 2.Willkürliche Codes 3.Fano-Bedingung 4.Mittlere Wortlänge 5.Redundanz

3 3.1.1Definition: Code Definition: Seien X,Y zwei Alphabete Eine Codierung ist eine Abbildung C:X n Y m aller n-Tupel aus X nach m-Tupel aus Y. oft ist n=1 oft ist X,Y = {0,1} Die Worte aus Y m werden Code genannt. Die Umkehrrelation C -1 bezeichnet man als Dekodierung Definition: Ein Code heißt vollständig, wenn alle Wörter aus X n mit Hilfe des Codes abgebildet werden können. Definition: Für ein Wort X i n aus C:X i n Y i m ist m die Länge l(X i n ) von C(X i n ) (Zur Erinnerung: meist in n=1, d.h. die Codierung bildet ein jeweils ein Zeichen x i auf mehre Zeichen x i m ab) Definition: Ein Code heißt Code gleicher Länge, wenn die Anzahl der Symbole auf die ein Wort abgebildet wird, für alle Worte gleich ist (also: l(X n )=m konstant für alle X n Y m ). Ansonsten heißt der Code: Code unterschiedlicher Länge

4 3.1.2Definition: Eindeutigkeit Definition: Ein Code heißt eindeutig, wenn C -1 injektiv ist, ansonsten heißt er mehrdeutig Codes sollten also (meist) so beschaffen sein, dass sie bei der Decodierung eindeutig sind. Gegenbeispiel: Problem Dekodierung: = (aui) (aoil) zphh * pcll * p A0,22,320, ,60 E0,31,740,520120,60 I0,22,320, ,60 O0,252,000,501120,50 U0,054,320, ,25 R=L-H=0,38H = 2,17L = 2,55

5 3.1.3Definition: Fano-Bedingung Fano-Bedingung: Kein Codewort darf Anfang eines anderen Codewortes sein Beispiel: Die Fano-Bedingung ist hinreichend aber nicht notwendig hinreichend: Wenn die Fano-Bedingung erfüllt ist, ist der Code eindeutig nicht notwendig:Auch eine Codierung, die die Fano-Bedingung nicht erfüllt kann eindeutig sein. Beispiel: a 1, b 10 Anmerkung: Eine Betrachtung der Fano-Bedingung macht eigentlich nur Sinn bei Codes unterschiedlicher Länge (warum ?) zc A101 E01 I100 O11 U11100 zc A00 E10 I010 O11 U011

6 3.1.4Definition: Mittlere Wortlänge Codiert man die Zeichen eines Alphabetes binär (also mit Sequenzen eines 2- Zeichen-Alphabetes, z.B. 0 und 1), so versteht man unter der mittleren Wortlänge L eines Codes die mit den Auftrittswahrscheinlichkeiten gewichtete Summe der Längen l(x i ) der den einzelnen Symbole entsprechenden Codewörtern L = p(x i ) * l(x i ) Beispiel yxxzyx H = 1,5 Bit L = 1,5 Bit

7 3.1.5Definition: Redundanz Die mittlere Wortlänge eines Binärcodes ist immer größer oder gleich dem mittleren Informationsgehalt. Die Differenz zwischen mittlerer Wortlänge und mittlerem Informationsgehalt wird als Redundanz R des Codes bezeichnet: R = L - H Die Redundanz bezogen auf die Wortlänge nennt man relative Redundanz r: r = R / L Redundanz ist also ein Maß für die Qualität einer Kodierung (insofern die Länge eines Codes als Qualität angesehen wird)

8 3.1.6Redundanz – Beispiel Beispiel yxxzyx H = 1,5 Bit L = 1,5 Bit H = 1,156 Bit L = 1,3 Bit H= p i * h i = - p i * ld(p i ) = 0,360+0,464+0,332 = 1,156 L= p i * l i = 0,7+0,4+0,2 = 1,3 R = L - H = 1,3 - 1,156 = 0,144 r = R / L = 0,144 / 1,3 = 0,111

9 3.1.7Codierungsarten Die Entropiekodierung kodiert ungeachtet der zugrundliegenden Information und betrachtet die zu komprimierten Daten als reine Bitsequenz (also nur die Syntax). es werden nur (informationstheoretische) Redundanzen eliminiert, es geht keine Information verloren. unterschiedliche Kompressionsquoten bei unterschiedlichen zu komprimierenden Daten. Die Quellenkodierung ist abhängig von den zu kodierenden Informationen (daher: Quellcodierung). und verwendet dazu die Semantik der zu kodierenden Information. eliminiert für das Ziel (z.B. den Menschen) definierte Redundanzen und ist (meist) verlustbehaftet. Spezifika der Informationen können dadurch gut genutzt werden und man erreicht eine wesentlich bessere Kompressionsraten bei "akzeptabler" Qualität.

10 3.2Huffman-Codierung Oft ist es wichtig, einen Code möglichst kurz zu gestalten aus Gründen der Speicherplatzoptimierung aus Gründen der Übertragungskapazitäts-Optimierung … Idee Häufige Symbole – kurze Codes, Seltene Symbole – lange Codes Kodierung Die Häufigkeit des Auftretens der Bitmuster (Bytes) wird bestimmt Die am häufigsten auftretenden Bytes werden mit kurzen Bitfolgen (Huffmann-Code) kodiert Der Huffmann-Code wird zur Kodierung der Bitfolge verwendet Dekodierung Dekodierer besitzt identischen Huffmann-Code (oder bekommt die Zuordnungstabelle explizit übertragen) Dekodierer setzt den Huffmann-Code in Bytefolge um Die Huffmann-Codierung generiert einen vollständigen, eindeutigen Code unterschiedlicher Länge (der die Fano-Bedingung erfüllt)

11 3.2.1Vorgehen Der Baum wird von oben nach unten mit den zwei Buchstaben (oder Buchstabengruppen) mit den jeweils kleinsten Wahrscheinlichkeiten schrittweise aufgebaut sei P(A) = 0,16 P(B) = 0,51 P(C) = 0,09 P(D) = 0,13 P(E) = 0,11 P(B)=0,51 P(BCEAD)=1,0 10 P(CEAD)=0,49 10 P(D)=0,13P(A)=0,16 P(AD)=0,29 10 P(C)=0,09P(E)=0,11 P(CE)=0,2 10 Kodierung A = 000 B = 1 C = 011 D = 001 E = 010

12 3.2.2Verbesserung Codierung ist optimal, wenn sich die Wahrscheinlichkeiten der Zeichen geschickt ergeben geschickt sind Wahrscheinlichkeiten mit negativen 2er-Potenzen. Durch Betrachtung (und Codierung) von Zeichenpaaren, -drillingen,..., n- Tupeln können solche geschickten Wahrscheinlichkeiten gefunden werden Die Redundanzen lassen sich sogar beliebig verkleinern, weil die Einzelwahrscheinlichkeiten von n-Tupeln beliebig klein werden und dadurch immer geschickter kombiniert werden können. Beispiel: zp A0,80 B0,20 zp AA0,64 AB0,16 BA0,16 BB0,04 Produkt der Einzelwahrscheinlichkeiten (Annahme: Auftritt von A,B unabhängig) zp AAA0,512 AAB0,032 ABA0, BBB0,008...

13 3.2.3Beispiel für Tupelbildung Beispiel zphh * pcll * p A0,800,320,26010,80 B0,202,320,46110,20 R = 0,26H = 0,72L = 1,00 zphh * pcll * p AA0,64 0,41010,64 AB0,162,640,421020,32 BA0,162,640, ,48 BB0,044,640, ,12 R = 0,12H = 1,44L = 1,56

14 3.3Hamming-Codierung Manchmal ist es wichtig, Fehler in einem Code zu erkennen und ggf. zu korrigieren. (z.B. bei der Übertragung) Idee Gezielter Einsatz von Redundanz Nicht alle möglichen Codeworte sind daher gültig Kodierung Dem Code werden zusätzliche Bits hinzugefügt. Die Werte der zusätzlichen Bits stehen in Bezug zu den ursprünglichen Bits Beispiel aus der natürlichen Sprache Ich studiere in Gießer – Fehler kann erkannt und behoben werden Ich liebe rich – Fehler kann erkannt, aber nicht behoben werden

15 3.3.1Beispiel ASCII Paritätsbit bei der 7-bit ASCII-Codierung wähle das 8te Bit so, dass immer eine gerade Anzahl von Bits gesetzt ist (gerade Anzahl = even parity, ungerade Anzahl = odd parity) erhält man eine Nachricht mit ungerader Anzahl, so weiß man, dass (mindestens) ein Bit verkehrt ist. man weiß allerdings nicht welches man weiß auch nicht, ob nicht mehr als ein Bit verkehrt ist man weiß bei richtigem parity-Bit auch nicht, ob nicht mehr als 1 Bit verkehrt ist Idee: den Abstand gültiger Worte so groß wie nötig wählen ZeichenBinärmit even := = 2 A := = 2 B := = 2 C := = 4

16 3.3.2Hamming-Distanz Definition: Der Hamming-Abstand (die Hamming-Distanz D) zwischen zwei Wörtern ist die Anzahl der Stellen, an denen sich zwei Worte gleicher Länge unterscheiden. Beispiel: Hamming-Abstand von (A) und (B) = 2 Definition: Der Hamming-Abstand (die Hamming-Distanz D) eines Codes ist der minimale Hamming-Abstand zwischen zwei beliebigen Wörtern des Codes. Beispiel: Hamming-Abstand von ASCII (mit even parity) = 2 Einige Konsequenzen: Codes mit Hamming-Distanz = 0 sind nicht eindeutig Bei Codes mit Hamming-Distanz = 1 kann das Kippen eines Bits zu einem anderen gültigen Codewort führen (muss nicht) Bei Codes mit Hamming-Distanz = 2 kann ein Ein-Bit Fehler erkannt werden.

17 3.3.3Fehlererkennung Fehler, bei denen höchstens D-1 Bits gestört sind, können sicher erkannt werden einige andere Fehler können, müssen aber nicht unbedingt erkannt werden können. (genau dann, wenn die Hamming-Distanz zwischen zwei Wörtern eines Codes größer als die Distanz des Codes ist) Fehler werden erkannt, wenn ein Codewort ungültig ist 1-Bit-Fehler 2-Bit-Fehler gültiges Codewort nur erkennbares Codewort korrigierbares Codewort A B

18 3.3.4Fehlerkorrektur Fehler, bei denen höchsten (D-1)/2 Bits gestört sind, können sicher korrigiert werden einige andere Fehler können, müssen aber nicht korrigiert werden können (genau dann, wenn die Hamming-Distanz zwischen zwei Wörtern eines Codes größer als die Distanz des Codes ist) Falsches Codewort wird dem nächstmöglichen Codewort (d.h. dem mit der minimalen Distanz) zugeordnet. gültiges Codewort 1-Bit-Fehler 2-Bit-Fehler korrigierbares Codewort A B

19 3.3.5Hamming Idee Jedes Prüfbit stellt die gerade Parität einer gewissen Menge von Bits (einschließlich sich selbst) sicher Jedes Datenbit kann in mehreren dieser Mengen einbezogen sein Die Hamming-Methode Es werden an der 1,2,4,8,... Stelle Prüfbits eingeführt Jedes Prüfbit hat damit in seiner dualen Stellennummer genau eine Stelle mit einer 1 (1,2,4,8,... = 1,10,100,1000,...) Alle Stellen im Wort, die an derselben Stelle eine 1 haben (und an den anderen 1 oder 0) werden aufsummiert 1 001,011,101,111,...also 1,3,5,7,... Stellen ,011,110,111,...also 2,3,6,7,... Stellen ,101,110,111,...also 4,5,6,7,... Stellen Das entsprechende Parity-Bit wird als even-parity Bit gesetzt Die Hamming-Methode generiert einen eindeutigen, vollständigen Code gleicher Länge PDDDPDPP... 18

20 3.3.6Beispiel Hamming zu kodieren: 1011 Prüfbit 1 (001) relevant 011,101,111 also Bit 3,5,7 Summe = 3 Bit setzen Prüfbit 2 (010) relevant 011,110,111 also Bit 3,6,7 Summe = 2 Bit löschen Prüfbit 4 (100) relevant 101,110,111 also Bit 5,6,7 Summe = 2 Bit löschen kodiert: P1P1 101P1PP P

21 3.3.7Beispiel Hamming Fehlerhafter Code: Verfahren prüfe alle Parity-Bits k = Summe der fehlerhaften Bitnummern k gibt die Nummer des gestörten Bits an (nur bei 1-Bit Fehler zuverlässig) Hier: Bit1 prüft 3,5,7: falsch Bit2 prüft 3,6,7: ok Bit4 prüft 5,6,7: falsch k = = 5 Bit5 muss getauscht werden

22 3.4Beispiele Anhand zweier Beispiele soll gezeigt werden, wie: die Natur, Gott (oder das fliegende Spaghetti-Monster) der Mensch Information codiert Inhalt 1.Genetische Codierung 2.Bildcodierung

23 3.4.1Genetische Codierung Beim Menschen ist die Desoxyribonukleinsäure (DNS, engl. DNA) der Träger der genetischen Information und Hauptbestandteil der Chromosomen. Die DNS ist ein kettenförmiges Polymer aus Nukleotiden, die sich in ihren Stickstoffbasen unterscheiden (Thymin/Cytosin bzw. Adenin/Guanin,) das Alphabet des Codes ist also: {Thymin, Cytosin, Adenin, Guanin,} oder auch { T, C, A, G } Je drei aufeinanderfolgende Basen bilden ein Wort Es gibt also pro Wort 4 3 = 64 Kombination die Wortlänge ist also ld(64) bit = 6 bit Ein Gen enthält etwa 200 Worte Ein Chromosom enthält ca bis 10 5 Gene Die Anzahl der Chromosomen pro Zellkern ist beim Menschen 46 Die pro Zellkern gespeicherten Daten haben damit ein Volumen von 6 bit * 200 * 10 5 * 46 = bit * * 10 9 bit * 10 9 Byte = 1 GByte

24 2.2.3Bildcodierung Datenkompression bei der Bildcodierung (z.B. JPEG, MPEG, …) durchläuft typischerweise vier Schritte: 1.Datenaufbereitung erzeugt eine geeignete digitale Darstellung der Information Bsp.: Zerlegung eines Bildes in Pixelblöcke 2.Datenverarbeitung erster Schritt der Kompression, z.B. Transformation aus dem Zeitbereich in den Frequenzbereich (z.B. durch Discrete Cosinus Transformation – DCT) 3.Quantisierung Gewichtung der Amplituden und Zuordnung zu Quantisierungsstufen (nicht notwendigerweise linear) 4.Entropiekodierung verlustfreie Kompression (z.B. durch Huffmann-Codierung)

25 3.6Zusammenfassung des Kapitels Definitionen Codierung, Code, Vollständigkeit, Länge Eindeutigkeit Fano-Bedingung mittlere WortlängeL = p(x i ) * l(x i ) RedundanzR = L - H Codierungsarten Huffmann-Codierung Vorgehen Verbesserungen Hamming-Codierung Beispiel ASCII Hamming-Distanz Fehlererkennung / -korrektur Hamming-Codierverfahren Beispiele Genetische Codierung Bildcodierung


Herunterladen ppt "Kapitel 3Codes Damit Information in einem Rechner verarbeitet werden kann, muss sie in eine für den Rechner verarbeitbare Form transformiert werden. Dabei."

Ähnliche Präsentationen


Google-Anzeigen