Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Information & Kommunikation 41 Information und Kommunikation Hartmut Klauck Universität Frankfurt SS 07 27.4.

Ähnliche Präsentationen


Präsentation zum Thema: "Information & Kommunikation 41 Information und Kommunikation Hartmut Klauck Universität Frankfurt SS 07 27.4."—  Präsentation transkript:

1 Information & Kommunikation 41 Information und Kommunikation Hartmut Klauck Universität Frankfurt SS

2 Information & Kommunikation 42 Random Access Codes Wir geben eine einfache Anwendung von Fanos Ungleichung Strings x 2 {0,1} n werden mit uniformer Verteilung zufällig gezogen Wir suchen einen Code, der es erlaubt, für i 2 {1,…,n} das Bit x i zu bestimmen, dabei soll die durchschnittliche Erfolgswahrscheinlichkeit sein. D.h. es sei erlaubt, für einige x,i die falsche Antwort zu geben. Wir nennen solche Codes random access codes Z.B. reicht es aus, die ersten n von x Bits als Code zu verwenden.

3 Information & Kommunikation 43 Random Access Codes Gibt es kurze Random Access Codes? Theorem 4.1 Jeder Random Access Code hat mindestens (1-H( ))n Bits Länge. Bemerkung: Für konstant muss der Code (n) Bits haben. Die Schranke in 4.1 ist dicht bis auf O(log n)

4 Information & Kommunikation 44 Random Access Codes Beweis: –X sei die Zufallsvariable der zu kodierenden x –H(X)=n –M sei die Zufallsvariable, die dem Code entspricht, m die Länge des Codes –Wenn wir X i mit Ws. i dekodieren können, dann gilt nach Fano 1-H( i )) · I(X i :M) –Nach Kettenregel gilt m ¸ H(M) ¸ I(X:M)= i=1,…,n I(X i :M|X 1,…,X i-1 ) ¸ i=1,…,n I(X i :M), da die X i unabhängig sind –Also ist die Länge des Codes mindestens i=1,…,n (1-H( i )) = n-n E i=1,…,n H( i ) –E i [ i ]= und daher E i=1,…,n H( i ) · H( ), da H konkav –Es folgt eine Codelänge von mindestens n(1-H( ))

5 Information & Kommunikation 45 Ein Kommunikationsspiel Wir haben implizit folgendes Spiel analysiert: –Alice erhält x 2 {0,1} n –Bob erhält i 2 {1,…,n} –Alice sendet eine Nachricht zu Bob –Bobs Aufgabe ist es, x i zu berechnen –Die durchschnittliche Erfolgswahrscheinlichkeit sei Dann muss Alices Nachricht mindestens (1-H( ))n Bits haben Auf der anderen Seite, wenn Bob eine Nachricht senden darf, sind nur log n Bits Kommunikation nötig, damit Alice x i lernt

6 Information & Kommunikation 46 Datenkompression Wir kehren nun zur Frage des noiseless coding zurück Ein Code für eine Zufallsvariable X über {1,…,m} mit Verteilung p ist eine Abbildung C von {1,…,m} nach {0,1,…,D-1}*. D sei die Größe des Codealphabets. l i sei die Länge von C(i) Die erwartete Codelänge ist L(C)= i p(i) l i Beispiel: Die Buchstaben des Alphabets sollen binär kodiert werden. Häufigere Buchstaben wie e oder r sollen kürzere Codes erhalten

7 Information & Kommunikation 47 Datenkompression Wir wollen aber noch weitere Eigenschaften –Die Kodierung soll eindeutig sein, d.h. für i j soll C(i) C(j) gelten –Wenn wir kodierte Zeichen übertragen, muss der Empfänger wissen, wann ein Zeichen endet. Wir wollen kein bestimmtes Ende Symbol zusätzlich verwenden Definition –Ein Code ist präfixfrei, wenn C(i) kein Präfix von C(j) ist für alle i j

8 Information & Kommunikation 48 Beispiel Wir wollen A,B,C,D kodieren 0,1,01,10 ist ein eindeutiger Code, aber nicht präfixfrei 0,10,110,111 ist präfixfrei –Die Folge kann ohne Trennzeichen dekodiert werden

9 Information & Kommunikation 49 Eine Eigenschaft präfixfreier Codes Theorem 4.2 [Kraftsche Ungleichung] –Ein präfixfreier Code mit m Codewortlängen l 1,…,l m über einem Alphabet der Größe D erfüllt: i D -l i · 1 –Gegeben l 1,..,l m, die diese Ungleichung erfüllen, gibt es einen präfixfreien Code mit diesen Codewortlängen

10 Information & Kommunikation 410 Kraftsche Ungleichung Beweis –Teil 1: Gegeben ein präfixfreier Code mit Längen l 1,…,l m –Wir betrachten einen Baum mit Grad D –Die Verzweigungen entsprechen den Buchstaben des Alphabets –Die Blätter den Codeworten

11 Information & Kommunikation 411 Kraftsche Ungleichung Beispiel: –A,B,C,D mit Codeworten 0,10,110,111

12 Information & Kommunikation 412 Kraftsche Ungleichung Die Präfixeigenschaft impliziert, dass kein Vorgänger eines Blattes ein Codewort ist l m sei die größte Codewortlänge Alle (möglichen) Knoten in Tiefe l m sind entweder Codeworte, Nachfolger von Codeworten, oder keins von beidem Ein Codewort in Tiefe l i schließt D l m -l i viele Knoten in Ebene l m als Codeworte aus Alle diese Mengen von ausgeschlossenen Knoten sind paarweise disjunkt Es werden höchstens D l m Knoten in Tiefe l m ausgeschlossen D.h. i D l m -l i · D -l m ) i D -l i · 1

13 Information & Kommunikation 413 Kraftsche Ungleichung

14 Information & Kommunikation 414 Kraftsche Ungleichung Teil 2: –Gegeben l 1,…,l m mit i D -l i · 1 –Wir wollen Worte 1,…,m kodieren –Der (lexikographisch) erste Knoten in Tiefe l 1 ist der Code von 1 (bzw. der Pfad zum Knoten ist mit dem Codewort gelabelt). –Alle Nachfolger des Blattes werden entfernt –Iteration Klar: wir erzeugen einen präfixfreien Code Übung: zeigen, dass dies tatsächlich funktioniert.

15 Information & Kommunikation 415 Optimale Codewortlängen Wir haben nun eine hinreichende und notwendige Bedingung für präfixfreie Codes Was ist nun die erwartete Codewortlänge? Wir definieren H D (X)=- i p(i) log D (p i ), die Entropie zur Basis D

16 Information & Kommunikation 416 Optimale Codewortlängen Theorem 4.3 Jeder präfixfreie Code mit Alphabet {0,..,D-1} für eine Zufallsvariable X auf {1,…,m} hat erwartete Länge i p(i) l i ¸ H D (X)

17 Information & Kommunikation 417 Optimale Codewortlängen Beweis –Wir setzen L= i p(i) l i und betrachten L-H D (X) =

18 Information & Kommunikation 418 Optimale Codewortlängen D D (p||r) ist die relative Entropie zur Basis D c · 1 wegen der Kraft Ungleichung

19 Information & Kommunikation 419 Optimale Codewortlängen Wir kennen nun eine untere Schranke für die erwartete Codelänge Unser Ziel ist es, eine obere Schranke zu finden, d.h. einen Code zu konstruieren Gegeben ist also eine Zufallsvariable X auf {1,…,m} mit Entropie H D (X) und wir wollen einen Code mit Alphabet {0,…,D-1} konstruieren

20 Information & Kommunikation 420 Optimale Codewortlängen Theorem 4.4 –Zu X gibt es einen Code mit erwarteter Länge

21 Information & Kommunikation 421 Optimale Codewortlängen Diese Wahl erfüllt die Kraft Ungleichung Es gilt

22 Information & Kommunikation 422 Optimale Codewortlängen Wir können nun wie in der Konstruktion zur Kraft Ungleichung einen Code angeben. Diese Konstruktion liefert uns also einen Code mit erwarteter Länge zwischen H D (X) und H D (X)+1 Der erhaltene Code ist nicht unbedingt optimal!


Herunterladen ppt "Information & Kommunikation 41 Information und Kommunikation Hartmut Klauck Universität Frankfurt SS 07 27.4."

Ähnliche Präsentationen


Google-Anzeigen