Information und Kommunikation Hartmut Klauck Universität Frankfurt SS 07 23.4.

Nichtnegativität Theorem 3.1 Beweis: D(p||q)¸ 0 für alle p,q Sei A={i:p(i)> 0} der Träger von p Dann:

Information und relative Entropie Wir wollen I(X:Y)¸ 0 zeigen Seien also X,Y mit Verteilung p gegeben Sei pX die Grenzverteilung von X pY von Y Setze q=pX­pY, d.h. q(i,j)=pX(i)pY(j) I.A. q(i,j)p(i,j)

Information und relative Entropie Lemma 3.2 I(X:Y)=D(p||q)=D(XY||X­Y) Beweis:

Information und relative Entropie Korollar 3.3 I(X:Y)¸0 für alle X,Y

Entropie und relative Entropie Theorem 3.4 H(X)=log n-D(p||u), wobei X eine Zufallsvariable auf {1,…,n} ist, p die Verteilung von X, und u die uniforme Verteilung auf {1,…,n}. Beweis: log n - D(p||u) =log n - i=1,...,n p(i) log (p(i)¢ n) =H(X)

Konvexität Theorem 3.5 Die relative Entropie ist konvex: Seien p1,p2,q1,q2 Verteilungen und 0·· 1, dann gilt D(p1+(1-)p2||q1+(1-)q2) ·  D(p1||q1)+ (1-) D(p2||q2)

Ein Korollar Mit Theoremen 3.4 und 3.5 folgt, dass die Entropie konkav ist, d.h. Korollar 3.6 H(p1+(1-)p2) ¸  H(p1)+ (1-) H(p2)

Maximale Entropie Wir haben gesehen, dass für alle Zufallsvariablen X auf {1,…,n} gilt: H(X)· log n Die uniforme Verteilung hat H(X)=log n Gibt es noch andere Verteilungen mit H(X)=log n? Theorem 3.7 Wenn H(X)=log n (für ZV X auf {1,…,n}), dann ist X uniform verteilt.

Maximale Entropie Beweis: Sei X mit Verteilung p gegeben u sei die uniforme Verteilung H(X)= log n – D(p||u) Daher D(p||u)= log n –H(X)=0 Somit gilt p=u

Zusammenfassung Maße in der Informationstheorie: Entropie, Information, relative Entropie Diese Maße sind nichtnegativ Entropie misst Unbestimmtheit, Information Korrelation (bzw. Sinken der Unbestimmtheit durch neues Wissen), relative Entropie ist eine Distanzmaß für Verteilungen Eigenschaften: Kettenregel, verschiedene Ungleichungen und Schranken, Entropie konkav

Data Processing Inequality Kann Information durch „Datenverarbeitung“ vergrößert werden? Zufallsvariablen X,Y,Z bilden eine Markov-Kette (X! Y! Z), wenn p(x,y,z)=p(x)p(y|x)p(z|y). D.h. Z hängt nur von Y, aber nicht direkt von X

Data Processing Inequality Theorem 3.8 Wenn X! Y! Z , dann I(X:Z)· I(X:Y) Beweis: I(X:YZ)=I(X:Z)+I(X:Y|Z) =I(X:Y)+I(X:Z|Y) X und Z sind unabhängig wenn über Y konditioniert wird, daher gilt I(X:Z)+I(X:Y|Z)=I(X:Y) und das Theorem folgt mit Korollar 3.3.

Data Processing Inequality Interpretation: Wenn Information über X in einer Zufallsvariable Y gegeben wird, und Y zu Z weiterverarbeitet wird, kann die Information über X nicht gesteigert werden.

Noiseless Coding Sei X eine Zufallsvariable auf {0,1}n mit Entropie H(X) Wir wollen den Wert von X von Alice zu Bob kommunizieren Dabei verlaufe die Kommunikation über einen fehlerfreien Kanal Wie viele Bits muss Alice senden? Im Durchschnitt Im worst case

Noiseless Coding Wir nehmen an, dass Bob die x ohne Fehler rekonstruieren muss Worst Case Szenario: alle x2{0,1}n haben positive Wahrscheinlichkeit. Alice muss somit n Bits im worst case kommunizieren, da sonst zwei x,x‘ dieselbe Nachricht hätten Durchschnitts Szenario: Wie viele Bits ? Uns interessiert Ex [ |m(x)| ], wobei m(x) die Nachricht für x sei.

Noiseless Coding Wir zeigen zunächst nur folgendes: Theorem 3.9 Noiseless Coding für eine Zufallsvariable X benötigt Nachrichten mit Entropie mindestens H(X) Beweis: M sei die Zufallsvariable der Nachrichten von Alice an Bob. Z sei Bob‘s Ausgabe. Z=X mit Wahrscheinlichkeit 1, d.h. I(Z:X)=H(X) Mit der Data Processing Ungleichung folgt H(M)¸ I(M:X)¸ I(Z:X)=H(X) Wir werden später zeigen, dass H(X) auch eine untere Schranke für die Codelänge ist.

Entropie und Fehler Angenommen, es gibt ein Paar von Zufallsvariablen X,Y Wir haben Zugriff auf Y, wollen aber den Wert von X „raten“ Wenn X und Y unabhängig sind, haben wir keine Information durch Y In diesem Fall würden wir das wahrscheinlichste i als Wert von X wählen, ohne Y zu beachten Wenn H(X|Y)=0, dann gibt es zu jedem Y=j genau ein X=i mit p(i|j)=1, d.h. Fehler 0 Allgemein bestimmen wir eine Zufallsvariable Z als Funktion von Y, und die Fehlerwahrscheinlichkeit ist Pe=Prob(XZ)

Fanos Ungleichung Fanos Ungleichung stellt eine Verbindung zwischen dem Fehler und der relativen Entropie her Theorem 3.10 [Fano] H(Pe) + Pe log (n-1)¸ H(X|Y) Beispiel: Sei n=2, und X sei uniform verteilt. Dann gilt H(Pe)¸ H(X|Y) bzw. 1-H(Pe)· I(X:Y). Z.B. für Fehler 0.1 braucht man I(X:Y)>0.53

Fanos Ungleichung Beweis: Wir definieren eine (Fehler-) Zufallsvariable E=1 wenn XZ und E=0 wenn X=Z H(E,X|Y)=H(X|Y)+H(E|X,Y) H(E,X|Y)=H(E|Y)+H(X|E,Y) H(E|X,Y)=0 H(E|Y)· H(Pe) H(X|E,Y)=Prob(E=0)¢H(X|Y,E=0) +Prob(E=1)¢H(X|Y,E=1) · (1-Pe)¢0 + Pe log(n-1) (*) Damit gilt: H(X|Y)· H(Pe)+Pe log (n-1) (*): wenn E=1, wissen wir, dass eine Möglichkeit für den Wert von X (nämlich der Wert von Z) nicht mehr erlaubt ist