Information und Kommunikation Hartmut Klauck Universität Frankfurt SS

Information & Kommunikation 62 Beispiele 5) Erasure Kanal –Symbole werden mit Wahrscheinlichkeit gelöscht. Dies wird bemerkt. –Matrix: –C=max p(x) H(Y)-H( ) –Was ist H(Y)?

Information & Kommunikation 63 Beispiele E sei die Indikatorzufallsvariable von Y=e H(Y)=H(Y,E)=H(E)+H(Y|E) Wir setzen Prob(X=1)=p(1)= und erhalten H(Y) = H( (1- )(1- ), (1- ) ), ) = H( )+ ¢ 0+(1- )H( ) C=max p H(Y)-H( ) =max (1- ) H( ) =1- (wenn =1/2)

Information & Kommunikation 64 Beispiele Intuitiv: ein -Anteil der Bits geht verloren, 1- Bits werden übertragen Wenn der Sender feedback erhält, ist es leicht, die verlorenen Bits neu zu senden Aber es geht auch ohne Feedback!

Information & Kommunikation 65 Eigenschaften der Kanalkapazität Theorem 6.1 –Für alle Kanäle gilt: –Die Kapazität C ¸ 0, da I(X:Y) ¸ 0 –C · log |X|; C · log |Y|, da I(X:Y) · H(X),H(Y) –I(X:Y) ist eine stetige Funktion von p(x) –I(X:Y) ist eine konkave Funktion von p(x)

Information & Kommunikation 66 Eigenschaften der Kanalkapazität I(X:Y) ist eine konkave Funktion auf einer geschlossenen konvexen Menge (der Menge der Verteilungen p(x)) Ein lokales Maximum ist damit auch ein globales Maximum Das Maximum der I(X:Y) ist endlich (und tatsächlich ein Maximum, anstelle eines Supremums) Die Kapazität eines gegebenen Kanals kann daher mit Standard Optimierungsmethoden bestimmt werden.

Information & Kommunikation 67 Kodierung Wir wollen nun Shannons Theorem zur Kodierung auf Kanälen zeigen. Das Theorem besagt, dass wir mit einer Rate entsprechend der Kapazität Information über den Kanal schicken können, ohne wesentlich Daten zu verlieren Dazu müssen Daten kodiert werden –Fehlerkorrigierende Codes

Information & Kommunikation 68 Kodierung Wir betrachten Kommunikationssysteme wie folgendes: Nachrichten W aus einer Menge {1,…,M} werden kodiert über X n, als strings der Länge n über dem Eingabealphabet des Kanal Der Kanal wird n mal benutzt Empfangen wird ein Element von Y n Der Empfänger dekodiert zu W

Information & Kommunikation 69 Kodierung Definition 6.2 –Das n-fache Produkt eines Kanals (mit Matrix p(y|x)) ist gegeben durch Definition 6.3 –Ein (M,n)-Code für einen Kanal besteht aus Einer Kodierungsfunktion C:{1,…,M} ! X n Einer Dekodierungsfunktion D:Y n ! {1,…,M}

Information & Kommunikation 610 Kodierung Definition 6.4 –Die Fehlerwahrscheinlichkeit eines Code/Kanal-Paars auf Eingabe i 2 {1,…,M} ist –Die maximale Fehlerwahrscheinlichkeit ist –Die durchschnittliche Fehlerwahrscheinlichkeit ist

Information & Kommunikation 611 Kodierung Definition 6.5 –Die Rate eines Codes ist durch R=log M/n gegeben Die Rate misst also, wie viel Information pro Zeichen übertragen wird Definition 6.6 –Eine Rate R heißt erreichbar für einen Kanal, wenn es eine Folge von ( d 2 nR e, n)-Codes für alle n gibt, so dass die maximale Fehlerwahrscheinlichkeit der Codes mit n gegen 0 geht

Information & Kommunikation 612 Ausblick Wir werden zeigen, dass alle Raten unterhalb der Kanalkapazität erreichbar sind Dazu müssen wir zu jedem gegebenen Kanal einen Code konstruieren Für praktisch relevante Kanäle spielt außerdem die Effizienz von Kodierung und Dekodierung eine Rolle Wir werden hingegen Codes zufällig konstruieren

Information & Kommunikation 613 Typische Sequenzen Wir betrachten nun ein Hilfsmittel, um zufällige Codes zu dekodieren Intuitiv gesehen wollen wir, gegeben eine Produkt- Verteilung auf X n, die strings aufteilen in typische Sequenzen, und den (unwahrscheinlichen) Rest Definition 6.7 –p sei eine Verteilung auf X –p(x 1,…,x n )= i p(x i ) auf X n –Die typische Menge A enthält alle x 1,…,x n mit

Information & Kommunikation 614 Typische Sequenzen Theorem Wenn x 1,…,x n 2 A, dann gilt H(X)- · –log( p(x 1,…,x n ))/n · H(X)+ 2.Prob(A ) ¸ 1- für genügend großes n 3.|A | · 2 n(H(X)+ ) 4.|A | ¸ (1- )2 n(H(X)- ) für genügend großes n Das bedeutet: A ist eine kleine Menge, ähnlich wahrscheinlicher Sequenzen, die zusammen fast alle Wahrscheinlichkeit ausmachen

Information & Kommunikation 615 Beweis Zu 1): Klar aus der Definition Zu 2): Wenn die X i zufällig sind gilt: E[-log(p(X 1,…,X n ))/n]=E[- i log(p(X i ))/n]=H[X] D.h. A enthält diejenigen Sequenzen, für welche - log(p(x 1,…,x n ))/n nur wenig vom Erwartungswert abweicht Fakt: [Chebyshev] –Sei Y eine Zufallsvariable mit Erwartungswert und Varianz 2. –Dann gilt Prob(|Y- | ¸ ) · 2 / 2 Wenn Y= i=1…n Z i /n für unabhängige Zufallsvariablen Z i, dann gilt 2 (Y)= i=1…n 2 (Z i )/n 2 =E[ 2 (Z i )]/n

Information & Kommunikation 616 Beweis Damit gilt: Prob(|-1/n ¢ log p(x 1,…,x n )-H(X)| ¸ ) geht nach 0 mit großem n Oder: Für alle >0 gilt Prob(|-1/n ¢ log p(x 1,…,x n )-H(X)| 1- für alle genügend großen n Wir können = setzen.

Information & Kommunikation 617 Beweis 3) |A | · 2 n(H(X)+ )

Information & Kommunikation 618 Beweis 4): |A | ¸ (1- )2 n(H(X)- ) für genügend großes n Für genügend gr. n ist Prob(A ) > 1-

Information & Kommunikation 619 Exkurs: Datenkompression Wir wollen das Konzept der typischen Sequenzen anwenden, um Daten zu komprimieren Seien X 1,…,X n unabhängige Zufallsvariablen auf {1,…,m}, die jeweils eine Verteilung p haben Idee: wir teilen alle Sequenzen auf in typische und restliche, und kodieren diese getrennt

Information & Kommunikation 620 Exkurs: Datenkompression Dazu nummerieren wir die typischen Sequenzen beliebig, ebenso die übrigen Um eine typische Sequenz zu kodieren reichen log (|A |)+1= n(H(X)+ )+1 Bits Die restlichen Sequenzen brauchen höchstens n log m+1 Bits. Wir brauchen noch 1 Bit, um anzuzeigen, ob wir eine typische Sequenz kodieren

Information & Kommunikation 621 Exkurs: Datenkompression Damit ist die erwartete Codelänge

Information & Kommunikation 622 Exkurs: Datenkompression Bemerkungen: – = + log m + 2/n kann beliebig klein gemacht werden durch Wahl von, n –Der Code kann leicht kodiert und dekodiert werden –Es gibt zwei Codewortlängen Typische Sequenzen: n(H(X)+ )+2 Andere n log m +2 –Es gibt keinen Fehler bei der Dekodierung –Kleineres bewirkt, dass n größer gewählt werden muss

Information & Kommunikation 623 Exkurs: Datenkompression Theorem 6.9 –Wenn X 1,…,X n unabhängig, und jeweils mit p verteilt sind, können Sequenzen ihrer Werte mit erwarteter Codelänge n(H(X)+ ) für beliebig kleines (und genügend großes n) kodiert werden