Information und Kommunikation Hartmut Klauck Universität Frankfurt SS

Information & Kommunikation 82 Berechnung des Fehlers Der Fehler setzt sich zusammen aus zwei Ereignissen: –W ist falsch –W ist nicht eindeutig Wir berechnen den erwarteten Fehler über alle Codes E sei das Ereignis, dass bei zufälligem Code und zufälligem W ein Fehler entsteht P e (K) sei die Fehlerws. auf Code K bei typical-set- decoding, Prob(K) die Wahrscheinlichkeit, Code K zu ziehen W (K) ist die Fehlerwahrscheinlichkeit für festes W,K (abhängig vom Kanal)

Information & Kommunikation 83 Berechnung des Fehlers Es gilt

Information & Kommunikation 84 Berechnung des Fehlers Denn: aufgrund der Symmetrie bei der Konstruktion des Codes K hängt der Fehler nicht von W ab, daher betrachten wir nur W=1 D.h. im folgenden betrachten wir die Situation W=1, K(1) wird über den Kanal geschickt für denn zufälligen Code K, Y 1,…,Y n ist die Ausgabe des Kanals

Information & Kommunikation 85 Berechnung des Fehlers K(i) sei der Code von Nachricht i Wir definieren Ereignisse –E i ={i: K(i),Y 1,…,Y n liegt in A } Ein Fehler geschieht wenn –E 1 nicht eintritt (Ausgabe ist nicht gemeinsam typisch mit K(1), das heißt wir dekodieren nicht zu 1) –E 2 [ … [ E 2 nR geschieht (ein anderes W erfüllt, dass K(W), Y 1,…,Y n in A liegt)

Information & Kommunikation 86 Berechnung des Fehlers Damit gilt: Aber:

Information & Kommunikation 87 Berechnung des Fehlers Gemäß der Codekonstruktion sind K(1) und K(j) paarweise unabhängig Daher sind auch Y 1,…,Y n und K(i) paarweise unabhängig für i>1 Die Wahrscheinlichkeit, dass K(i) und Y 1,…,Y n gemeinsam typisch sind, ist daher durch 2 -n(I (X:Y)-3 ) beschränkt

Information & Kommunikation 88 Berechnung des Fehlers Daher gilt: –für genügend gr. n, wenn R<C-3

Information & Kommunikation 89 Zusammenfassung Wir erhalten, dass im Durchschnitt über alle Codes der Fehler klein ist D.h. es gibt mindestens eines Code K*, der kleinen erwarteten Fehler hat P e (K*) · 2 K* kann im Prinzip durch Suchen bestimmt werden Es gilt nun, dass höchstens die Hälfte aller Codeworte in K* zu i 2 {1,…,2 nR } mit Fehler i (K*) ¸ 4 gehören Wenn wir die schlechten Codeworte entfernen, erhalten wir einen Code mit Fehler 4 im worst case Die Rate sinkt dadurch von R auf R-1/n Wir erhalten einen Code mit maximalem Fehler 4 und Rate C-3 n

Information & Kommunikation 810 Zusammenfassung Da wir beliebig klein wählen können, gilt, dass jedes R<C erreichbar ist. Zufallscodes sind sehr effektiv was die Rate angeht, aber Sie können im wesentlichen nur durch eine Liste ihrer Codeworte beschrieben werden Zufallscodes sind schwer zu dekodieren: Maximum-Likelihood Decoding ist langsam für solche Codes

Information & Kommunikation 811 Der zweite Teil Wir wollen nun zeigen, dass alle Raten > C nicht erreichbar sind. Genauer gesagt, zeigen wir folgendes: – Gegeben eine Folge von (2 Rn,n)-Codes für einen Kanal mit Kapazität C –Wenn der (worst case) Fehler gegen 0 geht, gilt R · C

Information & Kommunikation 812 Codes ohne Fehler Wir betrachten zuerst den Fall von Codes mit Fehler 0, d.h. P e =0 Die Ausgabe des Dekodierers ist immer gleich der Nachricht W Dann gilt H(W|Y 1,…,Y n )=0 Wir nehmen an, dass W uniform auf {1,…,2 Rn } verteilt ist Damit gilt H(W)=nR [* zeigen wir später]

Information & Kommunikation 813 Codes ohne Fehler

Information & Kommunikation 814 Codes mit Fehler Wir verwenden Fanos Ungleichung W ist uniform aus {1,…,2 Rn } W=D(Y 1,…,Y n ) ist die Ausgabe des Dekodierers P e =Prob(W W) E mit E=0 wenn W=W; E=1 wenn W W sei eine neue Zufallsvariable

Information & Kommunikation 815 Codes mit Fehler

Information & Kommunikation 816 Codes mit Fehler Zusammengefasst: –Fanos Ungleichung: Für einen (2 Rn,n)-Code K gilt H(K(W)|Y 1,…,Y n ) · 1+P e nR

Information & Kommunikation 817 Codes mit Fehler Wir zeigen nun ein Lemma zu Kapazität Lemma 8.1 –Seien X 1,…,X n gemäß irgendeiner Verteilung gewählt, und dann in den n-fachen Produktkanal eines gedächtnislosen Kanals mit Kapazität C gegeben –Y 1,…,Y n sei die Ausgabe –Dann gilt I(X 1,…,X n : Y 1,…,Y n ) · nC

Information & Kommunikation 818 Beweis

Information & Kommunikation 819 Beweis Dabei gilt * wegen der Gedächtnislosigkeit des Kanals: –Y i ergibt sich aus X i mittels des Kanals –Wenn über X i konditioniert wird, ist Y i unabhängig von den anderen X j und Y j

Information & Kommunikation 820 Codes mit Fehler Wir können den Beweis nun abschließen Angenommen P e geht gegen 0 mit großen n

Information & Kommunikation 821 Codes mit Fehler R · P e R +1/n+C Die ersten beiden Terme gehen gegen 0, daher folgt R · C Wir erhalten ebenfalls: P e ¸ 1-C/R-1/(nR) –d.h. wenn R größer als C ist, erhalten wir substantiellen Fehler Tatsächlich geht der Fehler für alle R>C gegen 1 (anderer Beweis notwendig) Es gibt für manche Kanäle Codes, die genau C erreichen