Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, 2014 Kommunikationstechnik B Teil 4 – Informationstheorie Stephan.

Ähnliche Präsentationen


Präsentation zum Thema: "Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, 2014 Kommunikationstechnik B Teil 4 – Informationstheorie Stephan."—  Präsentation transkript:

1 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, 2014 Kommunikationstechnik B Teil 4 – Informationstheorie Stephan Rupp Nachrichtentechnik

2 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, Inhalt Informationstheorie Einführung Information und Wahrscheinlichkeit Entropie Entscheidungsgehalt Redundanz

3 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, Informationstheorie Quellenkodierung und Kanalkodierung Was bewirkt die Quellenkodierung? Was bewirkt die Kanalkodierung? Wozu der Aufwand? Nachrichten- quelle Nachricht, z.B. Text, SMS, ,... Information Redundan z Kodierte Nachricht Information Redundan z Quellen- kodierung Kanalkodierung Information Redundan z Übertragung Kanal

4 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, Inhalt Informationstheorie Einführung Information und Wahrscheinlichkeit Entropie Entscheidungsgehalt Redundanz

5 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, Information und Wahrscheinlichkeit Würfelexperiment Beispiel: fairer Würfel p xi = 1/6, 2 Würfe: p xi,xj = p i * p i = 1/36 allgemein: p xi,xj = p xi * p xj Zeichenquelle Zeichenvorrat: X ={ x 1, x 2, x 3, x 4, x 5, x 6 } Wahrscheinlichkeiten: p x1, p x2, p x3, p x4, p x5, p x6 Ideen: (1)Zufallsexperiment löst Ungewissheit auf, liefert also Information, d.h. I xi 1/p xi (2)Information bei 2 Würfen: I x1,x2 = I x1 + I x2 xi

6 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, Information und Wahrscheinlichkeit Information eines Zeichens Definition: Masseinheit: bit Beispiele: –binäres Zeichen X={0, 1}: p xi = 2 -1 => Information = 1 bit –hexadezimales Zeichen: ? –dezimales Zeichen? –Würfel? –Zeichen im BDC-Format? I xi = ld(1/p xi ) = - ld(p xi )

7 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, Inhalt Informationstheorie Einführung Information und Wahrscheinlichkeit Entropie Entscheidungsgehalt Redundanz

8 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, Entropie Informationsgehalt einer Zeichenquelle Zeichenquelle Definition: Entropie Informationsgehalt der Quelle = Information aller Zeichen gewichtet mit deren Wahrscheinlichkeit Beispiel: Zeichenvorrat: X ={ x 1, x 2, x 3, x 4, x 5, x 6 } Wahrscheinlichkeiten: p x1, p x2, p x3, p x4, p x5, p x6 H(X) = p i I i = - p i ld(p i ) Ü

9 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, Inhalt Informationstheorie Einführung Information und Wahrscheinlichkeit Entropie Entscheidungsgehalt Redundanz

10 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, Entscheidungsgehalt Wann ist die Entropie einer Quelle maximal? Beispiele: fairer Würfel p xi = 1/6: H 0 = ? Quelle mit 10 Zeichen? Zeichenquelle Beispiel: Zeichenvorrat: X ={ x 1, x 2, x 3, x 4, x 5, x 6 } Wahrscheinlichkeiten: p x1, p x2, p x3, p x4, p x5, p x6 Definition: Entscheidungsgehalt H 0 = maximale Entropie

11 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, Inhalt Informationstheorie Einführung Information und Wahrscheinlichkeit Entropie Entscheidungsgehalt Redundanz

12 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, Redundanz Die Differenz zwischen Entscheidungsgehalt und Entropie Ü Nachrichten- quelle Nachricht, z.B. Text, SMS, ,... Informationsgehalt Redundan z Entropie max. Entropie Redundanz Definition: Redundanz = H 0 – H(X)

13 Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, Kommunikationstechnik B ENDE Teil 4


Herunterladen ppt "Kommunikationstechnik B1, S. Rupp, A. Gärtner-Niemann4. Semester, Nachrichtentechnik, 2014 Kommunikationstechnik B Teil 4 – Informationstheorie Stephan."

Ähnliche Präsentationen


Google-Anzeigen