Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

G.Heyer Digitale Informationsverarbeitung 1 5. Informationstheorie - Information: Nachricht zusammen mit ihrer Bedeutung für den Empfänger - 2 Aspekte:

Ähnliche Präsentationen


Präsentation zum Thema: "G.Heyer Digitale Informationsverarbeitung 1 5. Informationstheorie - Information: Nachricht zusammen mit ihrer Bedeutung für den Empfänger - 2 Aspekte:"—  Präsentation transkript:

1 G.Heyer Digitale Informationsverarbeitung 1 5. Informationstheorie - Information: Nachricht zusammen mit ihrer Bedeutung für den Empfänger - 2 Aspekte: syntaktisch, semantisch Information - syntaktisch - Nachricht: eine nach vorher festgelegten Regeln zusammengestellte, endliche Folge von Zeichen und Zuständen, die eine Information vermittelt - Signale: physikalische Größen, mit deren Hilfe Zeichen realisiert und zwischen Sender und Empfänger ausgetauscht werden (analoge und digitale Signale) - Datum: digitales Zeichen - Bit: (binary digit) kleinste Darstellungseinheit für Daten in binärer Zahlendarstellung (stets ganzzahlig)

2 G.Heyer Digitale Informationsverarbeitung 2 Information - semantisch - Bedeutung: Interpretation mit Interpretationsschlüssel, i.a. Abbildungsvorschrift - Vorschrift zur Nachrichtenverarbeitung: Codierung - Vorschrift zur Informationsverarbeitung: = - Umschlüsselung: vollständig, komprimierend, selektiv

3 G.Heyer Digitale Informationsverarbeitung 3 Informationsgehalt Entscheidungsinformation: Anzahl optimal gewählter binärer Entscheidungen zur Ermittlung eines Zeichens innerhalb eines Zeichenvorrats Gegeben 8 Zeichen. Nach maximal wieviel Schritten ist ein Zeichen gefunden? Entscheidungsbaum: A B C D E F G H A B C D C D C A-D? A-B? C?

4 G.Heyer Digitale Informationsverarbeitung 4 Allgemeiner Fall Aufteilung nicht in gleich große sondern gleich wahrscheinliche Mengen von Zeichen. 1/2 1/4 1/8 A B C D E F G AEAE B D C F G A E B D G C F BCF D G Das i-te Zeichen ist nach k i Alternativentscheidungen isoliert. Seine Wahrscheinlichkeit ist p i = (1/2) ki, sein Informationsgehalt k i = ld (1/p i ) bit.

5 G.Heyer Digitale Informationsverarbeitung 5 Optimale Codierung BuchstabenP i Codierung A1/4 00 E1/4 01 F1/8 100 C1/8 101 B1/8 110 D1/ G1/ mittlerer Entscheidungsgehalt pro Zeichen (Entropie): H = p 1 I 1 + p 2 I p n I n = p i ld(1/p i ) bit = 2/4 + 2/4 + 3/8... = 2,625

6 G.Heyer Digitale Informationsverarbeitung 6 Shannon-Funktion Gegeben eine Nachrichtenquelle die nur 0 und 1 sendet: P 0, 1-P 0 Mittlerer Informationswert (Entropie) H(p) = p ld(1/p) + (1-p) ld (1/(1-p)) Die Shannon-Funktion erreicht ein Maximum für p= 1/2, d.h. wenn die Dualzeichen 0 und 1 gleich häufig auftreten. Allgemein gilt, daß H(p) maximal ist, wenn alle Zeichen gleich wahrscheinlich sind. S(p) 0 0,5 1 p

7 G.Heyer Digitale Informationsverarbeitung 7 Redundanz Redundanz: Maß für den Anteil einer Nachricht, der keine Information enthält Besitzt in einer Codierung einer Nachrichtenquelle das i-te Zeichen die Wortlänge N i, so ist L= p i N i die mittlere Wortlänge. Unter der Voraussetzung, daß der Zeichenvorrat in genau gleichwahrscheinliche Teilmengen zerlegt werden kann gilt L=H. Im allgemeinen gilt das Shannonsche Codierungstheorem: 1. H L. 2. Jede Nachricht kann so codiert werden, daß die Differenz L-H beliebig klein wird. (Betrachte Binärcodierungen für n k Gruppen von je k Zeichen). Die Differenz L-H heißt Code-Redundanz, die Größe 1-H/L relative Code- Redundanz.

8 G.Heyer Digitale Informationsverarbeitung 8 Informationsgehalt Schriftsprache 30 Buchstaben (inkl. Zwischenraum) I = ld 30 = 4,9 bit Mittlerer Informationsgehalt unter Berücksichtigung von Bigrammen H = 1,6 bit Redundanz 4,9 - 1,6 bit = 3,3 bit (Text auch noch dann lesbar, wenn jeder zweite Buchstabe fehlt)

9 G.Heyer Digitale Informationsverarbeitung 9 Redundanz - Beispiel Bei reduzierter Redundanz wird das Lesen sehr viel mühsamer BEI REDUZIERTER REDUNDANZ WIRD DAS LESEN SEHR VIEL MÜHSAMER BE RE UZ ER ER ED ND NZ IR DA LE EN EH VI LM HS ME (nach Breuer 1995)

10 G.Heyer Digitale Informationsverarbeitung 10

11 G.Heyer Digitale Informationsverarbeitung 11 Generieren einer optimalen Codierung (Fano-Code) Binärcode mit variabler Wortlänge 1. Ordne alle Zeichen nach der Wahrscheinlichkeit ihres Auftretens. 2. Unterteile sie in zwei Gruppen möglichst gleich summierter Wahrscheinlichkeit. 3. Die eine Gruppe erhält das Binärzeichen 1, die andere Unterteile jede Gruppe erneut und verfahre nach (1) - (3) bis jede Gruppe nur aus einem einzigen Zeichen besteht.


Herunterladen ppt "G.Heyer Digitale Informationsverarbeitung 1 5. Informationstheorie - Information: Nachricht zusammen mit ihrer Bedeutung für den Empfänger - 2 Aspekte:"

Ähnliche Präsentationen


Google-Anzeigen