Information - syntaktisch 5. Informationstheorie - Information: Nachricht zusammen mit ihrer Bedeutung für den Empfänger - 2 Aspekte: syntaktisch, semantisch Information - syntaktisch - Nachricht: eine nach vorher festgelegten Regeln zusammengestellte, endliche Folge von Zeichen und Zuständen, die eine Information vermittelt - Signale: physikalische Größen, mit deren Hilfe Zeichen realisiert und zwischen Sender und Empfänger ausgetauscht werden (analoge und digitale Signale) - Datum: digitales Zeichen - Bit: (binary digit) kleinste Darstellungseinheit für Daten in binärer Zahlendarstellung (stets ganzzahlig)

Information - semantisch - Bedeutung: Interpretation mit Interpretationsschlüssel, i.a. Abbildungsvorschrift - Vorschrift zur Nachrichtenverarbeitung: Codierung - Vorschrift zur Informationsverarbeitung:   = ‘  - Umschlüsselung: vollständig, komprimierend, selektiv

Informationsgehalt Entscheidungsinformation: Anzahl optimal gewählter binärer Entscheidungen zur Ermittlung eines Zeichens innerhalb eines Zeichenvorrats Gegeben 8 Zeichen. Nach maximal wieviel Schritten ist ein Zeichen gefunden? Entscheidungsbaum: A B C D E F G H A-D? A B C D A-B? C D C? C

Allgemeiner Fall Aufteilung nicht in gleich große sondern gleich wahrscheinliche Mengen von Zeichen. 1/2 1/4 1/8 A E B C F A E B D G A B C D E F G D G B D C F G C F Das i-te Zeichen ist nach ki Alternativentscheidungen isoliert. Seine Wahrscheinlichkeit ist pi = (1/2)ki, sein Informationsgehalt ki = ld (1/pi) bit.

Optimale Codierung Buchstaben Pi Codierung A 1/4 00 E 1/4 01 F 1/8 100 mittlerer Entscheidungsgehalt pro Zeichen (Entropie): H = p1I1 + p2I2 + ... + pnIn =  pi ld(1/pi) bit = 2/4 + 2/4 + 3/8 ... = 2,625

Shannon-Funktion Gegeben eine Nachrichtenquelle die nur 0 und 1 sendet: P0 , 1-P0 Mittlerer Informationswert (Entropie) H(p) = p ld(1/p) + (1-p) ld (1/(1-p)) Die Shannon-Funktion erreicht ein Maximum für p= 1/2, d.h. wenn die Dualzeichen 0 und 1 gleich häufig auftreten. Allgemein gilt, daß H(p) maximal ist, wenn alle Zeichen gleich wahrscheinlich sind. S(p) p 0 0,5 1

Redundanz Redundanz: Maß für den Anteil einer Nachricht, der keine Information enthält Besitzt in einer Codierung einer Nachrichtenquelle das i-te Zeichen die Wortlänge Ni, so ist L=  piNi die mittlere Wortlänge. Unter der Voraussetzung, daß der Zeichenvorrat in genau gleichwahrscheinliche Teilmengen zerlegt werden kann gilt L=H. Im allgemeinen gilt das Shannonsche Codierungstheorem: 1. H  L. 2. Jede Nachricht kann so codiert werden, daß die Differenz L-H beliebig klein wird. (Betrachte Binärcodierungen für nk Gruppen von je k Zeichen). Die Differenz L-H heißt Code-Redundanz, die Größe 1-H/L relative Code-Redundanz.

Informationsgehalt Schriftsprache 30 Buchstaben (inkl. Zwischenraum) I = ld 30 = 4,9 bit Mittlerer Informationsgehalt unter Berücksichtigung von Bigrammen H = 1,6 bit Redundanz 4,9 - 1,6 bit = 3,3 bit (Text auch noch dann lesbar, wenn jeder zweite Buchstabe fehlt)

Redundanz - Beispiel Bei reduzierter Redundanz wird das Lesen sehr viel mühsamer BEI REDUZIERTER REDUNDANZ WIRD DAS LESEN SEHR VIEL MÜHSAMER BEIREDUZIERTERREDUNDANZWIRDDASLESENSEHRVIELMÜHSAMER BE RE UZ ER ER ED ND NZ IR DA LE EN EH VI LM HS ME (nach Breuer 1995)

Generieren einer optimalen Codierung (Fano-Code) Binärcode mit variabler Wortlänge 1. Ordne alle Zeichen nach der Wahrscheinlichkeit ihres Auftretens. 2. Unterteile sie in zwei Gruppen möglichst gleich summierter Wahrscheinlichkeit. 3. Die eine Gruppe erhält das Binärzeichen 1, die andere 0. 4. Unterteile jede Gruppe erneut und verfahre nach (1) - (3) bis jede Gruppe nur aus einem einzigen Zeichen besteht.