Information - syntaktisch 8. Informationstheorie - Information (allgemein): Nachricht zusammen mit ihrer Bedeutung für den Empfänger - 2 Aspekte: syntaktisch, semantisch Information - syntaktisch - Nachricht: eine nach vorher festgelegten Regeln zusammengestellte, endliche Folge von Zeichen und Zuständen, die eine Information vermittelt - Übertragung durch Signale: physikalische Größen, mit deren Hilfe Zeichen realisiert und zwischen Sender und Empfänger ausgetauscht werden (analoge und digitale Signale) => Informationsträger. - Datum: digitales Zeichen - Bit: (binary digit) kleinste Darstellungseinheit für Daten in binärer Zahlendarstellung (stets ganzzahlig)

Information - semantisch - Bedeutung: Interpretation mit Interpretationsschlüssel, i.a. Abbildungsvorschrift - Bedeutung und Wert der Information vom gemeinsamen Kontext von Sender und Empfänger abhängig. - Der inhaltliche Wert von Information ist nicht quantifizierbar. - Folgerung: Verarbeitung von Information im Computer setzt Abstraktion von realweltlichen Zusammenhängen voraus. Im folgenden Maß für die syntaktische Information dargestellt.

Informationsgehalt Entscheidungsinformation: Anzahl optimal gewählter binärer Entscheidungen zur Ermittlung eines Zeichens innerhalb eines Zeichenvorrats Gegeben 8 Zeichen. Nach maximal wieviel Schritten ist ein Zeichen gefunden? Entscheidungsbaum: A B C D E F G H A-D? A B C D A-B? C D C? C

Allgemeiner Fall Aufteilung nicht in gleich große sondern gleich wahrscheinliche Mengen von Zeichen. Buchstaben Pi Codierung A 1/4 00 E 1/4 01 F 1/8 100 C 1/8 101 B 1/8 110 D 1/16 1110 G 1/16 1111 1/2 1/4 1/8 A E B C F A E B D G A B C D E F G D G B D C F G C F Das i-te Zeichen ist nach ki Alternativentscheidungen isoliert. Seine Wahrscheinlichkeit ist pi = (1/2)ki, sein Informationsgehalt ki = ld (1/pi) bit.

Shannon -Information Allgemein ist die Information H pro Zeichen einer (langen) Zeichenkette durch die Shannonsche Formel gegeben: es ist ld der Loarithmus zur Basis 2 und pi die relative Häufigkeit des Zeichens i in der Zeichenkette ist. Die Summe läuft über alle Zeichen i des Zeichenvorrates. Der Ausdruck liefert die Information in Bit. H = -  pi ld pi Für zwei Zeichen mit relativer Häufikgeit p bzw. 1-p gilt H = - p log p + (1-p) log(1-p) H ist als Funktion von p in der Grafik rechts dargestellt (Shannon-Funktion). Maximum bei p = 1/2 => Maximaler Informationsgehalt bei Gleichwahrscheinlichkeit der Zeichen. H(p) p 0 1

Informationsgehalt Schriftsprache 30 Buchstaben (inkl. Zwischenraum) I = ld 30 = 4,9 bit Mittlerer Informationsgehalt unter Berücksichtigung von Bigrammen H = 1,6 bit Redundanz (s.u.) 4,9 - 1,6 bit = 3,3 bit (Text auch noch dann lesbar, wenn jeder zweite Buchstabe fehlt)

Redundanz - Beispiel Bei reduzierter Redundanz wird das Lesen sehr viel mühsamer BEI REDUZIERTER REDUNDANZ WIRD DAS LESEN SEHR VIEL MÜHSAMER BEIREDUZIERTERREDUNDANZWIRDDASLESENSEHRVIELMÜHSAMER BE RE UZ ER ER ED ND NZ IR DA LE EN EH VI LM HS ME (nach Breuer 1995)

Kodierung Eine Kodierung ist eine Abbildung zwischen den Worten zweier Sprachen. Gegeben seien zwei Alphabeten A und B und Sprachen L und M: L  A* und M  B* Kodierung ist jede Abbildung K: L  M Beispiele: Direkte Kodierung = Zuordnung gemäß lexikografischer Ordnung (sofern vorhanden). Beispiel Gray-Code. Eine Binärcodierung ist jede Abbildung K: L  {0,1}*. Eine Dekodierung ist nur möglich, falls die Abbildung auf ihrer Bildmenge eindeutig umkehrbar ist. Einfachere Kodierugen bei konstanter Länge der Kodeworte. Variable Wortlänge (ohne Zwischenräume) => Serienwortkodierung.

Das Shannonsche Codierungstheorem Redundanz: Maß für den Anteil einer Nachricht, der keine Information enthält Besitzt in einer Codierung einer Nachrichtenquelle das i-te Zeichen die Wortlänge Ni, so ist L=  piNi die mittlere Wortlänge. Unter der Voraussetzung, daß der Zeichenvorrat in genau gleichwahrscheinliche Teilmengen zerlegt werden kann gilt L=H. Im allgemeinen gilt das Shannonsche Codierungstheorem: 1. H  L. 2. Jede Nachricht kann so codiert werden, daß die Differenz L-H beliebig klein wird. (Betrachte Binärcodierungen für nk Gruppen von je k Zeichen). Die Differenz L-H heißt Code-Redundanz, die Größe 1-H/L relative Code-Redundanz.

Optimale Codierung Buchstaben Pi Codierung A 1/4 00 E 1/4 01 F 1/8 100 mittlerer Entscheidungsgehalt pro Zeichen (Entropie): H = p1I1 + p2I2 + ... + pnIn =  pi ld(1/pi) bit = 2/4 + 2/4 + 3/8 ... = 2,625

Generieren einer optimalen Codierung (Fano-Code) Binärcode mit variabler Wortlänge 1. Ordne alle Zeichen nach der Wahrscheinlichkeit ihres Auftretens. 2. Unterteile sie in zwei Gruppen möglichst gleich summierter Wahrscheinlichkeit. 3. Die eine Gruppe erhält das Binärzeichen 1, die andere 0. 4. Unterteile jede Gruppe erneut und verfahre nach (1) - (3) bis jede Gruppe nur aus einem einzigen Zeichen besteht.