Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie 8. Informationstheorie - Information (allgemein): Nachricht.

Ähnliche Präsentationen


Präsentation zum Thema: "R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie 8. Informationstheorie - Information (allgemein): Nachricht."—  Präsentation transkript:

1 R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie 8. Informationstheorie - Information (allgemein): Nachricht zusammen mit ihrer Bedeutung für den Empfänger - 2 Aspekte: syntaktisch, semantisch Information - syntaktisch - Nachricht: eine nach vorher festgelegten Regeln zusammengestellte, endliche Folge von Zeichen und Zuständen, die eine Information vermittelt - Übertragung durch Signale: physikalische Größen, mit deren Hilfe Zeichen realisiert und zwischen Sender und Empfänger ausgetauscht werden (analoge und digitale Signale) => Informationsträger. - Datum: digitales Zeichen - Bit: (binary digit) kleinste Darstellungseinheit für Daten in binärer Zahlendarstellung (stets ganzzahlig)

2 R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie Information - semantisch - Bedeutung: Interpretation mit Interpretationsschlüssel, i.a. Abbildungsvorschrift - Bedeutung und Wert der Information vom gemeinsamen Kontext von Sender und Empfänger abhängig. - Der inhaltliche Wert von Information ist nicht quantifizierbar. - Folgerung: Verarbeitung von Information im Computer setzt Abstraktion von realweltlichen Zusammenhängen voraus. Im folgenden Maß für die syntaktische Information dargestellt.

3 R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie Informationsgehalt Entscheidungsinformation: Anzahl optimal gewählter binärer Entscheidungen zur Ermittlung eines Zeichens innerhalb eines Zeichenvorrats Gegeben 8 Zeichen. Nach maximal wieviel Schritten ist ein Zeichen gefunden? Entscheidungsbaum: A B C D E F G H A B C D C D C A-D? A-B? C?

4 R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie Allgemeiner Fall Aufteilung nicht in gleich große sondern gleich wahrscheinliche Mengen von Zeichen. BuchstabenP i Codierung A1/4 00 E1/4 01 F1/8 100 C1/8 101 B1/8 110 D1/ G1/ /2 1/4 1/8 A B C D E F G AEAE B D C F G A E B D G C F BCF D G Das i-te Zeichen ist nach k i Alternativentscheidungen isoliert. Seine Wahrscheinlichkeit ist p i = (1/2) ki, sein Informationsgehalt k i = ld (1/p i ) bit.

5 R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie Allgemein ist die Information H pro Zeichen einer (langen) Zeichenkette durch die Shannonsche Formel gegeben: es ist ld der Loarithmus zur Basis 2 und p i die relative Häufigkeit des Zeichens i in der Zeichenkette ist. Die Summe läuft über alle Zeichen i des Zeichenvorrates. Der Ausdruck liefert die Information in Bit. Shannon -Information 0 1 p H = -  p i ld p i Für zwei Zeichen mit relativer Häufikgeit p bzw. 1-p gilt H = - p log p + (1-p) log(1-p) H ist als Funktion von p in der Grafik rechts dargestellt (Shannon-Funktion). Maximum bei p = 1/2 => Maximaler Informationsgehalt bei Gleichwahrscheinlichkeit der Zeichen. H(p)

6 R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie Informationsgehalt Schriftsprache 30 Buchstaben (inkl. Zwischenraum) I = ld 30 = 4,9 bit Mittlerer Informationsgehalt unter Berücksichtigung von Bigrammen H = 1,6 bit Redundanz (s.u.) 4,9 - 1,6 bit = 3,3 bit (Text auch noch dann lesbar, wenn jeder zweite Buchstabe fehlt)

7 R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie Redundanz - Beispiel Bei reduzierter Redundanz wird das Lesen sehr viel mühsamer BEI REDUZIERTER REDUNDANZ WIRD DAS LESEN SEHR VIEL MÜHSAMER BE RE UZ ER ER ED ND NZ IR DA LE EN EH VI LM HS ME (nach Breuer 1995)

8 R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie Kodierung Eine Kodierung ist eine Abbildung zwischen den Worten zweier Sprachen. Gegeben seien zwei Alphabeten A und B und Sprachen L und M: L  A * und M  B * Kodierung ist jede Abbildung K: L  M Beispiele: Direkte Kodierung = Zuordnung gemäß lexikografischer Ordnung (sofern vorhanden). Beispiel Gray-Code. Eine Binärcodierung ist jede Abbildung K: L  {0,1} *. Eine Dekodierung ist nur möglich, falls die Abbildung auf ihrer Bildmenge eindeutig umkehrbar ist. Einfachere Kodierugen bei konstanter Länge der Kodeworte. Variable Wortlänge (ohne Zwischenräume) => Serienwortkodierung.

9 R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie Das Shannonsche Codierungstheorem Redundanz: Maß für den Anteil einer Nachricht, der keine Information enthält Besitzt in einer Codierung einer Nachrichtenquelle das i-te Zeichen die Wortlänge N i, so ist L=  p i N i die mittlere Wortlänge. Unter der Voraussetzung, daß der Zeichenvorrat in genau gleichwahrscheinliche Teilmengen zerlegt werden kann gilt L=H. Im allgemeinen gilt das Shannonsche Codierungstheorem: 1. H  L. 2. Jede Nachricht kann so codiert werden, daß die Differenz L-H beliebig klein wird. (Betrachte Binärcodierungen für n k Gruppen von je k Zeichen). Die Differenz L-H heißt Code-Redundanz, die Größe 1-H/L relative Code- Redundanz.

10 R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie Optimale Codierung BuchstabenP i Codierung A1/4 00 E1/4 01 F1/8 100 C1/8 101 B1/8 110 D1/ G1/ mittlerer Entscheidungsgehalt pro Zeichen (Entropie): H = p 1 I 1 + p 2 I p n I n =  p i ld(1/p i ) bit = 2/4 + 2/4 + 3/8... = 2,625

11 R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie Generieren einer optimalen Codierung (Fano-Code) Binärcode mit variabler Wortlänge 1. Ordne alle Zeichen nach der Wahrscheinlichkeit ihres Auftretens. 2. Unterteile sie in zwei Gruppen möglichst gleich summierter Wahrscheinlichkeit. 3. Die eine Gruppe erhält das Binärzeichen 1, die andere Unterteile jede Gruppe erneut und verfahre nach (1) - (3) bis jede Gruppe nur aus einem einzigen Zeichen besteht.


Herunterladen ppt "R. Der - Institut für Informatik Vorlesung Digitale Informationsverarbeitung Informationstheorie 8. Informationstheorie - Information (allgemein): Nachricht."

Ähnliche Präsentationen


Google-Anzeigen