Informationstheorie Begr. von Claude Shannon

Präsentation zum Thema: "Informationstheorie Begr. von Claude Shannon"—  Präsentation transkript:

1

2 Informationstheorie Begr. von Claude Shannon
Information = beseitigte Ungewissheit jede Möglichkeit, welches Zeichen von der Informationsquelle gesendet wird, hat eine bestimmte Wahrscheinlichkeit Berechnung der Information Gleichwahrscheinliche Alternativen Entscheidungsgehalt H [bit] = ld m (m=Anzahl der möglichen Alternativen) Ungleichwahrscheinliche Alternativen H = ld m, p = 1/m, m = 1/p  H = ld 1/p oder: H = - ld p (p = Wahrscheinlichkeit jeder Alternative)  hi = ld 1/pi Der Informationsgehalt ist die Information, die das Auftreten einer bestimmten Alternative betrifft. Meyer-Eppler bezeichnet ihn auch als Überraschungswert der Ereignisses. Claude Shannon – Lebenslauf - .... ===================== Gleichwahrscheinlich z.B. Position auf einem Schachbrett mit 64 Feldern: H = ld 64 = 6 Bit Würfeln (bei 6-seitigem Würfel): H = ld 6 = 2,58 Bit Karte aus Kartenspiel ziehen: H = ld 52 = 5,7 Bit Erstes Bit  2 Alternativen können abgebildet werden Weitere Bits  je eine 2er Potenz mehr (2 Bit  4, 3 Bit  8, 4 Bit  Zustände abbildbar) Beispiel Suchalgorithmus „Ich denke mir eine Zahl zwischen 1 und 100. Welche?“ Zur Demonstration, dass das Maximum an Information nur dann erreicht wird, wenn die Fragen so gestellt werden, dass sie die Möglichkeiten genau halbiert, also „Ja“ und „Nein“ als Antworten gleichwahrscheinlich sind“. ================= Ungleichwahrscheinlich Beispiel: In 9 von 10 Prüfungen besteht Student X, 1mal fällt er durch h (bestanden) = ld 1/0.9 = ld 1,11 = 0,15 bit h (durchgefallen) = ld 1/0.1 = ld 10 = 3,32 bit Der Informationsgehalt des erwarteten Ereignisses „bestanden“ ist niedrig: es überrascht nicht, wenn er besteht. Der Informationsgehalt ist dann groß, wenn er ausnahmsweise mal nicht besteht. Analogie aus dem Journalismus: „Hund vom Mann beißen lassen und nicht umgekehrt; so bekommt der Leser größtmögliche Information für sein Geld“ Oder Eine Nachricht wird dann zu einer Information, wenn sie unerwartet ist.

3 Entropie und Redundanz
H =  pi hi jede Alternative wird mit der Wahrscheinlichkeit ihres Auftretens gewichtet H =  pi ld 1/pi (nach Shannon) Entropie = mittlerer Informationsgehalt Maß für die „Unordnung“ eines Zustandes H = -  pi ld pi Redundanz = Informationsüberschuss R = Hmax - H Redundanz = maximale – tatsächliche Entropie Hmax = 1 Hmax wird nur erreicht, wenn alle Alternativen gleich wahrscheinlich sind Dann ist H = Hmax (Entropie ist maximal) Redundanz nimmt mit zunehmender Entropie ab Redundante Information ist nicht unbedingt überflüssig! sie schützt Nachrichtenübertragungen vor Störungen (sowohl in der Nachrichtentechnik als auch in der Alltagskommunikation) verlorengegangene Information kann man aus den redundanten Anteilen rekonstruieren kann (wenn nicht, muss man nachfragen = Übertragung wiederholen) =========================== Anmerkung Mathematisierung des Informationsbegriffes bezieht sich nur auf objektive Wahrscheinlichkeiten des Auftretens und der Auswahl von Zeichen aus dem Repertoire Semantik und Pragmatik werden komplett vernachlässigt In der Nachrichtentechnik ist es egal, ob man übermittelt: „Vater gestorben Beerdigung Freitag“ Oder „Morgen Faschingsparty erwarte dich“ gleiche Transportkosten gleiche Übergangswahrscheinlichkeiten ========================== Zitat: „Die Adaption nachrichtentechnischer Begriffe kann für eine noch so anspruchslose Kommunikationswissenschaft (Kommunikation als menschliche Kommunikation verstanden) nicht besonders stimulierend sein. Schlimmer ist, dass sie irreführend ist, weil sie die Spezifika der menschlichen Kommunkation schlicht ignoriert, in dem sie diese einreiht in eine Reihe technischer, bestenfalls naturwissenschaftlicher Objekte. Diese Irreführung als Methode ist verantwortungslos.“ Maas/Wunderlich 1972, S. 54

4 Sprachsynthese künstliche Erzeugung von Sprache meist Text-To-Speech, neuerdings immer mehr Text-to-Video („Talking Head“ = sprechendes Gesicht)

5 (Automatische) Spracherkennung
Erkennung von gesprochener Sprache durch Automaten (Computer) D.h. sie wandeln ein Audiosignal in eine Zeichenfolge um Siehe Artikel auf Wikipedia:

6 Für die Spracherkennung nutzbare Information
akustisch-phonetisch lexikalisch phonologisch prosodisch syntaktisch Quelle: Ainsworth: ASR (Handbook of phonetic sciences) Akustisch-phonetisch: Beziehung zwischen den Eigenschaften des akustischen Signals und der phonetischen Transkription einer gesprochenen Äußerung Erfolgt durch Segmentierung und Labeln (traditioneller Ansatz) Vorgehen in der automatischen Spracherkennung: Jeder Vektor wird klassifiziert als steady-periodic, changing-periodic, noise, silence ... Benachbarte Vektoren desselben Typs werden zusammengefasst in phonemgroße (phonemic-sized) Einheiten Anhand von Regeln werden die Eigenschaften jedes Segments kategorisiert und mit phonem-ähnlichen Labeln markiert Syntaktisch: -