Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Information und Kommunikation Hartmut Klauck Universität Frankfurt SS 07 16.4.

Ähnliche Präsentationen


Präsentation zum Thema: "Information und Kommunikation Hartmut Klauck Universität Frankfurt SS 07 16.4."—  Präsentation transkript:

1 Information und Kommunikation Hartmut Klauck Universität Frankfurt SS

2 Organisatorisches Vorlesungen: –Montag ct SR 11 –Freitag ct SR 11 Übung: –Donnerstag ct, Raum 307 (Dirk Brendel) Schein: –Gebiet T2, ThBI –Durch Fachgespräch Voraussetzung: Vordiplom Vorkenntnisse: –Wahrscheinlichkeitstheorie –Lineare Algebra

3 Übungszettel Es wird regelmäßig Übungszettel geben, aber keine Übungspunkte Trotzdem dringend zur Bearbeitung empfohlen

4 Literatur Webseite zur Vorlesung: –http://www.thi.informatik.uni- frankfurt.de/~klauck/IK07.htmlhttp://www.thi.informatik.uni- frankfurt.de/~klauck/IK07.html Cover, Thomas: Elements of Information Theory (Wiley) Kushilevitz, Nisan: Communication Complexity (Cambrige UP)

5 Einleitung Themen der Vorlesung: –Informationstheorie –Kommunikationskomplexität –Anwendungen auf andere Modelle

6 Information Wikipedia: –Formaler ist Information die Beseitigung von Unbestimmtheit bzw. die Beseitigung einer Ungewissheit durch Auskunft, Aufklärung, Mitteilung, Benachrichtigung oder Kenntnis über Gegenstände und Phänomene. Aufklärung Phänomene

7 Information Wikipedia: [Informationstheorie] Unter quantitativen Gesichtspunkten der Wahrscheinlichkeit bezieht sich dagegen Information als Terminus in der Informationstheorie auf mathematisch beschreibbare Eigenschaften im Prozess zwischen Sender und Empfänger. Die Informationstheorie beschäftigt sich dabei mit Zeichen als Signale, mit Kodes und Kommunikation. Auch in der Informationstheorie ist der Neuigkeitswert von Bedeutung.ZeichenSignaleKodes Kommunikation

8 Informationstheorie Die Informationstheorie beschäftigt sich mit –Maßen von Information –Übertragung von Information über Kanäle Dies erzeugt im allgemeinen Fehler –Rekonstruktion der Information Fehlerkorrigierende Codes Datenkompression

9 Informationstheorie Im allgemeinen wird in der Informationstheorie das folgende Kanalmodell verwendet: Die betrachtete Kommunikation ist also –Ein Monolog –Dient dazu, die Eingabe der Quelle ans Ziel zu transportieren

10 Kommunikation Im zweiten Teil der Vorlesung betrachten wir ein komplizierteres Modell Wir erlauben Kommunikation mit beliebiger Interaktion Wir betrachten die Berechnung von Funktionen der Eingabe

11 Kommunikationskomplexität Das Kommunikationsmodell Spieler Alice und Bob erhalten Eingaben x bzw. y Die Spieler kommunizieren gemäß eines Protokolls und berechnen f(x,y) Wir sind interessiert an der notwendigen Kommunikation, um eine Funktion f(x,y) zu berechnen

12 Ein Problem der Informationstheorie Die Quelle (Alice) hat Eingaben x 2 {0,1} n, mit einer Wahrscheinlichkeitsverteilung p(x) Die Eingabe x soll zum Empfänger (Bob) übertragen werden Der Kanal sei fehlerfrei Wieviel muss kommuniziert werden?

13 Ein Problem der Kommunikationskomplexität Alice hat eine Eingabe x 2 {0,1} n, Bob eine Eingabe y 2 {0,1} n Alice und Bob wollen (mit Hilfe von Kommunikation) entscheiden, ob x=y Wieviel muss kommuniziert werden?

14 Varianten dieser Fragen Informationstheorie: –Betrachtung verschiedener Kanäle –Beispiel: Jedes übertragene Zeichen geht mit Wahrscheinlichkeit p verloren (und der Verlust wird bemerkt) –Beispiel: Jedes übertragene Zeichen wir mit Wahrscheinlichkeit p verfälscht –Welche Kapazität hat ein Kanal, d.h. wieviel Information kann man nun übertragen?

15 Varianten dieser Fragen Kommunikationskomplexität –Im allgemeinen betrachtet man hier fehlerfreie Kanäle, da die damit zusammenhängenden Probleme durch die Informationstheorie gelöst werden können –Verschiedene Modi von Kommunikation, z.B. randomisierte Kommunikation, nichtdeterministische Kommunikation –Wie beweist man untere und obere Schranken im Kommunikationsmodell? –Anwendungen auf andere Modelle (VLSI, Schaltkreise, Automaten, Datastreams etc.)

16 Überblick über die Vorlesung Wir werden zunächst die grundlegenden Begriffe der Informationstheorie betrachten –Entropie, Information, … Datenkompression und fehlerkorrigierende Codes Exkurs: Kolmogorov Komplexität Dann wechseln wir zur Kommunikationskomplexität Insbesondere Anwendungen der Begriffe aus der Informationstheorie Anwendungen auf untere Schranken

17 Teil I Informationstheorie

18 Historisches Die Informationstheorie wurde von Claude Shannon ( ) begründet Wichtige Arbeit: A Mathematical Theory of Communication (1948)

19 Was ist Information? Information: A difference that makes a difference (Bateson) Unsere grundlegende Informationseinheit ist das bit binary digit Genauer gesagt: ein Bit ist der Informationsgehalt, der in einer Auswahl aus zwei gleichwahrscheinlichen Möglichkeiten enthalten ist

20 Was ist Information? Grundlegend ist dabei eine Wahrscheinlichkeitsverteilung auf den möglichen Ereignissen –Wenn nur ein Ereignis möglich ist, erhalten wir keine Information durch das Eintreten des Ereignisses –Wenn n Ereignisse möglich sind, sollte die erhaltene Information der Länge einer effizienten Beschreibung des Ereignisses entsprechen

21 Was ist Information? Die Informationstheorie ist daher eine statistische Theorie der Information Individuelle Objekte enthalten somit keine Information, erst im Kontext mit anderen Möglichkeiten im Rahmen einer Wahrscheinlichkeitsverteilung ergibt sich Information In der Theorie der Kolmogorov-Komplexität hingegen kann der Informationsgehalt individueller Objekte betrachtet werden.

22 Entropie Usprünglich ein Begriff aus der Physik/Thermodynamik Ein Maß der Ungeordnetheit eines physikalischen Zustandes Wärme: hohe Entropie Von Shannon in die Informationstheorie eingeführt

23 Entropie Seien Ereignisse 1,…,n möglich p(1),…,p(n) sei eine Wahrscheinlichkeitsverteilung Üblicherweise betrachten wir eine Zufallsvariable X Elementarereignissen 1,…,n Dann ist die Entropie durch H(X)=- i=1,…,n p(i) log (p(i)) gegeben Der Logarithmus ist immer zur Basis 2 Es wird die Konvention 0 log 0 = 0 verwendet

24 Entropie Entropie ist ein Erwartungswert –H(X)= i=1,…,n p(i) log (1/p(i)) –Erwartungswert von log(1/p(i)) Entropie ist ein Maß für Unsicherheit, Nichtwissen über den Wert von X

25 Eigenschaften der Entropie 1.H(X) ¸ 0 für alle X 2.H(X) · log n für alle X, die n Werte annehmen können 3.H(X)=0 für Zufallsvariablen X, deren Verteilung auf einem Ereignis konzentriert sind 4.H(X)=log n, gdw X uniform verteilt ist

26 Beweis 1) 0 · p(i) · 1, daher ist log (1/p(i)) ¸ 0 und somit H(X) ¸ 0 3) Wenn p(i)=1 für ein i, dann sind alle anderen p(i)=0, und H(X)=0. Wenn H(X)=0, dann sind alle Summanden entweder -0 log 0 oder -1 log 1, daher ist ein p(i)=1, die anderen p(i)=0.

27 Beweis 2) H(X) · log n für X mit Ereignissen 1,…,n –Beispiel: uniforme Verteilung, alle p(i)=1/n –H(X)=n ¢ 1/n ¢ log n = log n –Fakt 1.1: [Jensens Ungleichung] Sei f eine konvexe Funktion und X eine Zufallsvariable. Dann gilt: E[f(X)] ¸ f(E[x]) Sei f eine konkave Funktion und X eine Zufallsvariable. Dann gilt: E[f(X)] · f(E[x])

28 Beweis 2) H(X)= i=1,…,n p(i) log (1/p(i)) · log i=1,…,n p(i) ¢ (1/p(i)) =log i=1,…,n 1 = log n log ist konkav 4) beweisen wir später

29 Die binäre Entropie Sei X eine Zufallsvariable auf {0,1} p sei Ws von 0, 1-p Ws von 1 Wir setzen H(p)=H(X)=-p log p –(1-p)log (1-p)


Herunterladen ppt "Information und Kommunikation Hartmut Klauck Universität Frankfurt SS 07 16.4."

Ähnliche Präsentationen


Google-Anzeigen