Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013.

Ähnliche Präsentationen


Präsentation zum Thema: "1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013."—  Präsentation transkript:

1 1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt

2 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

3 Wahrscheinlichkeitsraum Modell zur Beschreibung von Zufallsexperimenten Ein Wahrscheinlichkeitsraum ist ein normierter Maßraum Es gilt: Ein Wahrscheinlichkeitsraum ist ein Maßraum (Ω,, P) Dabei ist Ω eine Menge eine σ-Algebra in Ω, und P ein Maß auf mit der Normierungsbedingung P(Ω) = 1. 3 Bauer, 2001, 4 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

4 σ-Algebra eine Mengenalgebra, die unter abzählbar unendlichen Vereinigungen abgeschlossen ist Mengensystem über Ω mit folgenden Eigenschaften ø A A 1, A 2, … Die Elemente A der σ-Algebra eines Wahrscheinlichkeitsraumes (Ω,, P) heißen Ereignisse Die Elemente ω von Ω heißen Elementarereignisse 4© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

5 Wahrscheinlichkeitsmaß P(A) ist die Wahrscheinlichkeit von A oder für das Eintreten des Ereignisses A. eine Abbildung P : A [1,0] mit den Eigenschaften P(A) 0 für jedes A Gilt A 1, A 2, … mit so gilt P(Ω) = 1 5© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

6 Komponenten des Wahrscheinlichkeitsraumes 6 BezeichnungErläuterung (Ω,,P)Wahrscheinlichkeits raum ΩErgebnismengeMenge aller Elementarereignisse ωElementarereignisElement von Ω σ-Algebra über ΩEreignisraumMenge aller möglichen Ereignisse; -Nicht notwendigerweise jede Teilmenge von Ω, mindestens - Ω als sicheres Ereignis - als unmögliches Ereignis A σ-Algebra über Ω Ereignis © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

7 Komponenten des Wahrscheinlichkeitsraumes: Beispiel 1 7 BezeichnungBeispiel (Ω,,P)Wahrscheinlichkeits raum ΩErgebnismenge{a,b,c} ωElementarereignisa σ-Algebra über ΩEreignisraum{ {a,b,c}, {a,b},{a,c}, {a}, {b,c}, {b}, {c}, {} } A σ-Algebra über Ω Ereignis{a,b,c} © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

8 Komponenten des Wahrscheinlichkeitsraumes: Beispiel 2 (Verkehrsampel) 8 BezeichnungBeispiel (Ω,F,P)Wahrscheinlichkeits raum ΩErgebnismenge{rot,gelb,grün} ωElementarereignisgelb σ-Algebra über ΩEreignisraum{ {rot}, {rot,gelb},{gelb}, {grün}, {} } A σ-Algebra über Ω Ereignis{rot,gelb} © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

9 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette 9© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

10 Bedingte Wahrscheinlichkeit 10 P(A) Wahrscheinlichkeit (a priori Wahrscheinlichkeit) - Wahrscheinlichkeit, dass Ereignis A eintritt - betrachtet eine Teilmenge aus der Gesamtmenge - P(A) / P(Gesamtmenge) = P(A) / 1 = P(A) P(A|B) Bedingte Wahrscheinlichkeit (a posteriori Wahrscheinlichkeit) - Wahrscheinlichkeit - dass Ereignis A eintritt, - wenn Ereignis B eingetreten ist - betrachtet eine Teilmenge aus einer Teilmenge - P(A|B) = P(A B) / P(B) AB A B Gesamtmenge AB A B Gesamtmenge © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

11 Das Pferd Harry und das Wetter Einfache Wahrscheinlichkeit P(A) betrachtet Teilmengen aus der Gesamtmenge, Beispiele Bedingte Wahrscheinlichkeit P(A|B) betrachtet Teilmengen aus einer Teilmenge, Beispiel © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

12 Bedingte Wahrscheinlichkeit 12 Definition Schreib- varianten P(A|B) P(B|A) © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

13 Theorem von Bayes 13 ermöglicht Berechnung von P(B|A) aus P(A|B) Regel von Bayes Theorem von Bayes Herleitung durch Umformung © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

14 ,14 ermöglicht Berechnung von P(B|A) aus P(A|B Regel von Bayes Theorem von Bayes A:win B:rain Herleitung durch Umformung Theorem von Bayes © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

15 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette 15© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

16 Unabhängige Ereignisse Zwei Ereignisse sind voneinander unabhängig, wenn gilt: Typisches Beispiel: Es werden zwei Würfel geworfen. SeiA das Ereignis:der 1. Wurf ist eine 1: P(A) = 1/6 Sei B das Ereignis:der 2. Wurf ist eine 6: P(B) = 1/6 Wahrscheinlichkeit A und B: P(AB) = 1/6 · 1/6 = 1/36 16© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

17 Test zweier Ereignisse auf Unabhängigkeit 17 Rennenalle Rennenbei Regen (Beispiel 1) bei Regen (Beispiel 2) gewonnen verloren Gesamt P(win|rain)P(win)Ergebnis: die Ereignisse win und rain sind Beispiel abhängig Beispiel 2.20= unabhängig P(win rain)P(win) · P(rain)Ergebnis: die Ereignisse win und rain sind Beispiel =.06abhängig Beispiel 2.10=.2.5 =.10unabhängig © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

18 Abhängige und unabhängige Ereignisse diese Formeln gelten in beiden Fällen, da die rechte und die linke Seite äquivalent sind 18 P(win rain)= P(win|rain)·P(rain)=P(rain|win)·P(win) Beispiel 1.15=.5·.3=.75·.2 Beispiel 2.10=.2·.5= ·.2 P(win|rain)=P(win rain)/ P(rain) Beispiel /.3 Beispiel /. 5 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

19 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette 19© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

20 Stochastischer Prozess Definition 1 Sei Ω eine Menge elementarer Zufallsereignisse (Ergebnismenge eines Wahrscheinlichkeitsraumes). Ein stochastischer Prozess oder Zufallsprozess ist eine Folge von elementaren Zufallsereignissen X 1,X 2,…X i Ω Definition 2 Die möglichen Zufallswerte in einem stochastischen Prozess heißen Zustände des Prozesses. Man sagt, dass sich der Prozess zum Zeitpunkt t in Zustand X t befindet 20 Brants, 1999: 30 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

21 Stochastischer Prozess Für die vollständige Beschreibung eines Zufallsprozesses mit diskretem Zeitparameter benötigt man 1.die Anfangswahrscheinlichkeit: die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er als Zustand X 1 beobachtet werden kann (d.h. den Startzustand bildet) π i = P(X 1 =s i ) 2.die Übergangswahrscheinlichkeit: die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er in einer Zustandsfolge auftritt: P(X t+1 = x t+1 | X 1 = x 1, X 2 = x 2, …,X t = x t ) 21 Brants, 1999: 30 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

22 Stochastischer Prozess: Beispiel Ein Textgenerator hat ein Lexikon mit drei Wörtern von denen an jeder Position jedes auftreten kann : Ω = {geschickt, werden, wir} wir beobachten an jeder Position, welches Wort generiert wurde Sei X 1 das Wort zum ersten Beobachtungszeitpunkt X 2 das Wort zum zweiten Beobachtungszeitpunkt, usw. Dann ist die Folge der Wörter ein stochastischer Prozess mit diskreter Zufallsvariable und diskretem Zeitparameter Für diese Folge kann man eine Wahrscheinlichkeit angeben 22© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

23 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette 23© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

24 Markow-Kette Eine Markow-Kette ist ein stochastischer Prozess, bei dem der nächste Zustand X t+1 bei bekanntem gegenwärtigem Zustand X t unabhängig von den vergangenen Zuständen X t-1, X t-2,…,X 0 ist. Es gilt P(X t+1 = j | X t = i t, X t-1 = i t-1, …,X 1 = i 1, X 0 =i 0 ) = P(X t+1 = j | X t = i t ) daher der Name Kette: Kettenglieder hängen nur am vorigen Kettenglied, nicht an allen vorherigen Kettengliedern 24 Brants,Crocker,Lieblang, 2000:22 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

25 Endliche Markow-Kette Für eine endliche Markow-Kette gibt es endlich viele Zustände, und die Kette muss sich zu jedem Zeitpunkt in einem dieser endlich vielen Zustände befinden Prozess ohne Gedächtnis mit endlich vielen Zuständen entspricht den Eigenschaften eines endlichen Automaten 25 Brants, 1999: 31 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

26 Markow-Kette und Eigenschaften menschlicher Sprachen: ein Beispiel nach einem q folgt oft ein u, Vorhersage über 2. Buchstaben hinter q? abhängig von q? nach einem s folgt ein c, dann folgt ein h Vorhersage über 3. Buchstaben hinter s? abhängig von s? 26 Kunze, 2001 Markow-Modell 1. Ordnung Markow-Modell 2. Ordnung … © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

27 Markow-Kette: Matrix-Darstellung kann beschrieben werden durch die Angaben Stochastische Übergangsmatrix A Anfangswahrscheinlichkeiten Π 27 Manning/Schütze, 2000: 318 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

28 Markow Model: Definition 28© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

29 Markow-Kette: Graph-Darstellung kann beschrieben werden durch Zustandsübergangsgraphen 29 wir werden geschickt © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

30 Markow-Kette: Berechnung einer Sequenz- Wahrscheinlichkeit Wahrscheinlichkeit der Sequenz der Zustände X 1 … X T für eine Markow-Kette gilt: 30 Manning/Schütze, 2000: 320 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

31 Markow-Kette: Berechnungsbeispiel Wahrscheinlichkeit der Sequenz der Zustände X 1 … X T 31© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

32 Literatur Bauer, Heinz (2001). Wahrscheinlichkeitstheorie. de Gruyter. 5. verbesserte Auflage. Brants, Thorsten (1999). Statistische Methoden in der Sprachverarbeitung. Seminarskript 15. Juni 1999 Brants, Thorsten; Matthew Crocker und Enrico Lieblang (2000). Statistische Methoden in der Sprachverarbeitung. Seminarskript. saarland.de/~thorsten/stat00/skript.ps.gzhttp://www.coli.uni- saarland.de/~thorsten/stat00/skript.ps.gz Manning, Christopher D.; Schütze, Hinrich (1999): Foundations of Statistical Natural Language Processing. Cambridge, Mass., London: The MIT Press. (vgl.: Versionen , , , © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,


Herunterladen ppt "1 Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013."

Ähnliche Präsentationen


Google-Anzeigen