Grundbegriffe der Wahrscheinlichkeitstheorie

Präsentation zum Thema: "Grundbegriffe der Wahrscheinlichkeitstheorie"—  Präsentation transkript:

1 Grundbegriffe der Wahrscheinlichkeitstheorie
Karin Haenelt

2 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit
Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

3 Wahrscheinlichkeitsraum
Modell zur Beschreibung von Zufallsexperimenten Ein Wahrscheinlichkeitsraum ist ein normierter Maßraum Es gilt: Ein Wahrscheinlichkeitsraum ist ein Maßraum (Ω, 𝓐, P) Dabei ist Ω eine Menge 𝓐 eine σ-Algebra in Ω, und P ein Maß 𝓐 auf mit der Normierungsbedingung P(Ω) = 1. Bauer, 2001, 4 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

4 σ-Algebra eine Mengenalgebra, die unter abzählbar unendlichen Vereinigungen abgeschlossen ist Mengensystem 𝓐 über Ω mit folgenden Eigenschaften ø ∊ 𝓐 A ∊ 𝓐 ⇒ ∊ 𝓐 A1, A2, … ∊ 𝓐 ⇒ ∊ 𝓐 Die Elemente A der σ-Algebra 𝓐 eines Wahrscheinlichkeitsraumes (Ω, 𝓐, P) heißen Ereignisse Die Elemente ω von Ω heißen Elementarereignisse © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

5 Wahrscheinlichkeitsmaß
P(A) ist die Wahrscheinlichkeit von A oder für das Eintreten des Ereignisses A. eine Abbildung P : A → [1,0] mit den Eigenschaften P(A) ≥ 0 für jedes A ∊ 𝓐 Gilt A1, A2, … ∊ 𝓐 mit so gilt P(Ω) = 1 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

6 Komponenten des Wahrscheinlichkeitsraumes
Bezeichnung Erläuterung (Ω,𝓐,P) Wahrscheinlichkeitsraum Ω Ergebnismenge Menge aller Elementarereignisse ω Elementarereignis Element von Ω σ-Algebra über Ω Ereignisraum Menge aller möglichen Ereignisse; Nicht notwendigerweise jede Teilmenge von Ω, mindestens Ω als sicheres Ereignis  als unmögliches Ereignis A  σ-Algebra über Ω Ereignis © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

7 Komponenten des Wahrscheinlichkeitsraumes: Beispiel 1
Bezeichnung Beispiel (Ω,𝓐,P) Wahrscheinlichkeitsraum Ω Ergebnismenge {a,b,c} ω Elementarereignis a σ-Algebra über Ω Ereignisraum { {a,b,c}, {a,b},{a,c}, {a}, {b,c}, {b}, {c}, {} } A  σ-Algebra über Ω Ereignis © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

8 Komponenten des Wahrscheinlichkeitsraumes: Beispiel 2 (Verkehrsampel)
Bezeichnung Beispiel (Ω,F,P) Wahrscheinlichkeitsraum Ω Ergebnismenge {rot,gelb,grün} ω Elementarereignis gelb σ-Algebra über Ω Ereignisraum { {rot}, {rot,gelb},{gelb}, {grün}, {} } A  σ-Algebra über Ω Ereignis {rot,gelb} © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

9 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit
Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

10 Bedingte Wahrscheinlichkeit
P(A) Wahrscheinlichkeit (a priori Wahrscheinlichkeit) A B AB Gesamtmenge - Wahrscheinlichkeit, dass Ereignis A eintritt - betrachtet eine Teilmenge aus der Gesamtmenge - P(A) / P(Gesamtmenge) = P(A) / 1 = P(A) P(A|B) Bedingte Wahrscheinlichkeit (a posteriori Wahrscheinlichkeit) - Wahrscheinlichkeit - dass Ereignis A eintritt, - wenn Ereignis B eingetreten ist - betrachtet eine Teilmenge aus einer Teilmenge - P(A|B) = P(AB) / P(B) A B AB Gesamtmenge © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

11 Das Pferd „Harry“ und das Wetter
15 5 65 Einfache Wahrscheinlichkeit P(A) betrachtet Teilmengen aus der Gesamtmenge, Beispiele Bedingte Wahrscheinlichkeit P(A|B) betrachtet Teilmengen aus einer Teilmenge, Beispiel © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

12 Bedingte Wahrscheinlichkeit
Definition Schreib-varianten P(A|B)  P(B|A) 15 5 65 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

13 Theorem von Bayes ermöglicht Berechnung von P(B|A) aus P(A|B)
Regel von Bayes Theorem von Bayes Herleitung durch Umformung © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

14 5 15 Theorem von Bayes 65 ermöglicht Berechnung von P(B|A) aus P(A|B
A:win B:rain Theorem von Bayes ermöglicht Berechnung von P(B|A) aus P(A|B Regel von Bayes Theorem von Bayes Herleitung durch Umformung © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, ,

15 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit
Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

16 Unabhängige Ereignisse
Zwei Ereignisse sind voneinander unabhängig, wenn gilt: Typisches Beispiel: Es werden zwei Würfel geworfen. Sei A das Ereignis: der 1. Wurf ist eine 1: P(A) = 1/6 Sei B das Ereignis: der 2. Wurf ist eine 6: P(B) = 1/6 Wahrscheinlichkeit A und B: P(A∩B) = 1/6 · 1/6 = 1/36 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

17 Test zweier Ereignisse auf Unabhängigkeit
10 40 15 5 65 Test zweier Ereignisse auf Unabhängigkeit Rennen alle Rennen bei Regen (Beispiel 1) (Beispiel 2) gewonnen 20 15 10 verloren 80 40 Gesamt 100 30 50 P(win|rain) P(win) Ergebnis: die Ereignisse „win“ und „rain“ sind Beispiel 1 .50  .20 abhängig Beispiel 2 = unabhängig P(win ∩ rain) P(win) · P(rain) Ergebnis: die Ereignisse „win“ und „rain“ sind Beispiel 1 .15  .2  .3 = .06 abhängig Beispiel 2 .10 = .2  .5 = .10 unabhängig 17 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

18 Abhängige und unabhängige Ereignisse
diese Formeln gelten in beiden Fällen, da die rechte und die linke Seite äquivalent sind P(win ∩ rain) = P(win|rain) P(rain) P(rain|win) P(win) Beispiel 1 .15 .5 .3 .75 .2 Beispiel 2 .10 P(win|rain) = P(win ∩rain) / P(rain) Beispiel 1 .5 .15 / .3 Beispiel 2 .2 .10 / . 5 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

19 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit
Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

20 Stochastischer Prozess
Definition 1 Sei Ω eine Menge elementarer Zufallsereignisse (Ergebnismenge eines Wahrscheinlichkeitsraumes). Ein stochastischer Prozess oder Zufallsprozess ist eine Folge von elementaren Zufallsereignissen X1,X2,…Xi  Ω Definition 2 Die möglichen Zufallswerte in einem stochastischen Prozess heißen Zustände des Prozesses. Man sagt, dass sich der Prozess zum Zeitpunkt t in Zustand Xt befindet Brants, 1999: 30 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

21 Stochastischer Prozess
Für die vollständige Beschreibung eines Zufallsprozesses mit diskretem Zeitparameter benötigt man die Anfangswahrscheinlichkeit: die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er als Zustand X1 beobachtet werden kann (d.h. den Startzustand bildet) πi = P(X1=si) die Übergangswahrscheinlichkeit: die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er in einer Zustandsfolge auftritt: P(Xt+1 = xt+1 | X1 = x1, X2 = x2, …,Xt = xt) Brants, 1999: 30 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

22 Stochastischer Prozess: Beispiel
Ein Textgenerator hat ein Lexikon mit drei Wörtern von denen an jeder Position jedes auftreten kann : Ω = {geschickt, werden, wir} wir beobachten an jeder Position, welches Wort generiert wurde Sei X1 das Wort zum ersten Beobachtungszeitpunkt X2 das Wort zum zweiten Beobachtungszeitpunkt, usw. Dann ist die Folge der Wörter ein stochastischer Prozess mit diskreter Zufallsvariable und diskretem Zeitparameter Für diese Folge kann man eine Wahrscheinlichkeit angeben © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

23 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit
Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

24 Markow-Kette Eine Markow-Kette ist ein stochastischer Prozess, bei dem der nächste Zustand Xt+1 bei bekanntem gegenwärtigem Zustand Xt unabhängig von den vergangenen Zuständen Xt-1, Xt-2,…,X0 ist. Es gilt P(Xt+1 = j | Xt = it, Xt-1 = it-1, …,X1 = i1, X0=i0) = P(Xt+1 = j | Xt = it) daher der Name Kette: Kettenglieder hängen nur am vorigen Kettenglied, nicht an allen vorherigen Kettengliedern Brants,Crocker,Lieblang, 2000:22 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

25 Endliche Markow-Kette
Für eine endliche Markow-Kette gibt es endlich viele Zustände, und die Kette muss sich zu jedem Zeitpunkt in einem dieser endlich vielen Zustände befinden Prozess „ohne Gedächtnis“ mit endlich vielen Zuständen entspricht den Eigenschaften eines endlichen Automaten Brants, 1999: 31 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

26 Markow-Kette und Eigenschaften menschlicher Sprachen: ein Beispiel
nach einem q folgt oft ein u, Vorhersage über 2. Buchstaben hinter q? abhängig von q? nach einem s folgt ein c, dann folgt ein h Vorhersage über 3. Buchstaben hinter s? abhängig von s? Markow-Modell 1. Ordnung Markow-Modell 2. Ordnung … Kunze, 2001 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

27 Markow-Kette: Matrix-Darstellung
kann beschrieben werden durch die Angaben Stochastische Übergangsmatrix A Anfangswahrscheinlichkeiten Π Manning/Schütze, 2000: 318 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

28 Markow Model: Definition
© Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

29 Markow-Kette: Graph-Darstellung
kann beschrieben werden durch Zustandsübergangsgraphen wir werden geschickt .3 .4 .2 .5 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

30 Markow-Kette: Berechnung einer Sequenz-Wahrscheinlichkeit
Wahrscheinlichkeit der Sequenz der Zustände X1 … XT für eine Markow-Kette gilt: Manning/Schütze, 2000: 320 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

31 Markow-Kette: Berechnungsbeispiel
Wahrscheinlichkeit der Sequenz der Zustände X1 … XT © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,

32 Literatur Bauer, Heinz (2001). Wahrscheinlichkeitstheorie. de Gruyter. 5. verbesserte Auflage. Brants, Thorsten (1999). Statistische Methoden in der Sprachverarbeitung. Seminarskript 15. Juni 1999 Brants, Thorsten; Matthew Crocker und Enrico Lieblang (2000). Statistische Methoden in der Sprachverarbeitung. Seminarskript. Manning, Christopher D.; Schütze, Hinrich (1999): Foundations of Statistical Natural Language Processing. Cambridge, Mass., London: The MIT Press. (vgl.: Versionen , , , © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie,