Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 11.1.2013

Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Wahrscheinlichkeitsraum Modell zur Beschreibung von Zufallsexperimenten Ein Wahrscheinlichkeitsraum ist ein normierter Maßraum Es gilt: Ein Wahrscheinlichkeitsraum ist ein Maßraum (Ω, 𝓐, P) Dabei ist Ω eine Menge 𝓐 eine σ-Algebra in Ω, und P ein Maß 𝓐 auf mit der Normierungsbedingung P(Ω) = 1. Bauer, 2001, 4 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

σ-Algebra eine Mengenalgebra, die unter abzählbar unendlichen Vereinigungen abgeschlossen ist Mengensystem 𝓐 über Ω mit folgenden Eigenschaften ø ∊ 𝓐 A ∊ 𝓐 ⇒ ∊ 𝓐 A1, A2, … ∊ 𝓐 ⇒ ∊ 𝓐 Die Elemente A der σ-Algebra 𝓐 eines Wahrscheinlichkeitsraumes (Ω, 𝓐, P) heißen Ereignisse Die Elemente ω von Ω heißen Elementarereignisse © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Wahrscheinlichkeitsmaß P(A) ist die Wahrscheinlichkeit von A oder für das Eintreten des Ereignisses A. eine Abbildung P : A → [1,0] mit den Eigenschaften P(A) ≥ 0 für jedes A ∊ 𝓐 Gilt A1, A2, … ∊ 𝓐 mit so gilt P(Ω) = 1 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Komponenten des Wahrscheinlichkeitsraumes Bezeichnung Erläuterung (Ω,𝓐,P) Wahrscheinlichkeitsraum Ω Ergebnismenge Menge aller Elementarereignisse ω Elementarereignis Element von Ω σ-Algebra über Ω Ereignisraum Menge aller möglichen Ereignisse; Nicht notwendigerweise jede Teilmenge von Ω, mindestens Ω als sicheres Ereignis  als unmögliches Ereignis A  σ-Algebra über Ω Ereignis © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Komponenten des Wahrscheinlichkeitsraumes: Beispiel 1 Bezeichnung Beispiel (Ω,𝓐,P) Wahrscheinlichkeitsraum Ω Ergebnismenge {a,b,c} ω Elementarereignis a σ-Algebra über Ω Ereignisraum { {a,b,c}, {a,b},{a,c}, {a}, {b,c}, {b}, {c}, {} } A  σ-Algebra über Ω Ereignis © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Komponenten des Wahrscheinlichkeitsraumes: Beispiel 2 (Verkehrsampel) Bezeichnung Beispiel (Ω,F,P) Wahrscheinlichkeitsraum Ω Ergebnismenge {rot,gelb,grün} ω Elementarereignis gelb σ-Algebra über Ω Ereignisraum { {rot}, {rot,gelb},{gelb}, {grün}, {} } A  σ-Algebra über Ω Ereignis {rot,gelb} © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Bedingte Wahrscheinlichkeit P(A) Wahrscheinlichkeit (a priori Wahrscheinlichkeit) A B AB Gesamtmenge - Wahrscheinlichkeit, dass Ereignis A eintritt - betrachtet eine Teilmenge aus der Gesamtmenge - P(A) / P(Gesamtmenge) = P(A) / 1 = P(A) P(A|B) Bedingte Wahrscheinlichkeit (a posteriori Wahrscheinlichkeit) - Wahrscheinlichkeit - dass Ereignis A eintritt, - wenn Ereignis B eingetreten ist - betrachtet eine Teilmenge aus einer Teilmenge - P(A|B) = P(AB) / P(B) A B AB Gesamtmenge © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Das Pferd „Harry“ und das Wetter 15 5 65 Einfache Wahrscheinlichkeit P(A) betrachtet Teilmengen aus der Gesamtmenge, Beispiele Bedingte Wahrscheinlichkeit P(A|B) betrachtet Teilmengen aus einer Teilmenge, Beispiel © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Bedingte Wahrscheinlichkeit Definition Schreib-varianten P(A|B)  P(B|A) 15 5 65 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Theorem von Bayes ermöglicht Berechnung von P(B|A) aus P(A|B) Regel von Bayes Theorem von Bayes Herleitung durch Umformung © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

5 15 Theorem von Bayes 65 ermöglicht Berechnung von P(B|A) aus P(A|B A:win B:rain Theorem von Bayes ermöglicht Berechnung von P(B|A) aus P(A|B Regel von Bayes Theorem von Bayes Herleitung durch Umformung © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013 ,

Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Unabhängige Ereignisse Zwei Ereignisse sind voneinander unabhängig, wenn gilt: Typisches Beispiel: Es werden zwei Würfel geworfen. Sei A das Ereignis: der 1. Wurf ist eine 1: P(A) = 1/6 Sei B das Ereignis: der 2. Wurf ist eine 6: P(B) = 1/6 Wahrscheinlichkeit A und B: P(A∩B) = 1/6 · 1/6 = 1/36 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Test zweier Ereignisse auf Unabhängigkeit 10 40 15 5 65 Test zweier Ereignisse auf Unabhängigkeit Rennen alle Rennen bei Regen (Beispiel 1) (Beispiel 2) gewonnen 20 15 10 verloren 80 40 Gesamt 100 30 50 P(win|rain) P(win) Ergebnis: die Ereignisse „win“ und „rain“ sind Beispiel 1 .50  .20 abhängig Beispiel 2 = unabhängig P(win ∩ rain) P(win) · P(rain) Ergebnis: die Ereignisse „win“ und „rain“ sind Beispiel 1 .15  .2  .3 = .06 abhängig Beispiel 2 .10 = .2  .5 = .10 unabhängig 17 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Abhängige und unabhängige Ereignisse diese Formeln gelten in beiden Fällen, da die rechte und die linke Seite äquivalent sind P(win ∩ rain) = P(win|rain) · P(rain) P(rain|win) P(win) Beispiel 1 .15 .5 .3 .75 .2 Beispiel 2 .10 P(win|rain) = P(win ∩rain) / P(rain) Beispiel 1 .5 .15 / .3 Beispiel 2 .2 .10 / . 5 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Stochastischer Prozess Definition 1 Sei Ω eine Menge elementarer Zufallsereignisse (Ergebnismenge eines Wahrscheinlichkeitsraumes). Ein stochastischer Prozess oder Zufallsprozess ist eine Folge von elementaren Zufallsereignissen X1,X2,…Xi  Ω Definition 2 Die möglichen Zufallswerte in einem stochastischen Prozess heißen Zustände des Prozesses. Man sagt, dass sich der Prozess zum Zeitpunkt t in Zustand Xt befindet Brants, 1999: 30 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Stochastischer Prozess Für die vollständige Beschreibung eines Zufallsprozesses mit diskretem Zeitparameter benötigt man die Anfangswahrscheinlichkeit: die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er als Zustand X1 beobachtet werden kann (d.h. den Startzustand bildet) πi = P(X1=si) die Übergangswahrscheinlichkeit: die für jeden Zustand angibt, mit welcher Wahrscheinlichkeit er in einer Zustandsfolge auftritt: P(Xt+1 = xt+1 | X1 = x1, X2 = x2, …,Xt = xt) Brants, 1999: 30 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Stochastischer Prozess: Beispiel Ein Textgenerator hat ein Lexikon mit drei Wörtern von denen an jeder Position jedes auftreten kann : Ω = {geschickt, werden, wir} wir beobachten an jeder Position, welches Wort generiert wurde Sei X1 das Wort zum ersten Beobachtungszeitpunkt X2 das Wort zum zweiten Beobachtungszeitpunkt, usw. Dann ist die Folge der Wörter ein stochastischer Prozess mit diskreter Zufallsvariable und diskretem Zeitparameter Für diese Folge kann man eine Wahrscheinlichkeit angeben © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Markow-Kette Eine Markow-Kette ist ein stochastischer Prozess, bei dem der nächste Zustand Xt+1 bei bekanntem gegenwärtigem Zustand Xt unabhängig von den vergangenen Zuständen Xt-1, Xt-2,…,X0 ist. Es gilt P(Xt+1 = j | Xt = it, Xt-1 = it-1, …,X1 = i1, X0=i0) = P(Xt+1 = j | Xt = it) daher der Name Kette: Kettenglieder hängen nur am vorigen Kettenglied, nicht an allen vorherigen Kettengliedern Brants,Crocker,Lieblang, 2000:22 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Endliche Markow-Kette Für eine endliche Markow-Kette gibt es endlich viele Zustände, und die Kette muss sich zu jedem Zeitpunkt in einem dieser endlich vielen Zustände befinden Prozess „ohne Gedächtnis“ mit endlich vielen Zuständen entspricht den Eigenschaften eines endlichen Automaten Brants, 1999: 31 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Markow-Kette und Eigenschaften menschlicher Sprachen: ein Beispiel nach einem q folgt oft ein u, Vorhersage über 2. Buchstaben hinter q? abhängig von q? nach einem s folgt ein c, dann folgt ein h Vorhersage über 3. Buchstaben hinter s? abhängig von s? Markow-Modell 1. Ordnung Markow-Modell 2. Ordnung … Kunze, 2001 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Markow-Kette: Matrix-Darstellung kann beschrieben werden durch die Angaben Stochastische Übergangsmatrix A Anfangswahrscheinlichkeiten Π Manning/Schütze, 2000: 318 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Markow Model: Definition © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Markow-Kette: Graph-Darstellung kann beschrieben werden durch Zustandsübergangsgraphen wir werden geschickt .3 .4 .2 .5 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Markow-Kette: Berechnung einer Sequenz-Wahrscheinlichkeit Wahrscheinlichkeit der Sequenz der Zustände X1 … XT für eine Markow-Kette gilt: Manning/Schütze, 2000: 320 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Markow-Kette: Berechnungsbeispiel Wahrscheinlichkeit der Sequenz der Zustände X1 … XT © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013

Literatur Bauer, Heinz (2001). Wahrscheinlichkeitstheorie. de Gruyter. 5. verbesserte Auflage. Brants, Thorsten (1999). Statistische Methoden in der Sprachverarbeitung. Seminarskript 15. Juni 1999 Brants, Thorsten; Matthew Crocker und Enrico Lieblang (2000). Statistische Methoden in der Sprachverarbeitung. Seminarskript. http://www.coli.uni-saarland.de/~thorsten/stat00/skript.ps.gz Manning, Christopher D.; Schütze, Hinrich (1999): Foundations of Statistical Natural Language Processing. Cambridge, Mass., London: The MIT Press. (vgl.: http://www.sultry.arts.usyd.edu.au/fsnlp) Versionen 11.1.2013, 26.5.2009, 31.10.2005, 4.5.2002 © Karin Haenelt, Grundbegriffe der Wahrscheinlichkeitstheorie, 11.1.2013