Kapitel III: Stochastische Modelle im Januar haben wir behandelt: 12/3 Kapitel III: Stochastische Modelle im Januar haben wir behandelt: 12/3. Binomialverteilung, Wurzel-n-Regel 14. Poisson- und Normalverteilung 15. Testen und Schätzen (erster Einblick) Abschnitt 15 wird im Mai weitergeführt jetzt Fortsetzung des Kapitels mit 16. Zeitreihen (auch nur Einführung) 17. Irrfahrten und Markov-Ketten

17. Irrfahrten und Markov-Ketten 17.1 Irrfahrten mit Endzuständen 17.2 Bezeichnungen und Mittelwertsregeln 17.3 Markov-Ketten und Matrizen 17.4 Verteilungen und Matrixmultiplikation

17.1 Irrfahrten mit Endzuständen Definition: eine Irrfahrt ist gegeben durch 1) eine Menge M von Zuständen 2) Übergangswahrscheinlichkeiten zwischen den Zuständen 3) einen Startzustand

Beispiel 1: Die Maus in der Wohnung Beispiel 1: Die Maus in der Wohnung! Sie geht jeweils von einem Zimmer zu einem zufälligen Nachbarzimmer. Wie groß ist ihre Gewinnchance ? 5 4 KATZE Verlustzustand 1 MAUS Startzustand 2 3 KÄSE Gewinnzustand

Die Zustände sind hier die Zimmer 1 bis 5 Der Startzustand ist 1 Die Übergangswahrscheinlichkeiten sind Die Zustände 3 und 4 sind Endzustände: die Maus verbleibt mit W. 1 dort. Frage: welchen Endzustand erreicht die Maus eher?

Der Übergangsgraph zeigt Nachbarzustände: 5 4 1 2 3 Übergangsmatrix:

Beispiel 2: Die Irrfahrt auf {0, Beispiel 2: Die Irrfahrt auf {0,...,m}als einfachstes Modell für ökonomische Zeitreihen 2 Spieler A und B spielen mehrere Runden eines Glücksspiels, bei dem A die Gewinnw. p und B die Gewinnw. q=1-p hat. Einfachster Fall Münzwurf, p=q=1/2 . Der Verlierer zahlt jeweils 1 Euro an den Gewinner. A und B beginnen mit a bzw. b Euro Startkapital und spielen solange, bis einer pleite ist und der andere m=a+b Euro hat. Der Zustand ist das Kapital von A. Wie groß sind die Gewinnchancen für A ? p p p 1 0 1 2 ........ m 1 q q q

17.2 Allgemeine Bezeichnungen n= 0, 1, 2, ... Zeitparameter i,,j,k Zustände X = X (w) Zustand des Systems zur Zeit n (Zufallsgröße) p = P [ X = j | X = i ] Übergangswahrscheinlichkeiten sollen nicht vom Zeitpunkt n abhängen n n i j n+1 n Im Beispiel: X -- Kapital von A zum Zeitpunkt n p = p für i < m p = q für i > 0 p = p = 1 d.h. 0 und m sind Endzustände i i+1 i i-1 00 mm

Die Mittelwertsregel für Gewinnwahrscheinlichkeiten i fester Endzustand ‚‚Gewinn´´ l andere Endzustände ‚‚Verlust´´ j,k beliebige Zustände g Gewinnw. bei Start im Zustand k k für alle Zustände k (Summierung über Nachbarn) für den Gewinnzustand für die anderen Endzustände

Markov-Eigenschaft bedeutet: nur die Gegenwart bestimmt die Zukunft, keine weiteren Einflüsse der Vergangenheit Beweis der Mittelwertsregel durch Formel für totale Wahrscheinlichkeit Berechnung der Gewinnchancen für die Maus mittels dieser Formel Berechnung der Gewinnchancen von A im Beispiel 2 für p=1/3, a=3, b=2.

Lösung Ruinproblem für faires Spiel p=1/2 Gewinn und Verlust für 0<k<m Aus dieser Gleichung ergibt sich, dass die Differenz aufeinander folgender Werte von g konstant ist, also g eine lineare Funktion von k ist, d.h. g(k)=a +bk. Aus der ersten Bedingung folgt g(k)= k/m .

Lösung Ruinproblem für beliebiges p Gewinn und Verlust für 0<k<m Wir setzen r=q/p . Die Differenzen aufeinander folgender Werte von g bilden eine geometrische Folge. Daraus ergibt sich

Die Mittelwertsregel für die durchschnittliche Spieldauer t durchschnittliche Spieldauer bei Start im Zustand k d.h. Anzahl der Schritte bis zum Erreichen irgendeines Endzustands i k für alle Zustände k für Endzustände i

Beispiel 3: Die Warteschleife W E q p 1 Für p=1/6 Warten auf erste Sechs beim Würfelspiel Bei Wartung von Maschinen: p Ausfallwahrscheinl. Monteur wartet auf seinen Einsatz Bei freilebenden Tieren: p Sterbew., q Überlebensw. Wesentliche Frage: mittlere Lebensdauer / Wartezeit

17.3 Markov-Ketten und Matrizen Eine Markov-Kette ist dasselbe wie eine Irrfahrt. Bei Irrfahrten studiert man die Bewegung eines einzelnen Teilchens, die zeitliche Aufeinanderfolge von Zuständen. Bei den Markov-Ketten interessiert mehr die Gesamtheit aller möglichen Zustände zu einem festen Zeitpunkt, die sogenannte Verteilung des Zustands.

Beispiel 4: Krankenstand eines Betriebs Beispiel 4: Krankenstand eines Betriebs. Täglich erkranken 5 % der Gesunden, und 20 % der Kranken werden wieder gesund. Welcher Krankenstand ergibt sich bei diesen Bedingungen ? 0.8 0.05 0.95 Übergangsgraph: G K 0.2 Übergangsmatrix: Ähnliches Beispiel: Wählerwanderung (Zustände FDP,...)

Beispiel 5: Mädchen und Jungen in Familien mit n Kindern (p=0.482) p p p 0 1 2 n q q q q=1-p W. für k Mädchen bei n Kindern Binomialverteilung ! Ähnliche Beispiele: Bernsteinsammler, Gütekontrolle, Meinungsumfrage (wer wählt? p= Wahlbeteiligung)

17.4 Begriff der Verteilung n= 0, 1, 2, ... Zeitparameter wird fixiert i= 1,....,m Zustände u = (u ,....,u ) Verteilung des Systems zur Zeit n n n n 1 m Die Verteilung gibt an, welcher Anteil der Fälle sich zur Zeit n in den einzelnen Zuständen befindet. Dies ist das gleiche Konzept wie die Verteilung von Merkmalen.

Matrixmultiplikation und Verteilungen von Markov-Ketten Die Verteilung zum nächsten Zeitpunkt ergibt sich jeweils aus der gegenwärtigen Verteilung durch Matrixmultiplikation mit der Übergangsmatrix P. Summierung über Zustände n Folgerung: die Matrix P enthält die n-Schritt Übergangswahrscheinl.

Beispiele zur Matrix-Multiplikation Berechnung der zwei ersten Tage im Beispiel Krankenstand Matrix und Rechnung für die Warteschleife Für größere Matrizen Computer verwenden, dazu Beispiele