Kapitel III: Stochastische Modelle im Januar haben wir behandelt: 12 Kapitel III: Stochastische Modelle im Januar haben wir behandelt: 12. Die Binomialverteilung 13. Poisson- und Normalverteilung jetzt Fortsetzung des Kapitels mit 14. Irrfahrten und Markov-Ketten

14. a) Irrfahrten mit Endzuständen Definition: eine Irrfahrt ist gegeben durch 1) eine Menge M von Zuständen 2) Übergangswahrscheinlichkeiten zwischen den Zuständen 3) einen Startzustand

Beispiel 1: Die Maus in der Wohnung Beispiel 1: Die Maus in der Wohnung! Sie geht jeweils von einem Zimmer zu einem zufälligen Nachbarzimmer. Wie groß ist ihre Gewinnchance ? 5 4 KATZE Verlustzustand 1 MAUS Startzustand 2 3 KÄSE Gewinnzustand

Die Zustände sind hier die Zimmer 1 bis 5 Der Startzustand ist 1 Die Übergangswahrscheinlichkeiten sind Die Zustände 3 und 4 sind Endzustände: die Maus verbleibt mit W. 1 dort. Frage: welchen Endzustand erreicht die Maus eher?

Der Übergangsgraph zeigt Nachbarzustände: 5 4 1 2 3 Übergangsmatrix:

Beispiel 2: Die Irrfahrt auf {0, Beispiel 2: Die Irrfahrt auf {0,...,m} als einfachstes Modell für ökonomische Zeitreihen 2 Spieler A und B spielen mehrere Runden eines Glücksspiels, bei dem A die Gewinnw. p und B die Gewinnw. q=1-p hat. Einfachster Fall: Münzwurf, p=q=1/2 . Der Verlierer zahlt jeweils 1 Euro an den Gewinner. A und B beginnen mit a bzw. b Euro Startkapital und spielen solange, bis einer pleite ist und der andere m=a+b Euro hat. --- Wie groß sind die Gewinnchancen für A, und wie lange dauert das Spiel im Durchschnitt ? p p p 1 0 1 2 ........ m 1 q q q

Allgemeine Bezeichnungen n= 0, 1, 2, ... Zeitparameter i,,j,k Zustände X = X (w) Zustand des Systems zur Zeit n (Zufallsgröße) p = P [ X = j | X = i ] Übergangswahrscheinlichkeiten sollen nicht vom Zeitpunkt n abhängen n n i j n+1 n Im Beispiel: X -- Kapital von A zum Zeitpunkt n p = p für i < m p = q für i > 0 p = p = 1 d.h. 0 und m sind Endzustände i i+1 i i-1 00 mm

Die Mittelwertsregel für Gewinnwahrscheinlichkeiten i fester Endzustand ‚‚Gewinn´´ l andere Endzustände ‚‚Verlust´´ j,k beliebige Zustände g Gewinnw. bei Start im Zustand k k für alle Zustände k (Summierung über Nachbarn) für den Gewinnzustand für die anderen Endzustände

Die Mittelwertsregel für die durchschnittliche Spieldauer t durchschnittliche Spieldauer bei Start im Zustand k d.h. Anzahl der Schritte bis zum Erreichen irgendeines Endzustands i k für alle Zustände k für Endzustände i

Beispiel 3: Die Warteschleife W E q p 1 Für p=1/6 Warten auf erste Sechs beim Würfelspiel Bei Wartung von Maschinen: p Ausfallwahrscheinl. Monteur wartet auf seinen Einsatz Bei freilebenden Tieren: p Sterbew., q Überlebensw. Wesentliche Frage: mittlere Lebensdauer / Wartezeit

14. b) Markov-Ketten und Matrizen Eine Markov-Kette ist dasselbe wie eine Irrfahrt. Bei Irrfahrten studiert man die Bewegung eines einzelnen Teilchens, die zeitliche Aufeinanderfolge von Zuständen. Bei den Markov-Ketten interessiert mehr die Gesamtheit aller möglichen Zustände zu einem festen Zeitpunkt, die sogenannte Verteilung des Zustands.

Beispiel 1: Krankenstand eines Betriebs Beispiel 1: Krankenstand eines Betriebs. Täglich erkranken 5 % der Gesunden, und 20 % der Kranken werden wieder gesund. Welcher Krankenstand ergibt sich bei diesen Bedingungen ? 0.8 0.05 0.95 Übergangsgraph: G K 0.2 Übergangsmatrix: Ähnliches Beispiel: Wählerwanderung (Zustände FDP,...)

Beispiel 2: Mädchen und Jungen in Familien mit n Kindern (p=0.482) p p p 0 1 2 n q q q q=1-p W. für k Mädchen bei n Kindern Binomialverteilung ! Ähnliche Beispiele: Bernsteinsammler, Gütekontrolle, Meinungsumfrage (wer wählt? p= Wahlbeteiligung)

Begriff der Verteilung n= 0, 1, 2, ... Zeitparameter wird fixiert i= 1,....,m Zustände u = (u ,....,u ) Verteilung des Systems zur Zeit n n n n 1 m Die Verteilung gibt an, welcher Anteil der Fälle sich zur Zeit n in den einzelnen Zuständen befindet. Dies ist das gleiche Konzept wie die Verteilung von Merkmalen.

Matrixmultiplikation und Verteilungen von Markov-Ketten Die Verteilung zum nächsten Zeitpunkt ergibt sich jeweils aus der gegenwärtigen Verteilung durch Matrixmultiplikation mit der Übergangsmatrix P. Summierung über Zustände n Folgerung: die Matrix P enthält die n-Schritt Übergangswahrscheinl.

Matrixmultiplikation und Verteilungen von Markov-Ketten Die Verteilung zum nächsten Zeitpunkt ergibt sich jeweils aus der gegenwärtigen Verteilung durch Matrixmultiplikation mit der Übergangsmatrix P. Summierung über Zustände n Folgerung: die Matrix P enthält die n-Schritt Übergangswahrscheinl.

Übungsaufgaben zum 26.-30.4. 44. Beim Tischtennis wird beim Stand 20:20 weitergespielt, bis einer zwei Punkte Vorsprung hat. a) Wie viele Punkte werden bei gleich starken Spielern im Mittel bis zur Entscheidung gespielt ? b) Wie groß sind die Gewinnchancen des Spielers, der den ersten Punkt macht und mit 21:20 führt ? 45. Wie lange muss man im Durchschnitt würfeln, bis jede Augenzahl einmal vorgekommen ist? 46. Untersuchen Sie folgende Markov-Ketten mit drei Zuständen! a) p11=p12=1/2 , p23=p31=1. b) p11=2/3 , p12=1/3 , p22=1 , p32=p33=1/2. 11.

47. Jemand hat 1 Euro und braucht 5 Euro, die er durch Glücksspiel mittels der kühnen Strategie besorgen will. In einer Runde des Glücksspiels kann er den Einsatz jeweils gewinnen oder verlieren, und er setzt soviel ein wie er hat, aber nicht mehr als zum Erwerb von 5 Euro nötig ist. Bestimmen Sie die Gewinnchancen, wenn die Gewinnw. jeder einzelnen Runde p=1/2 oder p=1/3 ist ! 48. Definieren Sie selbst eine Markov-Kette mit Übergangsgraph und Übergangsmatrix! Bestimmen Sie das Verhalten dieser Markov-Kette! Sie können das Programm marko1.exe und die Beispielmatrizen nutzen, oder eine neue Matrix mit einem Texteditor (z.B. Wordpad) wie folgt erstellen: eine Zeile Titel, eine Zeile Anzahl m der Zustände, dann die m Zeilen der Matrix (Punkt statt Komma, Zahlen müssen 8 Zeichen lang sein).