Stochastische Modelle in der Biologie (C. Bandt 2004) Die Folien sind nur Übersicht, Einzelheiten in der Vorlesung 1. Irrfahrten mit Endzuständen Definition: eine Irrfahrt ist gegeben durch 1) eine Menge M von Zuständen 2) Übergangswahrscheinlichkeiten zwischen den Zuständen 3) einen Startzustand

Beispiel 1: Die Maus in der Wohnung! Sie geht jeweils von einem Zimmer zu einem zufälligen Nachbarzimmer. Wie groß ist ihre Gewinnchance ? 5 4 KATZE Verlustzustand 1 MAUS Startzustand 2 3 KÄSE Gewinnzustand

Die Zustände sind hier die Zimmer 1 bis 5 Der Startzustand ist 1 Die Übergangswahrscheinlichkeiten sind Die Zustände 3 und 4 sind Endzustände: die Maus verbleibt mit W. 1 dort. Frage: welchen Endzustand erreicht die Maus eher?

Der Übergangsgraph zeigt Nachbarzustände: Übergangs matrix:

Beispiel 2: Die Irrfahrt auf {0,...,m} als einfachstes Modell für ökonomische Zeitreihen 2 Spieler A und B spielen mehrere Runden eines Glücksspiels, bei dem A die Gewinnw. p und B die Gewinnw. q=1-p hat. Einfachster Fall: Münzwurf, p=q=1/2. Der Verlierer zahlt jeweils 1 Euro an den Gewinner. A und B beginnen mit a bzw. b Euro Startkapital und Spielen solange, bis einer pleite ist und der andere m=a+b Euro hat. --- Wie groß sind die Gewinnchancen für A, und wie lange dauert das Spiel im Durchschnitt ? m 1 p p p q q q

Allgemeine Bezeichnungen n= 0, 1, 2,... Zeitparameter i,,j,k Zustände X = X (  ) Zustand des Systems zur Zeit n (Zufallsgröße) p = P [ X = j | X = i ] Übergangswahrscheinlichkeiten sollen nicht vom Zeitpunkt n abhängen i j n+1 n Im Beispiel: X -- Kapital von A zum Zeitpunkt n p = p für i < m p = q für i > 0 p = p = 1 d.h. 0 und m sind Endzustände i i+1 i i-1 00 mm n

Die Mittelwertsregel für Gewinnwahrscheinlichkeiten i fester Endzustand ‚‚Gewinn´´ l andere Endzustände ‚‚Verlust´´ j,k beliebige Zustände g Gewinnw. bei Start im Zustand k k für alle Zustände k (Summierung über Nachbarn) für den Gewinnzustand für die anderen Endzustände

Die Mittelwertsregel für die durchschnittliche Spieldauer t durchschnittliche Spieldauer bei Start im Zustand k d.h. Anzahl der Schritte bis zum Erreichen irgendeines Endzustands i k für alle Zustände k für Endzustände i

Beispiel 3: Die Warteschleife Für p=1/6 Warten auf erste Sechs beim Würfelspiel Bei Wartung von Maschinen: p Ausfallwahrscheinl. Monteur wartet auf seinen Einsatz Bei freilebenden Tieren: p Sterbew., q Überlebensw. Wesentliche Frage: mittlere Lebensdauer / Wartezeit W E q p 1

2. Markov-Ketten und Matrizen Eine Markov-Kette ist dasselbe wie eine Irrfahrt. Bei Irrfahrten studiert man die Bewegung eines einzelnen Teilchens, die zeitliche Aufeinanderfolge von Zuständen. Bei den Markov-Ketten interessiert mehr die Gesamtheit aller möglichen Zustände zu einem festen Zeitpunkt, die sogenannte Verteilung des Zustands.

Beispiel 1: Krankenstand eines Betriebs. Täglich erkranken 5 % der Gesunden, und 20 % der Kranken werden wieder gesund. Welcher Krankenstand ergibt sich bei diesen Bedingungen ? Übergangsgraph: GK Übergangsmatrix: Ähnliches Beispiel: Wählerwanderung (Zustände FDP,...)

Beispiel 2: Mädchen und Jungen in Familien mit n Kindern (p=0.482) q q q q=1-p p p p n W. für k Mädchen bei n Kindern Ähnliche Beispiele: Bernsteinsammler, Gütekontrolle, Meinungsumfrage (wer wählt? p= Wahlbeteiligung)

Begriff der Verteilung n= 0, 1, 2,... Zeitparameter wird fixiert i= 1,....,m Zustände u = (u,....,u ) Verteilung des Systems zur Zeit n Die Verteilung gibt an, welcher Anteil der Fälle sich zur Zeit n in den einzelnen Zuständen befindet. Dies ist das gleiche Konzept wie die Verteilung von Merkmalen. 1 m n n n

Matrixmultiplikation und Verteilungen von Markov-Ketten Die Verteilung zum nächsten Zeitpunkt ergibt sich jeweils aus der gegenwärtigen Verteilung durch Matrixmultiplikation mit der Übergangsmatrix P. Summierung über Zustände Folgerung: die Matrix P enthält die n-Schritt Übergangswahrscheinl. n

Die drei Typen von Markov-Ketten nach der Struktur von P für große n 1. Markov-Ketten mit Endzuständen: für große n wird P in den meisten Spalten 0. Nur die Spalten für die Endzustände enthalten positive Zahlen, und zwar die ‚‚Gewinnw.‘‘. 2. Irreduzible Markov-Ketten, die Kreisläufe darstellen: P hat lauter gleiche Zeilen. Jede Zeile stellt die stationäre Verteilung dar. 3. Periodische Markov-Ketten: P wechselt zwischen verschiedenen Matrizen vom Typ 2. n n n n

Mathematische Definition der Typen 1.Jeder Zustand ist durch eine Folge von Kanten (mit positiver W.) mit einem Endzustand verbunden. 2.Je zwei Zustände sind miteinander durch eine Folge von gerichteten Kanten miteinander verbunden, und für genügend große n gibt es eine Verbindung der Länge n. Einfacher mit Matrix: es gibt ein n so dass P hoch n keine Nullen enthält. 3. Man kommt nur auf Wegen der Länge kp, wobei p>1, zu einem Zustand zurück.