III: Stochastische Modelle 18. Anwendungen von Markov-Ketten 18.1 Beispiele zur Wiederholung 18.2 Typen von Markov-Ketten und ihr Grenzverhalten 18.3 Stationäre Verteilung 18.4 Beispiele für stationäre Verteilungen 18.5 Andere Matrix-Modelle

18.1 Beispiele zur Wiederholung Beispiel 1. Anton und Bert spielen ein Spiel, bei dem Anton 20 % Gewinnchance hat und Bert 10% . In den verbleibenden 70% aller Fälle endet das Spiel unentschieden und wird wiederholt, bis einer gewinnt. Wie sind die Gewinnchancen beider Spieler? Wie lange dauert das Spiel im Durchschnitt?

Beispiel 2. Eine Kapitalgesellschaft verleiht Risikokapital an Firmen im Hochtechnologiebereich. Jede Woche verdient sie damit eine Million Zinsen, jedoch kommt es durchschnittlich einmal in 20 Wochen vor, dass 10 Millionen verloren gehen, z.B. durch Konkurs eines Schuldners. a) wie entwickelt sich das Vermögen der Gesellschaft im Durchschnitt? b) Wie groß ist das 5 % -Quantil (Value-at-risk) der Einnahmen der Gesellschaft nach 4 Wochen? (Nutzen Sie die Binomialverteilung!)

18.2 Typen von Markov-Ketten Absorbierende Markov-Ketten: jeder Zustand führt über mehrere Pfeile zu einem Endzustand. Irreduzible Markov-Ketten: es gibt ein n , so dass die Matrix P nur aus positiven Elementen besteht. Mit anderen Worten, man kann in n Schritten von jedem Zustand zu jedem anderen kommen. Periodische Markov-Ketten: es gibt eine Zahl K>1 (Periode), so dass man nur mit Vielfachen von K Schritten von einem Zustand i zu diesem Zustand zurück kommt. (selten in Praxis) n

18.2 Grenzverhalten von Markov-Ketten 1. Absorbierende Markov-Ketten: für große n wird P in den meisten Spalten 0. Nur die Spalten für die Endzustände enthalten positive Zahlen, und zwar die ‚‚Gewinnw.‘‘. 2. Irreduzible Markov-Ketten beschreiben Kreisläufe. P hat für große n lauter gleiche Zeilen: jede stellt die stationäre Verteilung dar. 3. Periodische Markov-Ketten: P wechselt zwischen verschiedenen Matrizen hin und her. n n n

18.3 Definition. Die Verteilung u heißt stationär für die Übergangsmatrix P wenn gilt Dies ist ein lineares Gleichungssystem mit m Gleichungen. Eine Gleichung wird weggelassen und durch folgende ersetzt: Einfachere Gleichungen erhält man oft dadurch, dass man die in eine Menge A von Zuständen hineinführende und herausführende ‚‚Masse‘‘ gleichsetzt. Im folgenden Beispiel besteht die Menge A aus einem Zustand.

Beispiel 3: In einem Arbeitsamt können jeden Monat 5 % aller Arbeitslosen vermittelt werden, andererseits werden aber auch 1 % der Beschäftigten entlassen. Auf welchen Stand pegelt sich die Arbeitslosigkeit ein ? 0.99 0.05 0.95 Übergangsgraph: A arbeitslos, B beschäftigt A B 0.01 Die Gleichung besagt, dass durch die angezeigte Kontrollstelle genauso viel nach rechts fliesst wie nach links.

18.3 Existenz stationärer Verteilungen Jede Markov-Kette besitzt eine stationäre Verteilung (das kommt daher dass jede Zeilensumme gleich Eins ist). Bei einer absorbierenden Markov-Kette bildet jeder Endzustand eine stationäre Verteilung. Bei einer irreduziblen Markov-Kette gibt es genau eine stationäre Verteilung, die sich als Grenzverteilung unabhängig vom Startzustand einpegelt.

18.4 Bedienungstheorie: an einem Schalter kommen pro Zeiteinheit l Kunden, und m Kunden werden abgefertigt. l l l 0 1 2 m m m Der Zustand ist hier die Anzahl der Kunden (Länge der Warteschlange). Für die stationäre Verteilung gilt: Für den Auslastungskoeffizienten r=l/m erhält man

Beispiel 4. In einer Autowerkstatt kann pro Tag nur eine große Durchsicht durchgeführt werden, wenn der Wagen morgens da ist. Im Durchschnitt kommen jeden 2. Tag Kunden für große Durchsicht, und dann kommt entweder einer oder zwei Kunden zugleich, die ihren Wagen da lassen. Mit welcher Wartezeit ist im Durchschnitt zu rechnen? Wieviel Parkplätze sollte man für die Kunden haben? Lösung: 1. Modell aufstellen (Graph, Matrix) 2. Bestimmung der stationären Verteilung 3. Mittelwert und Quantile dieser Verteilung

Beispiel 5. In einem Chemiebetrieb fällt im Durchschnitt alle 30 Tage eine Anlage aus. Der Monteur braucht immer einen Tag für die Reparatur. Ein Monteur kostet pro Jahr 50000 €, ein Tag Stillstand der Anlage 500000 €. Soll man sich zwei Monteure leisten? Lösung: 1. Bestimmung des Modells 2. Stationäre Verteilung für beide Varianten 3. Kosten – Nutzen - Rechnung

Lösung für Beispiel 5 1 Monteur: vereinfachende 1/30 1/30 29/30 1 Monteur: vereinfachende Annahme: keine 2 Ausfälle an einem Tag. Aber während der Reparatur kann weitere Maschine ausfallen. Stationäre Verteilung: Erwartete jährliche Kosten: 50000 für Monteur 365 mal 1/30 mal 500000 = 6 083 333 Stillstand 1 29/30

Stationäre Verteilung: 1/30 2 Monteure: Unterschied: 2. Maschine fällt nicht zusätzlich aus. Stationäre Verteilung: Erwartete jährliche Kosten: 100 000 für Monteure 365 mal 1/31 mal 500 000 = 5 887 097 Stillstand Diese Variante ist 150 000 € billiger ! 29/30 1 1

18.4 Zusammenfassung der Beispiele: (Markov-Ketten für Risiko – Geschäfte, Warteschlangen, Lagerhaltung ...) -- Der Mittelwert ist immer die erste Kenngröße (mittlerer Gewinn, durchschnittliche Länge der Warteschlange, mittlere Wartezeit ...) -- Daneben ist auch die Streuung zu beachten, die sich durch zufällige Unterschiede ergibt (Ruin-W., Überlastung des Bediensystems) Reserven lassen!

18.5 Andere Matrix-Modelle Das Input-Output Modell von Leontief. Frage: gibt es in einer verflochtenen Wirtschaft zu jeder Nachfrage eine passende Produktionsstruktur ? Einfache Annahmen: m Betriebe , Betrieb i stellt x Einheiten einer Ware her. Pro Einheit der Ware i werden dazu q Einheiten der Ware j vom Betrieb j benötigt. Auf dem Markt sind c Einheiten der Ware i nachgefragt. Wieviel muss produziert werden? (i=1,...,m) i i j i

Matrixansatz für das Leontief-Modell. Dieses lineare Gleichungssystem kann wie üblich gelöst werden oder durch Iteration, wobei sich für den Startvektor x=0 folgende Lösung ergibt: Wenn als Einheit für die Waren der Wert in Euro gewählt wird, muss die Matrix Q Zeilensummen <1 haben, damit die Betriebe nicht mit Verlust arbeiten. Dann gibt es eine eindeutige Lösung x, und das Problem kann als eine Art Markov-Kette gesehen werden. Die Pfeile entsprechen der Anforderung, dem Transport der Waren entgegengerichtet.

Beispiel 6: Wir betrachten den Energiesektor und den Maschinenbausektor. Für die Produktion einer Einheit Energie werde 0,1 Einheit Energie verbraucht und 0,1 Einheit Maschinen verschlissen, für Maschinen seien die Koeffizienten 0,3 und 0,4. Der Markt braucht 100 Einheiten Maschinen und 200 Einheiten Energie. 0.4 0.1 0.1 E M 0.3

18.5 Das Leslie-Modell für Populationen in Altersklassen. Gegeben sind die jährlichen Überlebensraten ü für jedes Alter i=0,1,...100 sowie die Fruchtbarkeitsraten f für Mütter im Alter i=13,...,53. Die absolute Häufigkeit in den Altersklassen i zur Zeit n wird mit a bezeichnet. Sie ist zur Zeit n=0 bekannt und soll für die folgenden Jahre prognosti- ziert werden. Dabei wird von gleichbleibender Sterblichkeit und Fruchtbarkeit ausgegangen, Zu- und Abwanderung werden nicht berücksichtigt. i i n i

In Matrixform lautet die Gleichung Es lässt sich nun zeigen, dass eine positive Zahl l existiert, so dass a / l für große n gegen einen Vektor a* konvergiert. Die Zahl l ist die jährliche Rate des Bevölkerungswachstums (l= 1 konstant, l>1 wachsend, l<1 schrumpfend). Der Vektor a* stellt die stabile Altersklassenstruktur dar. n n

Beispiel 7. Bevölkerung Deutschlands Für die deutsche Bevölkerung rechnen wir mit 7 Altersklassen 0,1,2,...,6, jede a 15 Jahre. Die Überlebensw. seien 98, 99, 96, 90 ,70, 40 und 0 % . Eine Frau der Altersklasse 1 bekommt im Mittel 0,5 Töchter, eine Frau der Altersklasse 2 nur 0,25. Bestimmen Sie l und a* !

Beispiel 8. Zuwanderung Sagen wir, in Deutschland leben ungefähr 75 Millionen Deutsche und 5 Millionen Ausländer. Wir nehmen an, jedes Jahr kommen a=100 000 Einwanderer. Außerdem haben die Ausländer eine Zuwachsrate von 1 % pro Jahr während die deutsche Bevölkerung rückläufig ist: -0,2 %. Frage: Mit welchen Gleichungen bestimmt man das Verhältnis zwischen Eingesessenen und Eingewanderten für die nächsten 50 Jahre ?