Entscheidungsunterstützungssysteme IWI Frankfurt 2004

Präsentation zum Thema: "Entscheidungsunterstützungssysteme IWI Frankfurt 2004"—  Präsentation transkript:

1 Entscheidungsunterstützungssysteme IWI Frankfurt 2004
EUS-Übung Yield Management und Reinforcement- Learning Michael Schwind Entscheidungsunterstützungssysteme IWI Frankfurt 2004

2 Klausurrelevanter Stoff
Lokale Optimierung, Heuristiken: A*… Agenten: Reputationsmodell entfällt Genetische Algorithmen, Simulated Annealing COSA: entfällt ANT-Optimierung SWARM: entfällt Yield Management, Reinforcement Learning Kombinatorische Auktionen Literatur: Reinforcement Learning zur Lösung multidimensionaler Yield-Management Probleme, (Wendt, Schwind 2002) Entscheidungsunterstützungssysteme IWI Frankfurt 2004

3 Entscheidungsunterstützungssysteme IWI Frankfurt 2004
SDP Aufgabe Berechnen Sie für die in folgender Tabelle angegebene Nachfragewahr- scheinlichkeiten für Ihr Privatflugzeug mit 4 Sitzen die Restwertfunktion (mittels stochastischer dynamischer Programmierung) für die letzten drei Anfragen vor Abflug (stage 1, stage 2 und stage 3). Typ Wahrscheinlichkeit Angefragte Sitzplätze Erlös F1 0.2 1 Sitz 2 Geldeinheiten F2 0.8 2 Sitze 3 Geldeinheiten Entscheidungsunterstützungssysteme IWI Frankfurt 2004

4 Entscheidungsunterstützungssysteme IWI Frankfurt 2004
SDP Stage 1 i a*(i) V1*(i) Berechnung 00 0.00 0.8*0+0.2*0 1 01 0.40 0.8*0+0.2*2 2 11 2.8 0.8*3+0.2*2 3 4 Entscheidungsunterstützungssysteme IWI Frankfurt 2004

5 Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Stage 2 (z.B. i=2) a*(i) V1*(i) Berechnung 00 2.8 0.8*0+0.2* *V1(2)+0.2 V1(2) 01 1.4 0.8*0+0.2* *V1(2)+0.2 V1(1) 10 2.96 0.8*3+0.2* *V1(0)+0.2 V1(2) 11 2.88 0.8*3+0.2* *V1(0)+0.2 V1(1) Entscheidungsunterstützungssysteme IWI Frankfurt 2004

6 Reinforcement-Learning
Agent ist mit der Umwelt durch eine Sensorik verbunden In jedem Interaktionsschritt erhält der Agent einen Input i und Rückmeldung über Umweltzustand s Agent wählt eine Aktion a als Output, die den Umweltzustand ändert Agent bekommt den Wert der Aktion durch Reinforcement Signal mitgeteilt Ziel des Agenten ist es längerfristig die Summe der erhaltenen Reinforcement-Signale zu optimieren Entscheidungsunterstützungssysteme IWI Frankfurt 2004

7 Reinforcement-Learning
Agent Umgebung Action ar Reward r Zu-stand s rt+1 st+1 Entscheidungsunterstützungssysteme IWI Frankfurt 2004

8 Demo Reinforcement Learning
Entscheidungsunterstützungssysteme IWI Frankfurt 2004

9 Temporal-Difference-Learning
kombiniert Dynamische Programmierung mit Monte-Carlo-Methode Einteilung in Episoden setzt am Anfang der Durchläufe für jedes V(s) Schätzwerte korrigiert Schätzwert für V(s,t) über Summe aus folgendem Return und folgender Zustandswertfunktion Episode muss zur Bildung von Schätzwerten nicht komplett durchlaufen werden! Entscheidungsunterstützungssysteme IWI Frankfurt 2004

10 Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Beispiel r1 r3 r4 r7 r8 Update-Regel: Entscheidungsunterstützungssysteme IWI Frankfurt 2004

11 on- vs. off-policy learning
On-policy-Methode: Politik, mit der das Verhalten im Entscheidungsbaum generiert wird ist mit der, mit der V(s) geschätzt wird, identisch Off-policy-Methode: Verhaltenspolitik und Politik, mit der V(s) geschätzt wird, sind nicht identisch: Durchlauf des Entscheidungsbaumes wird bestimmt mit Verhaltenspolitik, V(s) wird geschätzt über Schätzpolitik Entscheidungsunterstützungssysteme IWI Frankfurt 2004

12 Q-Learning: Off-Policy TD-Learning
Optimaler Weg wird nicht über Update von V(s), sondern über Update von Q(s,a) bestimmt Verhaltenspolitik bestimmt Durchlauf des Entscheidungsbaumes Schätzpolitik wird zum Update von Q(s,a) verwendet Verhaltenspolitik ist -greedy; Schätzpolitik ist greedy Vorteil: globales Optimum wird mit größerer Wahrscheinlichkeit gefunden Entscheidungsunterstützungssysteme IWI Frankfurt 2004

13 Vorgehensweise Q-Learning
Wiederhole für jede Episode: 1. Gehe von einem bestimmten s aus 2. Wähle eine Aktion a, ausgehend von s und unter Zuhilfenahme der gewählten Verhaltenspolitik z.B. -greedy 3. Beobachte Return r und Zustand s‘ 4. Erstelle ein Update von Q folgendermaßen: 5. Gehe von s zu s‘ Entscheidungsunterstützungssysteme IWI Frankfurt 2004

14 RL-Entscheidungsbaum Aufgabe
Zeichen Sie einen reinforcement-lernenden Agenten in seiner Umgebung und erklären Sie die wesentlichen Merkmale des Reinforcement-Lernens Welchen Pfad würde ein RL-Agent durch den unten gezeigten Entscheidungsbaum wählen (nur die mit r gekennzeichneten Kanten stehen zur Auswahl), wenn er die greedy-Strategie wählt. Zeigen Sie, dass nach dem Durchschnittskriterium des Reinforcement-Lernens der gewählte Weg suboptimal ist? Welche Auswahlstrategie verhindert das beschriebene Verhalten (kurze Erklärung der Strategie)? Berechnen Sie den Zustandswert für den mit einem Pfeil markierten Knoten nach dem Durchlauf der Episoden (r1, r3, r7) und (r1, r4, r8), sowohl nach der First-Visit Methode als auch nach der Every-Visit Methode mit Update-Faktor a = 0,2 Entscheidungsunterstützungssysteme IWI Frankfurt 2004

15 RL-Entscheidungsbaum Aufgabe
Entscheidungsunterstützungssysteme IWI Frankfurt 2004

16 RL-Entscheidungsbaum Lösung
Greedy Pfad: r1, r4, r8 mit S/3 = 15/3 Alternativer Pfad: r1, r3, r6 mit S/3 = 16/3 e-greedy Strategie: Die e-greedy Strategie ist eine Variante der MC-Methode. In Zustand s wird mit einer geringen Wahrscheinlichkeit nicht die Entscheidungsvariante mit dem größten Aktionswert Q(s, a) ausgewählt, sondern eine der verbleibenden suboptimalen Entscheidungen (e-greedy). Auch Pfade mit zunächst schlechter geschätztem Aktionswert können gewählt werden. Die Tatsache, dass bei dieser Auswahlpolitik keine Episode gänzlich ausgeschlossen ist, garantiert das Durchlaufen aller Pfade im Grenzfall. Entscheidungsunterstützungssysteme IWI Frankfurt 2004

17 RL-Entscheidungsbaum Lösung
Update Regel für das every-visit MC-Verfahren V(st)  V(st) + [R t - V(st)] First-Visit Verfahren: 6,5 Every-Visit Verfahren: 0,8*6,5 + 0,2*6 = 6,4 Entscheidungsunterstützungssysteme IWI Frankfurt 2004

18 Entscheidungsunterstützungssysteme IWI Frankfurt 2004
RL-Grid-Aufgabe In Abbildung 1 sehen Sie eine 4 x 4 Grid-World für einen reinforcement-lernenden Roboter Zudem befindet sich auf dem Beiblatt das Ergebnis von einem Simulationslauf des RL-Simulators Path-Learner. Stellen sie anhand der im Simulationsbeispiel aufgezeichneten Q-Werte die gelernte Politik in Abbildung 2 dar. Benutzen Sie dazu die in Abbildung 1 verdeutlichte Pfeildarstellung. Markieren Sie die Lage eines Hindernisses mit einem X. Die Nomenklatur der Felder ist dabei wie folgt: Q[1][2] bedeutet Position 1 horizontal und Position 2 vertikal. Entscheidungsunterstützungssysteme IWI Frankfurt 2004

19 Entscheidungsunterstützungssysteme IWI Frankfurt 2004
RL-Grid-Aufgabe Abbildung 1: Abbildung 2: Entscheidungsunterstützungssysteme IWI Frankfurt 2004

20 Entscheidungsunterstützungssysteme IWI Frankfurt 2004
RL-Grid Aufgabe Q Matrix: ( UP DOWN LEFT RIGHT ) Q[0][0] = { } Q[0][1] = { } Q[0][2] = { } Q[0][3] = { } Q[0][4] = { } Q[1][0] = { } Q[1][1] = { } Q[1][2] = { } Q[1][3] = { } Q[1][4] = { } Q[2][0] = { } Q[2][1] = { } Q[2][2] = { } Q[2][3] = { } Q[2][4] = { } Q[3][0] = { } Q[3][1] = { } Q[3][2] = { } Q[3][3] = { } Q[3][4] = { } Q[4][0] = { } Q[4][1] = { } Q[4][2] = { } Q[4][3] = { } Q[4][4] = { } Simulationsbeispiel Max number of trials: 125 Max number of moves per trial: 50 Actual number of trials: 125 Learning Data: Learner Type: Q Gamma = 0.8 Alpha = 0.5 Current Action Strategy: Epsilon (epsilon = 0.75) Reward = 100 Penalty = 0 Entscheidungsunterstützungssysteme IWI Frankfurt 2004