Publikation von Studierenden der FH OÖ Monte Carlo Tree Search für Optimierung Alexander Balleitner.

Präsentation zum Thema: "Publikation von Studierenden der FH OÖ Monte Carlo Tree Search für Optimierung Alexander Balleitner."—  Präsentation transkript:

1 Publikation von Studierenden der FH OÖ Monte Carlo Tree Search für Optimierung Alexander Balleitner

2 Thema und Aufgaben Stand der Technik von MCTS für Optimierungsaufgaben erarbeiten Welche Algorithmenvarianten gibt es? Für welche Optimierungsaufgaben wurden diese erfolgreich eingesetzt? Es sollen Optimierungsaufgaben, deren Lösungsraum aus einer Grammatik besteht, betrachtet werden Implementieren und ausführliches Testen des MCTS-Algorithmus für grammatikbasierte Optimierungsaufgaben Seite 2 von 19

3 Monte Carlo Tree Search Einleitung Heuristischer Algorithmus für Entscheidungsprobleme Wurde 2006 entwickelt für Computer Go Erstmalige Kombination aus Baumsuch-Algorithmen und Monte Carlo-Methoden KI für Computer- und Brettspiele Seite 3 von 19

4 Monte Carlo Tree Search Algorithmus Lösungsraum wird als Baum dargestellt Jeder Knoten steht für einen Spielzug bzw. Entscheidung Baum wird in jeder Iteration erweitert Seite 4 von 19

5 Monte Carlo Tree Search Algorithmus Seite 5 von 19

6 Regelwerke des MCTS- Algorithmus Tree-Policy Selektion des „Start“-Knoten für eine Iteration Zuständig für: Diversifikation Intensifikation Default-Policy Zuständig für Simulationsprozess Einfachste Form basiert auf reiner Zufallssimulation Seite 6 von 19

7 Upper Confidence Bound (UCB) UCB1 Tree-Policy X j ist der durchschnittliche Qualitätswert n j ist die Anzahl an Selektionen X j beeinflusst Intensifikation n j beeinflusst Diversifikation Seite 7 von 19

8 Lösen einer Optimierungsaufgabe mit MCTS Optimierungsaufgabe als Grammatik darstellen Alle möglichen Sätze einer Grammatik können als Baumstruktur repräsentiert werden Dadurch ist ein Suchraum für MCTS gegeben Einfaches Beispiel (RoyalSymbol): Ziel ist es einen Satz zu generieren mit einer maximalen Anzahl an a‘s und einer maximalen Satzlänge k. G(S) : S → aS | bS | a | b. Seite 8 von 19

9 Lösungsansatz des MCTS- Algorithmus G(S) : S → aS | bS | a | b. Es werden baumartig Sätze erzeugt. Terminale Symbole werden als Knoten dargestellt. MCTS löst diese Aufgabe relativ simpel ohne domainspezifisches Wissen. Seite 9 von 19

10 Methodik Vergleich zur Genetischen Programmierung Lösungskandidaten werden ebenfalls als Baum dargestellt Zum Beispiel bei der Symbolischen Regression Optimierungsaufgaben mit MCTS und Genetischer Programmierung lösen Performanz und Qualität der Lösungen miteinander vergleichen Seite 10 von 19

11 MCTS - RoyalSymbol Seite 11 von 19

12 GP Standard - RoyalSymbol Seite 12 von 19

13 Santa Fe Trail - Problem Ziel ist es möglichst schnell die gesamte Nahrung aufzunehmen. Startposition ist festgelegt. Operationen der Ameise: Vorwärts Nach links drehen Nach rechts drehen Seite 13 von 19

14 MCTS – Santa Fe Trail Seite 14 von 19

15 GP Standard – Santa Fe Trail Seite 15 von 19

16 Symbolische Regression – Poly10 Problem mit 10 Variablen Ziel ist es die Beziehungen dieser 10 Variablen zu finden: x 1 x 2 + x 3 x 4 + x 5 x 6 + x 1 x 7 x 9 + x 3 x 6 x 10 Seite 16 von 19

17 GP Standard – Poly10 Seite 17 von 19

18 MCTS – Poly10 Seite 18 von 19

19 MCTS - Analyse Eignet sich sehr gut für Entscheidungsprobleme Baut die Lösung Schritt für Schritt auf Im Vergleich zu GP mehr Evaluierungen pro Sekunde Probleme (u.a. bei Optimierungsproblemen) Neigt dazu früh in lokale Optima zu fallen und dort „sitzen“ zu bleiben Verbesserungspotential Lernt nicht aus guten bzw. schlechten Entscheidungen Seite 19 von 19