Publikation von Studierenden der FH OÖ Monte Carlo Tree Search für Optimierung Alexander Balleitner

Thema und Aufgaben Stand der Technik von MCTS für Optimierungsaufgaben erarbeiten Welche Algorithmenvarianten gibt es? Für welche Optimierungsaufgaben wurden diese erfolgreich eingesetzt? Es sollen Optimierungsaufgaben, deren Lösungsraum aus einer Grammatik besteht, betrachtet werden Implementieren und ausführliches Testen des MCTS-Algorithmus für grammatikbasierte Optimierungsaufgaben Seite 2 von 19

Monte Carlo Tree Search Einleitung Heuristischer Algorithmus für Entscheidungsprobleme Wurde 2006 entwickelt für Computer Go Erstmalige Kombination aus Baumsuch-Algorithmen und Monte Carlo-Methoden KI für Computer- und Brettspiele Seite 3 von 19

Monte Carlo Tree Search Algorithmus Lösungsraum wird als Baum dargestellt Jeder Knoten steht für einen Spielzug bzw. Entscheidung Baum wird in jeder Iteration erweitert Seite 4 von 19

Monte Carlo Tree Search Algorithmus Seite 5 von 19

Regelwerke des MCTS- Algorithmus Tree-Policy Selektion des „Start“-Knoten für eine Iteration Zuständig für: Diversifikation Intensifikation Default-Policy Zuständig für Simulationsprozess Einfachste Form basiert auf reiner Zufallssimulation Seite 6 von 19

Upper Confidence Bound (UCB) UCB1 Tree-Policy X j ist der durchschnittliche Qualitätswert n j ist die Anzahl an Selektionen X j beeinflusst Intensifikation n j beeinflusst Diversifikation Seite 7 von 19

Lösen einer Optimierungsaufgabe mit MCTS Optimierungsaufgabe als Grammatik darstellen Alle möglichen Sätze einer Grammatik können als Baumstruktur repräsentiert werden Dadurch ist ein Suchraum für MCTS gegeben Einfaches Beispiel (RoyalSymbol): Ziel ist es einen Satz zu generieren mit einer maximalen Anzahl an a‘s und einer maximalen Satzlänge k. G(S) : S → aS | bS | a | b. Seite 8 von 19

Lösungsansatz des MCTS- Algorithmus G(S) : S → aS | bS | a | b. Es werden baumartig Sätze erzeugt. Terminale Symbole werden als Knoten dargestellt. MCTS löst diese Aufgabe relativ simpel ohne domainspezifisches Wissen. Seite 9 von 19

Methodik Vergleich zur Genetischen Programmierung Lösungskandidaten werden ebenfalls als Baum dargestellt Zum Beispiel bei der Symbolischen Regression Optimierungsaufgaben mit MCTS und Genetischer Programmierung lösen Performanz und Qualität der Lösungen miteinander vergleichen Seite 10 von 19

MCTS - RoyalSymbol Seite 11 von 19

GP Standard - RoyalSymbol Seite 12 von 19

Santa Fe Trail - Problem Ziel ist es möglichst schnell die gesamte Nahrung aufzunehmen. Startposition ist festgelegt. Operationen der Ameise: Vorwärts Nach links drehen Nach rechts drehen Seite 13 von 19

MCTS – Santa Fe Trail Seite 14 von 19

GP Standard – Santa Fe Trail Seite 15 von 19

Symbolische Regression – Poly10 Problem mit 10 Variablen Ziel ist es die Beziehungen dieser 10 Variablen zu finden: x 1 x 2 + x 3 x 4 + x 5 x 6 + x 1 x 7 x 9 + x 3 x 6 x 10 Seite 16 von 19

GP Standard – Poly10 Seite 17 von 19

MCTS – Poly10 Seite 18 von 19

MCTS - Analyse Eignet sich sehr gut für Entscheidungsprobleme Baut die Lösung Schritt für Schritt auf Im Vergleich zu GP mehr Evaluierungen pro Sekunde Probleme (u.a. bei Optimierungsproblemen) Neigt dazu früh in lokale Optima zu fallen und dort „sitzen“ zu bleiben Verbesserungspotential Lernt nicht aus guten bzw. schlechten Entscheidungen Seite 19 von 19