Machine Learning & Spiele: Probleme und Ideen von Samuel bis heute Giuliana Sabbatini

Überblick 1.Warum Spiele für ML&KI 2.Samuels Dame-Spieler Grundidee & Techniken 3.ML & Spiele nach Samuel Problemstellungen Methoden und deren Anwendung 4.Offene Punkte

: Samuels Dame-Spieler Samuels Projekt: write a program to play checkers […], challenge the world champion and beat him Spiele als optimales Domain, um die Möglichkeiten von ML&KI zu beweisen und zu entwickeln Vorfahren von ML Techniken, die nur Jahre bis Jahrzehnte später formalisiert wurden (zB Strategie zur Suche im Spielbaum)

Warum Spiele? Das Problem soll einfach genug und gleichzeitig komplex genug sein… Keine deterministische Lösungstrategie Endziel muß vorhanden und klar definiert sein Zwischenziele sollten vorhanden und definierbar sein… Regeln der Umgebung sollen genau und algorithmisch formulierbar sein

Samuels Dame-Spieler/1 Zur Auswahl eines Zuges: Bewertungsfunktion (Polynom) + Suchstrategie (Alpha-Beta) Quiescence-Suche: instabile Stellungen erkennen und Tiefe der Suche adaptieren Feature Subset Selection: automatische Auswahl aus einem vordefinierten Pool von Bewertungskriterien Unterschiedliche Bewertungsfunktionen für unterschiedliche Spielphasen

Samuels Dame-Spieler/2 Optimierung der Bewertung: Rote Learning: oft auftretende Spielstellungen speichern, damit mehr Zeit zur Verfügung für tiefere Suche Reinforcement Learning: Bewertung der aktuellen Spielstellung nach einer Quiescence- Suche mit Bewertung derselben Stellung nach einer Suche über mehrere Züge vergleichen Self-Play: Dynamische vs stabile Version Comparison Training auf Basis von Meisterschaft-Spielen

Nach Samuel: Schwerpunkte Verbesserte Methoden für Book Learning Learning von Strategien zur Kontrolle der Suchprozedur (bzw deren Parameter) Methoden zur Optimierung der Bewertungsfunktion Auswahl einer Training Strategie

Nach Samuel: Techniken und Methoden/1 Book Learning: –Vorgespeicherte Züge für Anfangs- und Endphase des Spiels (Opening Book) + automatische Erweiterung der vorhandenen Sammlung –Effiziente Speicherung von Spielstellungen, schnelle Suche der Einträge, Forgetting-Strategie, automatisch Generalisierung von Konzepten Kontrolle der Suchprozedur: –Automatische Optimierung der Suchparameter für bessere bzw schnellere Suche (zB Quiescence-Kriterien, Reihenfolge der Bewertung)

Nach Samuel: Techniken und Methoden/2 Optimierung der Bewertungsfunktion: –Supervised Learning: Absolute Bewertungen von Spielstellungen sind vorhanden Problem: Auswahl und Bewertung solcher Spielstellungen + Overfitting! –Comparison Training: Relative Bewertungen für Paare von Zügen sind vorhanden Problem: Effizienz und Konsistenz! –Reinforcement Learning: Feedback über die Qualität jedes Zuges bzw jedes Matchs Problem: verspätetes oder ungenaues Feedback! –Temporal-Difference Learning und genetische Algorithmen (Spezialfälle von Reinforcement): Feedback wird verteilt auf alle entsprechende Züge Problem: Auswahl einer Verteilungsstrategie!

Nach Samuel: Techniken und Methoden/3 Training-Strategie: –Self-Play (besser geeignet für nichtdeterministische Spiele) Nachteile: Lokale Minima – Größe des Spielraums –Dynamische vs stabile Version Vorteile: Lokale Minima sind einfach zu vermeiden – Vorhandene Kenntnisse werden genauer geprueft –Computer vs Human –PCs Tourniere –Web Server Vorteile: Viele unterschiedlichen Gegner – Gegner derselben Kategorie - Fortschritt

Offene Punkte Automatische Generierung von interpretierbaren Bewertungskriterien (…neuronale Netze und genetische Algorithmen…) Zwischen- vs Endziele (zB Schichte) Verbesserte Analyse der Spielstellung (zB Erkennung von Muster und von relevanten Teilen des Spielbretts) Opponent-Modellierung (Schwäche ausnutzen, Bewertung modifizieren) Lineare vs. nichtlineare Bewertungsfunktionen: Effizienz, Konvergenz, lokales Overfitting, Komplexität der Konzepte Stabilität, Konvergenz und Konsistenz der Performance Problem der Wissensrepräsentation Learning von Spielstrategien (nicht nur Spielstellungen klassifizieren)

Literaturhinweise A.Samuel (1959) Some Studies in Machine Learning Using the Game of Checkers, IBM Journal (1963 in Feigenbaum & Feldman Computers and Thought) A.Samuel (1967) Some Studies in Machine Learning Using the Game of Checkers. II-Recent Progress, IBM Journal A.Samuel (1960) Programming Computers to Play Games, Advances in Computers J.Fürnkranz (2000) Machine Learning in Games: A Survey, OEFAI TR J.Fürnkranz ( ) Bibliography on Machine Learning in Strategic Game Playing ( J.Schaeffer (1999) The Role of Games in Understanding Computational Intelligence, IEEE Intelligent Systems J.Pearl Heuristics