Layered Learning Kapitel 4
Voraussetzungen 1. Komplexe Domain realtime noisy limited communications viele bewegt Objekte (Ball, Mitspieler, Gegner) direktes mapping ( Input Output ) nicht erlernbar 2. Modularisierung möglich (task decomposition) ergibt eine hierarchische Struktur
Beispiel für hierarchische task decomposition LayerStrategic levelBehavoir typeExample L1L1 robot-ballindividualball interception L2L2 one-to-one playermultiagentpass evaluation L3L3 one-to-many playerteampass selection L4L4 team formationteamstrategic positioning L5L5 team-to-opponentadversarialstrategic adaptation
Formale Definition eines Layers L i = (F i, O i, T i, M i, h i ) Input Output Trainingsdaten ML-Algorithmus resultierende Funktion h i : F i O i h i : 1. erzeugt F k i+1 2. erzeugt T i+1 3. schränkt die möglichen O i+1 ein
Implementation Ball Interception low-level skill, offine, neuronal network Pass Evaluation wird ein bestimmter Pass ankommen? Kenntnisse aus ball interception werden verwendet (offline, C4.5 decision tree) Pass Selection pass evaluation reduziert den riesigen Inputspace: nur die möglichen Pässe zu Mitspielern werden betrachtet (TPOT-RL)
Online Offline Wenn möglich, offline: fixe Situationen treten immer wieder auf während des Spiels (online) bekommt man nicht genügend ähnliche Trainingsmöglichkeiten gelernte skills können auf andere player übertragen werden Wenn notwendig, online: gelerntes Wissen kann nur teilweise weitergegeben werden Schwierigkeiten:exploration exploitation escalating arms race problem
Einbettung von Layered Learning in die Team Member Agent Architecture (Kap. 3) external behaviors:ball interception pass selection internal behaviors:pass evaluation strategic positioning strategic adaptation
Error Propagation Welcher Layer ist verantwortlich für Erfolg / Misserfolg ?