3. März 2000LS VI Workshop: Kalibrierung und Optimierung1/20 Kalibrierung und Optimierung in simulierten Multiagentensystemen Christoph Oechslein

3. März 2000LS VI Workshop: Kalibrierung und Optimierung2/20 Begriffsbestimmung Kalibrierung: Anpassen von Ein-/Ausgabeverhaltens eines Systems. Optimierung: Maximierung eines Modells bzgl. einer Bewertungsfunktion Optimierung beinhaltet Kalibrierung: Bei Kalibrierung ist Optimum gegeben.

3. März 2000LS VI Workshop: Kalibrierung und Optimierung3/20 Optimierung von Simulationen Standardansatz

3. März 2000LS VI Workshop: Kalibrierung und Optimierung4/20 Optimierung von Simulationen Standardansatz (Forts.) Optimierer kann dabei beliebiger Suchalgorithmus sein (Tabusearch, SA,...) beliebiges OR-Verfahren ((nicht-)lineare Programmierung,...) populationsbasierte Verfahren (GA, ES, Scatter Search,...) möglichst wenige Parameterevaluationen, da extrem kostspielig

3. März 2000LS VI Workshop: Kalibrierung und Optimierung5/20 Kommerzielle Lösungen AutoStatAutoMod, AutoSchedES OPTIMIZSIMUL8NN SimRunner2MedModel, ProModelES, GA OptQuestArena, QUEST, Micro SaintSS, TS, NN WITNESS OptimizerWITNESSSA, TS Quelle: Simulation Modelling and Analysis; Law, Kelton; 3 rd Edition

3. März 2000LS VI Workshop: Kalibrierung und Optimierung6/20 Problem: Parameterevaluationskosten Standardlösungen Heuristik für Parameterauswahl Parameterbewertung Parameterrekombination Lernen des Ein-/Ausgabeverhalten (response-surface) des Simulationsmodells bzw. der Bewertungsfunktion

3. März 2000LS VI Workshop: Kalibrierung und Optimierung7/20 Beobachtung: Folgerung: Neue Ansätze I Aus mehreren Simulationsläufen (mit gleichen Parameter) nur eine Bewertung Ausnutzen des Simulationslaufs, um Parameter zu optimieren: auf Populationsebene (Multi-Agenten-System) auf Individuenebene (Lernen)

3. März 2000LS VI Workshop: Kalibrierung und Optimierung8/20 Modellbauer erzeugt oft sehr viele Parameter, bedingt auch durch Aktionsselektionsarchitektur Teile des Modells abstrakter definieren: durch Erweiterung des Modells um Constraintnetz der Parameterabhängigkeiten durch was soll geschehen und nicht wie. ( Lernen, Reinforcement Learning) Beobachtung: Folgerung: Neue Ansätze II

3. März 2000LS VI Workshop: Kalibrierung und Optimierung9/20 Alle Ansätze Standardansatz: Simulationslauf als parametrisierte Funktion, die optimiert wird Optimierung während Simulationslauf populationsbasiert individuenbasiert (Lernen) Dimensionseinschränkung durch abstrakteres Modell

3. März 2000LS VI Workshop: Kalibrierung und Optimierung10/20 Bewertungsfunktion eines Simulationslaufes Test, ob Parameterwerte sinnvoll sind Funktion, um Parameterwerte sinnvoll zu machen (Reparatur) oder Funktion zur Konstruktion von sinnvollen Parameterwerten Funktion zur Rekombination von Parameterwerten Populationsbasiert oder suchbasiert Lernen der Response-Surface durch statistische Methoden, NN, Radial Basis Function Zusätzliches Wissen: Algorithmus: Standardansatz Anforderungen

3. März 2000LS VI Workshop: Kalibrierung und Optimierung11/20 Bewertungsfunktion für Individuum odersurvival of the fittest Test, ob Parameterwerte von Individuum sinnvoll sind Funktion, um Parameterwerte sinnvoll zu machen (Reparatur) oder Konstruktion von Werten Evolutionäre Strategie zur Parameteradaption bzw. –rekombination Genetisches Programmieren zur Verhaltensneubildung Zusätzliches Wissen: Algorithmus: Optimierung während Simulationslauf auf Populationsebene Anforderungen

3. März 2000LS VI Workshop: Kalibrierung und Optimierung12/20 Nachbildung biologischer Evolution Mit Populationsoptimierungskomponente lassen sich biologische Fragestellungen lösen, z.B. das Problem der Evolution staatenbildender Insekten oder die Auswahl verschiedener Erklärungsmodelle Biologische Evolution möglichste genau Nachbilden, z.B. diploid/haploid Alexanders Diplomarbeit (Abschlussvortrag) Projekt mit Biologie

3. März 2000LS VI Workshop: Kalibrierung und Optimierung13/20 Zusätzliches Wissen: Algorithmus: Optimierung auf Modellebene Anforderungen Wissen über Parameterabhängigkeiten (Constraintnetz) Z.B.: Parameter A Parameter B Constraintsatisfaction Möglichkeiten gute Startparameterwerte zu finden und Überprüfungen der Parameterzur Laufzeit siehe Standardansatz bzw. Optimierung auf Populationsebene

3. März 2000LS VI Workshop: Kalibrierung und Optimierung14/20 Optimierung während Simulationslauf auf Individuenebene Black-Box

3. März 2000LS VI Workshop: Kalibrierung und Optimierung15/20

3. März 2000LS VI Workshop: Kalibrierung und Optimierung16/20 Zusätzliches Wissen: Algorithmus: Optimierung während Simulationslauf auf Individuenebene Anforderungen Reinforcement-Wissen, d.h. was muss man wie verändert, falls Reinforcement R auftritt. Wie wird Reinforcement R aus Sensorinput errechnet. Möglichst nur für Teilbereiche des Modells definieren. Reinforcement-Learning

3. März 2000LS VI Workshop: Kalibrierung und Optimierung17/20 Zusammenfassung: Zusätzliches Wissen a) Bewertungsfunktion eines Simulationslaufes b) Bewertungsfunktion für Individuum odersurvival of the fittest c) Wissen über Parameterabhängigkeiten (Constraintnetz): a) Test, ob Parameterwerte von Individuum sinnvoll sind b) Funktion, um Parameterwerte sinnvoll zu machen (Reparatur) oder Funktion zur Konstruktion von sinnvollen Parameterwerten d) Reinforcement-Wissen StandardansatzPopulationsebenIndividuenebeneModellebene a) bzw. b), c)b), c)d)c)

3. März 2000LS VI Workshop: Kalibrierung und Optimierung18/20 Zusammenfassung: Zusätzliche Algorithmen a) Suchalgorithmus (uninformiert?) b) Evolutionäre Strategie zur Parameteradaption bzw. –rekombination c) Constraintsatisfaction d) Reinforcement-Learning StandardansatzPopulationsebenIndividuenebeneModellebene a), c)b), c)d)c)

3. März 2000LS VI Workshop: Kalibrierung und Optimierung19/20 Zeitplan 1) Optimierung auf Individuenebene Projekt mit Biologie 2) Optimierung auf Modellebene 3) Standardansatz 4) Optimierung auf Individuenebene Lernen, Baldwin-Effekt

3. März 2000LS VI Workshop: Kalibrierung und Optimierung20/20 FragenFragen