Evolutionäre Strategien Nicole Männig

Vortragsgliederung Woher kommen die evolutionären Strategien? Geschichte Motivation Spezielle evolutionäre Strategien (1+1)- ES (μ+1)- ES (μ+λ)- ES und (μ, λ) –ES Modifikationen Schlusswort Literatur

Woher kommen die evolutionären Strategien? Geschichte Zwei parallele Entwicklungen in den 60er Jahren In den USA führte Holland die „Genetischen Algorithmen“ ein → Kernidee: binäre Kodierung In Deutschland entwickelte Rechenberg die Idee der „Evolutionären Strategie“, welche von Schwefel weitergeführt wurde → Kernidee: reelle Kodierung

Woher kommen die evolutionären Strategien? Geschichte gehören zu den Verfahren, die ohne Gradienten arbeiten arbeiten mit Stochastik und Populationen

Woher kommen die evolutionären Strategien? Motivation jedes Lebewesen ist nahezu perfekt an seine Umgebung angepasst die Evolution fand über einen sehr langen Zeitraum statt selbst gravierende Änderungen der Lebensräume und -bedingungen konnten diese Evolution nicht stoppen die Natur hat somit ein perfektes Vorbild für die Mathematik geschaffen

Woher kommen die evolutionären Strategien? Motivation evolutionäre Methoden zeichnen sich durch ihre Robustheit und Effektivität aus Verwendung häufig bei nichtlinearen Systemen, wo andere Optimierungsverfahren versagen oder keine adäquate Lösung liefern folgende Prinzipien werden dabei auf die Mathematik übertragen → Mutation → Selektion → Rekombination

Woher kommen die evolutionären Strategien? Motivation Idee: die Parameter werden nach dem Zufallsprinzip geringfügig geändert mit der darstellenden Funktion werden dann die „Fitnesswerte“ der Objekte berechnet und entsprechend sortiert die neuen Objekte entstehen also durch Mutationen der alten Objekte die Individuen werden durch Vektoren reeller Zahlen kodiert eine Population ist somit eine Menge von Vektoren

Woher kommen die evolutionären Strategien? Motivation Industriebeispiel: Verwendung einer evolutionären Strategie in der Bionik Knochen bauen sich von dem Punkt ausgehend auf, der die größte Belastung aushalten bzw. am stabilsten sein muss → finde diesen Punkt in der zu gießenden Form → berechne optimale Vorgehensweise für den Gussvorgang viele Anwendungen im Bereich der Elektrotechnik meistens jedoch multikriteriell

2. Spezielle evolutionäre Strategien Übersicht .

2. Spezielle evolutionäre Strategien (1+1)- ES Einleitung Wir betrachten das in den vergangenen Vorträgen vorgestellte Optimierungsproblem (Minimierungsproblem) gesucht ist der Weg zu einem Optimum der nicht linearen Zielfunktion mit multiplen lokalen Optima selbst wenn es nur ein lokales Optimum gibt, kann es schwierig werden dorthin einen Weg zu finden .

2. Spezielle evolutionäre Strategien (1+1)- ES Vorstellung Motivation war die Formoptimierung (1+1)- ES bedeutet: 1 Elternteil, 1 Nachkomme (1+1)- ES = (P°, m, s, cd, ci, f, g, t) → P° = (x°, σ°) є I Population I = Rn x Rn → m: I → I Mutationsoperator → s: IxI → I Selektionsoperator → cd, ci є R Schrittweitenkontrolle → f: Rn → R Zielfunktion → gj: Rn → R Nebenbedingungen j є {1,…, q} → t: IxI → {0,1} Abbruchbedingung

2. Spezielle evolutionäre Strategien (1+1)- ES Arbeitsweise einer evolutionären Strategie Elternteil Evaluation (Terminierung) Mutation Selektion Evaluation

2. Spezielle evolutionäre Strategien (1+1)- ES Arbeitsweise einer evolutionären Strategie Elternteil: a1´t = Pt (xt, σt) → Evaluation Mutation = Nachkomme: a2´t = m (Pt) = (x´t, σt) → Evaluation Vorübergehende Population: P´t = (a1´t, a2´t) є IxI Einschub: biologische Beobachtung: kleinere Änderungen treten häufiger auf als größere realisieren daher Mutationen durch normal- verteilte Zufallszahlen → x´t = xt + N0(σt ) .

2. Spezielle evolutionäre Strategien (1+1)- ES Arbeitsweise einer evolutionären Strategie bestimme nun das fittere Individuum (= Selektion) f(x´t) ≤ f(xt) und a2´t if → Pt+1 = s(Pt) = g(x´t) ≥ 0 a1´t = Pt sonst der Iterationsprozess stoppt, wenn das Abbruchkriterium t(a1´t , a2´t)=1 hält eine Frage die noch offen ist: konvergiert das Verfahren überhaupt?

2. Spezielle evolutionäre Strategien (1+1)- ES Konvergenz Konvergenz: → für σ > 0 und ein reguläres Optimierungsproblem wird das globale Optimum mit Wahrscheinlichkeit 1 gefunden → Nachteil: die Suchzeit muss ausreichend lang sein → daher keine praktische Relevanz Rechenberg berechnete die Konvergenzraten für 2 Modellfunktionen → Korridor- Modell: f1(x)= F(x1)= c0 + c1 x1 für alle iє{2,…,n}: -b/2 ≤ xi ≤ b/2 → Sphären- Modell: f2 (x)= Σxi ²

2. Spezielle evolutionäre Strategien (1+1)- ES daraus ergeben sich die zu erwartenden Konvergenzraten: → für n>>1 → Konvergenzrate des Sphärenmodells ist abhängig von der aktuellen Position im euklidischen Raum

2. Spezielle evolutionäre Strategien (1+1)- ES bestimme damit die optimalen Standardabweichungen → Berechne davon ausgehend die Wahrscheinlichkeiten für eine erfolgreiche Mutation

2. Spezielle evolutionäre Strategien (1+1)- ES Erfolgreiche Mutation → für n>>1 für optimale Schrittweiten ergibt sich damit: →

2. Spezielle evolutionäre Strategien (1+1)- ES Mutationsvarianz Ausgehend davon, formulierte Rechenberg seine 1/5 Regel: „Das Verhältnis der erfolgreichen Mutationen zu allen Mutationen sollte 1/5 sein. Wenn es größer ist als 1/5, erhöhe die Varianz, wenn es weniger ist, verringere die Mutationsvarianz.“ .

2. Spezielle evolutionäre Strategien (1+1)- ES Mutationsvarianz daher macht es Sinn, σt dynamisch anzupassen wir erweitern daher den Mutationsoperator m cdσt, falls pst < 1/5 σt+n= ciσt, falls pst > 1/5 σt, falls pst = 1/5 Schwefel: cd=0.82, ci=1/0.82 Anpassung ungefähr alle n Mutationen .

2. Spezielle evolutionäre Strategien (1+1)- ES ein kleines Anwendungsbeispiel: Optimierung einer 2- Phasen Überschalldüse → Entwicklung eines Stromerzeugers für Satelliten → Ausgang: konventionell geformte Venturidüse → Schwefel kombinierte nach dem Zufallsprinzip die einzelnen Sektoren, in die eine solche Düse geschnitten wurde .

2. Spezielle evolutionäre Strategien (1+1)- ES ein kleines Anwendungsbeispiel: Optimierung einer 2- Phasen Überschalldüse die folgende Abbildung zeigt die zufälligen Änderungen (Mutationen) eine Änderung, die sich bewährt hat, wurde als Vorlage für die nächste zufällige Anordnung genommen .

2. Spezielle evolutionäre Strategien (1+1)- ES ein kleines Anwendungsbeispiel: Optimierung einer 2- Phasen Überschalldüse nach 44 zufälligen Mutationen kam dabei folgende Form heraus diese Form wäre zum damaligen Zeitpunkt nicht mathematisch und logisch nachvollziehbar erwartet worden auch heute ist dieses Ergebnis nur in etwa nachzuvollziehen die Effizienz dieser Form ist ca. 40% höher als die der Venturidüse und das, obwohl man nicht den Zusammenhang zwischen Form und Wirkung kennt .

2. Spezielle evolutionäre Strategien (μ+1)- ES Einleitung Welche Auswirkungen hat es, wenn ich eine ganze Bevölkerung zur Verfügung habe? → binde dafür das Populationskonzept in den Algorithmus ein → μ >1 gibt dabei die Anzahl der Eltern an, die an der Produktion eines Nachfahrens beteiligt sind → insbesondere ist nun auch die sexuelle Rekombination simulierbar

2. Spezielle evolutionäre Strategien (μ+1)- ES Vorstellung (μ+1)- ES = (P°, μ, r, m, s, cd, ci, f, g, t) → P° = (x°, σ°) є I Population I = Rn x Rn → μ >1 Anzahl der Eltern → r: Iμ→ I Rekombinationsoperator → m: I → I Mutationsoperator → s: IxI → I Selektionsoperator → cd, ci є R Schrittweitenkontrolle → f: Rn → R Zielfunktion → gj: Rn → R Nebenbedingungen j є {1,…, q} → t: IxI → {0,1} Abbruchbedingung nun mehr als nur ein Elternteil wird wegen gestiegener Elternzahl benötigt

2. Spezielle evolutionäre Strategien (μ+1)- ES Arbeitsweise einer (μ+1)- ES die Einbindung einer Population führt zwangsläufig zu einer anderen Vorgehensweise Population Evaluation Terminierung? Selektion I Selektion II Rekombination +Mutation nun stehen mehrere Eltern zur Auswahl diese müssen auch wieder bewertet werden suche mir nun daraus potentielle Eltern aus weitere Selektion erforderlich

2. Spezielle evolutionäre Strategien (μ+1)- ES Arbeitsweise einer (μ+1)- ES der Rekombinationsoperator entscheidet dabei, von welchem Elternteil welcher Anteil übernommen wird dies geschieht mittels einer Zufallsvariable auf dem Intervall [0,1] Konvention: alle Eltern haben dasselbe Paarungsverhalten r ist diskret, da Komponentenwerte von den Eltern kopiert werden .

2. Spezielle evolutionäre Strategien (μ+1)- ES Arbeitsweise einer (μ+1)- ES „Survival of the fittest“ → Selektionsoperator entfernt das Schwächste Individuum → dies kann entweder der Nachkomme oder ein Elternteil sein → geschieht vor Produktion der neuen Generation → der Rest arbeitet analog zur (1+1)- ES → die dynamische Anpassung der Schrittweiten ist jedoch nicht gewünscht, da der Nachkomme mit niedriger Mutationsvarianz bevorzugt wird

2. Spezielle evolutionäre Strategien (μ+λ)- ES Vorstellung . wie die Schreibweise schon vermuten lässt: → μ>1 Eltern → λ>1 Nachkommen Selektion arbeitet also nun auf der Vereinigung von Eltern und Nachkommen → Eltern überleben solange, bis sie komplett von einer besseren Generation Nachkommen überholt werden → das am beste angepasste Individuum kann daher ewig überleben → die Qualität der besten Individuen kann sich von Generation zu Generation nicht verschlechtern damit sind jedoch Nachteile verbunden

2. Spezielle evolutionäre Strategien (μ+λ)- ES Nachteile ändert sich das Optimum mit der Zeit, so steckt die (μ+λ)- ES in der vorherigen Umgebung fest bei störanfälligen Variablen passiert dasselbe (häufig in einer experimentellen Umgebung) ist μ/λ ≥ pf(x)opt (der Wahrscheinlichkeit für eine erfolgreiche Mutation), so ist eine zusätzliche Selektion erforderlich

2. Spezielle evolutionäre Strategien (μ,λ)- ES Vorstellung (μ+λ)- ES (μ, λ)- ES Eltern überleben, bis sie komplett von einer Generation Nachkommen eingeholt werden. Qualität kann sich nicht verschlechtern Es kann zu Stagnationsphasen kommen Kann in einer optimalen Umgebung festhängen Nur die Nachkommen bilden die Eltern der nächsten Generation → begrenzte Lebenszeit Es kann Rückschritte in der Qualität geben Stagnationsphasen werden vermieden Kann sich auf neues Optimum einstellen

2. Spezielle evolutionäre Strategien (μ+λ)- ES und (μ, λ)- ES

2. Spezielle evolutionäre Strategien (μ+λ)- ES und (μ, λ)- ES Mutationen durch das Unterdrücken groß ausfallender Mutationen können starke Schwankungen vermieden werden Mutationsmechanismen der ES sind daher meistens klein ausfallende Mutationen

2. Spezielle evolutionäre Strategien (μ, λ)- ES Mutationen wesentlicher Unterschied: Strategieparameter σt wird nun in die genetische Information aufgenommen und nicht durch eine Erfolgsregel (z.B. die 1/5 Regel von Rechenberg) kontrolliert somit gilt dann für den Mutationsoperator: → ai´t = r(Pt) = Genetischer Vorfahre → m(ai´t) = ai´´t = (x´´t, σ´´t) → σ´´t = σ´t expN0(Δσ) → x´´t = x´t + N0(σ´´t ) σ selbst wird nun ebenfalls verändert

2. Spezielle evolutionäre Strategien (μ, λ)- ES Beispiel: Marketing Grobe Beschreibung: → man bringt ein Produkt auf den Markt → wie verbreitet sich das Produkt? → welche Werbemaßnahmen? → welcher Anfangspreis? → sobald das Produkt auf dem Markt ist: Konkurrenzprodukte, neue Marketingstrategien, Preisdruck durch Konkurrenten, etc. ZIEL: selbst- anpassender Algorithmus, der Entwicklungen des Marktes berücksichtigt

2. Spezielle evolutionäre Strategien (μ, λ)- ES Beispiel: MDO = Multidisziplinäre Optimierung → Einbindung verschiedener Disziplinen → große Anzahl an Parametern und Nebenbedingungen Ziel: Minimierung des Gewichts FE- Modell: Crash ~ 130.000 Elemente NVH ~ 90.000 Elemente unabhängige Parameter: 109 , Anzahl der Simulationen: 3*28*10 Nebenbedingungen: 18, Anzahl CPU (Crash): 800, Anzahl CPU (NVH)=8 Monte- Carlo- Schema (μ, λ)- ES Laufzeit: 58 Stunden

3. Modifikationen die bis hierhin verwendeten Strategien sind nicht die einzigen man hat auch noch optimale Konvergenzraten betrachtet, welche auf einem optimalen Verhältnis μ/λ arbeiten Nachteil: werden diese von einem lokalen Optimum angezogen, verringert sich ihre genetische Vielfalt um dies zu verhindern, kann man die Bevölkerung teilen: → konstante Subpopulation: trägt nützliches Wissen, erhält minimale genetische Diversität → dynamische Subpopulation hier ist die globale Konvergenz nachprüfbar

xa,i (A) keine Rekombination 3. Modifikationen Rekombinationstypen des Weiteren kann man verschiedene Rekombinationstypen betrachten → auch hier gibt es wieder Vor- und Nachteile in der Diversität und Über- Anpassung Schwefels Implementierung erlaubt 5 Rekombinationstypen: xa,i (A) keine Rekombination xa,i oder xb,i (B) diskret xi´= ½(xa,i + xb,i) (C) intermediär xai,i oder xbi,i (D) global diskret ½(xai,i + xbi,i) (E) global intermediär

3. Modifikationen Mutationen auch die Mutationen können noch anders betrachtet werden → bislang waren die bevorzugten Suchrichtungen entlang der Achsen → erfahrungsgemäß ist die beste Suchrichtung der Gradient, welcher nicht entlang der Achsen liegt ein günstiges Fortschreiten wird durch korrelierte Mutationen erreicht

3. Modifikationen Mutationen es wird ein zusätzlicher Strategievektor θ eingefügt m(ai´t)=ai´´t= (x´´, σ´´, θ´´) σ´´= σ´t exp N0(Δσ) θ´´= θ´t + N0(Δσ) x´´ = x´t + N0(A) anschaulich bedeutet dies: Ellipsen stellen Bereiche gleicher Mutationswahr- scheinlichkeit dar 1. globale Schrittweite 2. individuelle Schrittweite 3. korrelierte Mutationen

4. Schlusswort Evolutionäre Strategien haben durchaus andere Eigenschaften und Fähigkeiten als Methoden, die mit Gradienten arbeiten grundsätzlich gibt es die Gefahr, nach Auffinden eines lokalen Optimums dort zu verharren dies ist vorallem ein Manko von Gradientenverfahren bei evolutionären Strategien sind diese Gefahren deutlich reduziert somit ist die Wahrscheinlichkeit größer, ein Optimum zu finden oder sich diesem anzunähern

4. Schlusswort auch wenn sie auf Grund der Laufzeiten nicht immer vorteilhaft sind, so können sie doch eine Laufrichtung für andere Verfahren bieten bei multikriteriellen Optimierungsproblemen liefern sie außerdem neue Ideen oder Schwerpunkte für die Optimierung

5. Literatur A Survey of Evolution Strategies, Bäck, Hoffmeister, Schwefel Evolutionary Strategies for Multidisciplinary Optimization, Bäck (NuTech Solutions GmbH) diverse Internetseiten von Technischen Universitäten mit dem Fachbereich Elektrotechnik, Bionik