Genetische Algorithmen

Präsentation zum Thema: "Genetische Algorithmen"—  Präsentation transkript:

1 Genetische Algorithmen
Sommerakademie Ftan 2002 Gruppe 3: Künstliche Intelligenz Sebastian Stober - Genetische Algorithmen

2 Motivation Analogie zur Evolutionstheorie der Biologie
Evolution ist eine erfolgreiche, robuste Methode für Anpassung biologischer Systeme GA können Räume von Hypothesen durchsuchen, die komplexe, interagierende Bestandteile enthalten, bei denen der Einfluß jedes Teils auf die Gesamthypothese unklar ist GA können leicht parallelisiert werden GA sind nicht deterministisch Sommerakademie Ftan 2002 – Gruppe 3: Künstliche Intelligenz Sebastian Stober - Genetische Algorithmen

3 Fragen zur Implementierung
Problemstellung Suche im Raum aller möglichen Hypothesen nach der „besten Hypothese“ „beste Hypothese“ ist diejenige mit der größten Fitness Fragen zur Implementierung Wie sieht die Fitness-Funktion aus? Wie sind die Individuen (Hypothesen) repräsentiert? Wie werden die Individuen selektiert? Wie reproduzieren sich die Individuen? Fitness – abstrakter Begriff, abhängig von der Aufgabenstallung Sommerakademie Ftan 2002 – Gruppe 3: Künstliche Intelligenz Sebastian Stober - Genetische Algorithmen

4 Fitness-Funktion Fitness Weist jeder Hypothese einen Fitness-Wert zu
Maß für die Güte der Hypothese Mögliche Kriterien: Genauigkeit (z.B. Annähern einer unbekannten Funktion) Komplexität Allgemeingültigkeit Sommerakademie Ftan 2002 – Gruppe 3: Künstliche Intelligenz Sebastian Stober - Genetische Algorithmen

5 Repräsentation von Hypothesen
Bitstrings: Einfach zu manipulieren (einfache Implementierung der Genetischen Operatoren) Können auch sehr komplex sein z.B. IF – THEN : Substrings mit Vor- und Nachbedingung Symbolische Darstellung: Anwendung in der Genetischen Programmierung Tafelbild „Outlook“ Sommerakademie Ftan 2002 – Gruppe 3: Künstliche Intelligenz Sebastian Stober - Genetische Algorithmen

6 Selektionsmethoden Monte-Carlo (Roulette-Wheel-Selection)
Jedem Individuum wird ein Sektor eines Roulettrads proportional zur Fitness zugeordnet Selektionsmethoden Ranking-Selection Fitnesswert, der nur vom Rang des Individuums in der Population ist Tournament-Selection wähle zufällig 2 Hypothesen übernehme mit vordefinierter Wahrscheinlichkeit die bessere, sonst die andere Monte-Carlo: die härteste Tournament: größere Vielfalt der Population Diagramme anzeichnen Sommerakademie Ftan 2002 – Gruppe 3: Künstliche Intelligenz Sebastian Stober - Genetische Algorithmen

7 Genetische Operatoren
Crossover (Rekombination) Mutation Erweiterte Operatoren Single-Point Crossover N-Point Crossover Uniform Crossover z.B. AddAlternative DropCondition AddAlternative: ändert Wert eines Attributes; im Substring eines Attributes wird eine 0 in eine 1 geändert (läßt eine Möglichkeit in Disjunktion mehr zu) => p ~ 0.01 DropCondition: ersetzt alle Bits eines bestimmten Attributes auf 1 => „don‘t care“ => neue Attribute einführen, die angeben, ob erw. Operator auf Individuum angewendet werden darf => Steigerung Performance von 92.1 % auf 95.2% nach DeJong et al. (1993) mir GABIL Sommerakademie Ftan 2002 – Gruppe 3: Künstliche Intelligenz Sebastian Stober - Genetische Algorithmen

8 Allgemeiner Algorithmus
Parameter: Fitness – Funktion zur Bewertung der Hypothesen p – Anzahl der Hypothesen einer Population r – Teil der Population, der durch Crossover ersetzt werden soll m – Mutationsrate Initialisiere Startpopulation: P0  generiere p zufällige Hypothesen, n  0 Bewertung:  h  P0 : berechne Fitness(h) while (not Abbruchbedingung_erfuellt) do od return Hypothese h  P mit höchster Fitness(h) 1. Selektion wahrscheinlichkeitsabhängige Auswahl von (1-r)*p Elementen aus Pn in die Nachfolgegeneration Pn+1 2. Crossover wahrscheinlichkeitsabhängige Auswahl von r*p/2 Paaren aus Pn für jedes Paar (h1,h2) konstruiere 2 Nachkommen mit Hilfe des Crossoveroperators für Pn+1 3. Mutation wähle (mit gleichverteilter Wahrscheinlichkeit) m % der Hypothesen aus Pn+1 und wende den Mutationsoperator darauf an 4. Bewertung  h  Pn+1 : berechne Fitness(h) Sommerakademie Ftan 2002 – Gruppe 3: Künstliche Intelligenz Sebastian Stober - Genetische Algorithmen

9 Probleme Overfitting Crowding
Gut angepaßte Individuen können sich schneller fortpflanzen und übernehmen einen großen Teil der Population Einschränkung der Vielfalt Verlangsamerung der Weiterentwicklung Lösungsmöglichkeiten: Alternieren der Fitnessfunktion „fitness sharing“ Einschränkungen bei der Reproduktion Fitness sharing – gemessene Fitness wird durch Anwesenheit von ähnlichen Individuen reduziert Reproduzierungseinschränkung: nur ähnliche => Clusterbildung => multiple „subspecies“ / räumliche Trennung -> nur benachbarte Sommerakademie Ftan 2002 – Gruppe 3: Künstliche Intelligenz Sebastian Stober - Genetische Algorithmen

10 Genetisches Programmieren
Form der evolutionellen Programmierung, bei der die Individuen Computerprogramme anstelle von Bitstrings sind Repräsentation der Programme: Syntaxbäume Fitness: Ausführen des Programms auf den Trainingsdaten Crossover: Austausch von zufällig gewählten Unterbäumen Syntaxbaum S. 262/263 Figure 9.2 Sommerakademie Ftan 2002 – Gruppe 3: Künstliche Intelligenz Sebastian Stober - Genetische Algorithmen

11 Parallelisieren Genetischer Algorithmen
coarse-grain Unterteilung in verschiedene Gruppen von Individuen Jede Gruppe wird einem Knoten zugeordnet Kommunikation und Kreuzung zwischen den Knoten seltener als innerhalb der Gruppen Transfer über zusätzlichen Migrationsprozeß Verringert Crowding-Problem fine-grain 1 Prozessor/Individuum Rekombination nur zwischen Nachbarn Coarse = grob Grained = strukturiert Sommerakademie Ftan 2002 – Gruppe 3: Künstliche Intelligenz Sebastian Stober - Genetische Algorithmen

12 Zusammenfassung GA führen eine zufällige, parallele Suche durch nach Hypothesen, die eine vordefinierte Fitness Funktion optimieren Dabei wird die natürliche Evolution simuliert GA sind „abrupt“ im Gegensatz zum „sanften“ Abstieg entlang des Gradienten wie z.B. bei Backpropagation Nachkommen können radikal verschieden sein von den Eltern Geringere Wahrscheinlichkeit, in einem lokalen Minimum „hängenzubleiben“ Sommerakademie Ftan 2002 – Gruppe 3: Künstliche Intelligenz Sebastian Stober - Genetische Algorithmen