Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Genetische Algorithmen Sebastian Stober Proseminar Wissensentdeckung und Maschinelles Lernen, WS 2001 Otto-von-Guericke-Universität-Magdeburg.

Ähnliche Präsentationen


Präsentation zum Thema: "Genetische Algorithmen Sebastian Stober Proseminar Wissensentdeckung und Maschinelles Lernen, WS 2001 Otto-von-Guericke-Universität-Magdeburg."—  Präsentation transkript:

1 Genetische Algorithmen Sebastian Stober Proseminar Wissensentdeckung und Maschinelles Lernen, WS 2001 Otto-von-Guericke-Universität-Magdeburg

2 Proseminar Maschinelles Lernen, WS 2001 – Genetische Algorithmen Sebastian Stober, Otto-von-Guericke-Universität Magdeburg 2 Motivation Analogie zur Evolutionstheorie der Biologie Evolution ist eine erfolgreiche, robuste Methode für Anpassung biologischer Systeme GA können Räume von Hypothesen durchsuchen, die komplexe, interagierende Bestandteile enthalten, bei denen der Einfluß jedes Teils auf die Gesamthypothese unklar ist GA können leicht parallelisiert werden GA sind nicht deterministisch

3 Proseminar Maschinelles Lernen, WS 2001 – Genetische Algorithmen Sebastian Stober, Otto-von-Guericke-Universität Magdeburg 3 Problemstellung Suche im Raum aller möglichen Hypothesen nach der besten Hypothese beste Hypothese ist diejenige mit der größten Fitness Fragen zur Implementierung Wie sieht die Fitness-Funktion aus? Wie sind die Individuen (Hypothesen) repräsentiert? Wie werden die Individuen selektiert? Wie reproduzieren sich die Individuen?

4 Proseminar Maschinelles Lernen, WS 2001 – Genetische Algorithmen Sebastian Stober, Otto-von-Guericke-Universität Magdeburg 4 Fitness-Funktion Weist jeder Hypothese einen Fitness-Wert zu Fitness Maß für die Güte der Hypothese Mögliche Kriterien: Genauigkeit (z.B. Annähern einer unbekannten Funktion) Komplexität Allgemeingültigkeit

5 Proseminar Maschinelles Lernen, WS 2001 – Genetische Algorithmen Sebastian Stober, Otto-von-Guericke-Universität Magdeburg 5 Repräsentation von Hypothesen Bitstrings: Einfach zu manipulieren (einfache Implementierung der Genetischen Operatoren) Können auch sehr komplex sein z.B. IF – THEN : Substrings mit Vor- und Nachbedingung Symbolische Darstellung: Anwendung in der Genetischen Programmierung

6 Proseminar Maschinelles Lernen, WS 2001 – Genetische Algorithmen Sebastian Stober, Otto-von-Guericke-Universität Magdeburg 6 Tournament-Selection wähle zufällig 2 Hypothesen übernehme mit vordefinierter Wahrscheinlichkeit die bessere, sonst die andere Ranking-Selection Fitnesswert, der nur vom Rang des Individuums in der Population ist Monte-Carlo (Roulette-Wheel-Selection) Jedem Individuum wird ein Sektor eines Roulettrads proportional zur Fitness zugeordnet Selektionsmethoden

7 Proseminar Maschinelles Lernen, WS 2001 – Genetische Algorithmen Sebastian Stober, Otto-von-Guericke-Universität Magdeburg 7 Genetische Operatoren Crossover (Rekombination) Mutation Erweiterte Operatoren Single-Point Crossover N-Point Crossover Uniform Crossover z.B. AddAlternative DropCondition

8 Proseminar Maschinelles Lernen, WS 2001 – Genetische Algorithmen Sebastian Stober, Otto-von-Guericke-Universität Magdeburg 8 Parameter: Fitness – Funktion zur Bewertung der Hypothesen p – Anzahl der Hypothesen einer Population r – Teil der Population, der durch Crossover ersetzt werden soll m – Mutationsrate Initialisiere Startpopulation: P 0 generiere p zufällige Hypothesen, n 0 Bewertung: h P 0 : berechne Fitness(h) while (not Abbruchbedingung_erfuellt) do od return Hypothese h P mit höchster Fitness(h) Allgemeiner Algorithmus 1. Selektionwahrscheinlichkeitsabhängige Auswahl von (1-r)*p Elementen aus P n in die Nachfolgegeneration P n+1 2. Crossoverwahrscheinlichkeitsabhängige Auswahl von r*p/2 Paaren aus P n für jedes Paar (h1,h2) konstruiere 2 Nachkommen mit Hilfe des Crossoveroperators für P n+1 3. Mutationwähle (mit gleichverteilter Wahrscheinlichkeit) m % der Hypothesen aus P n+1 und wende den Mutationsoperator darauf an 4. Bewertung h P n+1 : berechne Fitness(h)

9 Proseminar Maschinelles Lernen, WS 2001 – Genetische Algorithmen Sebastian Stober, Otto-von-Guericke-Universität Magdeburg 9 Probleme Overfitting Crowding Gut angepaßte Individuen können sich schneller fortpflanzen und übernehmen einen großen Teil der Population Einschränkung der Vielfalt Verlangsamerung der Weiterentwicklung Lösungsmöglichkeiten: Alternieren der Fitnessfunktion fitness sharing Einschränkungen bei der Reproduktion

10 Proseminar Maschinelles Lernen, WS 2001 – Genetische Algorithmen Sebastian Stober, Otto-von-Guericke-Universität Magdeburg 10 Genetisches Programmieren Form der evolutionellen Programmierung, bei der die Individuen Computerprogramme anstelle von Bitstrings sind Repräsentation der Programme: Syntaxbäume Fitness: Ausführen des Programms auf den Trainingsdaten Crossover: Austausch von zufällig gewählten Unterbäumen

11 Proseminar Maschinelles Lernen, WS 2001 – Genetische Algorithmen Sebastian Stober, Otto-von-Guericke-Universität Magdeburg 11 Parallelisieren Genetischer Algorithmen coarse-grain –Unterteilung in verschiedene Gruppen von Individuen –Jede Gruppe wird einem Knoten zugeordnet –Kommunikation und Kreuzung zwischen den Knoten seltener als innerhalb der Gruppen –Transfer über zusätzlichen Migrationsprozeß Verringert Crowding-Problem fine-grain –1 Prozessor/Individuum –Rekombination nur zwischen Nachbarn

12 Proseminar Maschinelles Lernen, WS 2001 – Genetische Algorithmen Sebastian Stober, Otto-von-Guericke-Universität Magdeburg 12 Zusammenfassung GA führen eine zufällige, parallele Suche durch nach Hypothesen, die eine vordefinierte Fitness Funktion optimieren Dabei wird die natürliche Evolution simuliert GA sind abrupt im Gegensatz zum sanften Abstieg entlang des Gradienten wie z.B. bei Backpropagation Nachkommen können radikal verschieden sein von den Eltern Geringere Wahrscheinlichkeit, in einem lokalen Minimum hängenzubleiben


Herunterladen ppt "Genetische Algorithmen Sebastian Stober Proseminar Wissensentdeckung und Maschinelles Lernen, WS 2001 Otto-von-Guericke-Universität-Magdeburg."

Ähnliche Präsentationen


Google-Anzeigen