PowerPoint-Folien zur 6. Vorlesung „Evolutionsstrategie I“

Präsentation zum Thema: "PowerPoint-Folien zur 6. Vorlesung „Evolutionsstrategie I“"—  Präsentation transkript:

1 PowerPoint-Folien zur 6. Vorlesung „Evolutionsstrategie I“
Ingo Rechenberg PowerPoint-Folien zur 6. Vorlesung „Evolutionsstrategie I“ Mutationsgeneratoren für die Evolutionsstrategie Objektiver, subjektiver und algorithmischer Zufall

2 Treibstoff für den Optimierungsmotor Evolutionsstrategie

3 Mutationen

4 Zufalls- Maschinen

5 Fertigung von Wellen auf einer Drehbank 9,9 10,0 Ø mm 10,1
Häufigkeit 9,9 10,0 Ø mm 10,1 Normale Verteilung des Ø-Fehlers

6 Körpergröße von Frauen
Gaußsche Normalverteilung Tobin/Dusheck 2001 Zahl der Frauen Körpergröße Normalverteilung = Die normale Verteilung des Zufalls

7 Sir Francis Galton ( ) Francis Galton und sein Nagelbrett

8 5 4 3 2 1 1 2 3 4 5 + + + + + Nagelbrett Simulation
Würfelbecher 2 3 Würfelbecher 1 Kugel fällt links Senkrecht aus der Wand ragende Nägel Kugel fällt rechts Wir erhalten das Ergebnis +2 auch, indem wir alle Vorzeichen addieren und das Ergebnis durch 2 dividieren Chips, die auf der einen Seite ein Minus- und auf der anderen Seite ein Plus-Zeichen tragen. 5 4 3 2 1 + 1 + 2 + 3 + 4 + 5

9 Mechanischer Zufallszahlengenerator „Turbulenzklappe“
1968 für die Evolutionsstrategie entwickelt Mechanischer Zufallszahlengenerator „Turbulenzklappe“ Text

10 Physikalischer Zufallszahlengenerator als USB-Stecker
Das Zufallssignal wird von der thermischen Rauschquelle, generiert, die eine Z-Diode liefert. PRG310 Firma: Westphal Electronic Preis: 340 Euro

11 Subjektiver und objektiver Zufall
Der Zufall im täglichen Leben und auch der Zufall in der klassischen Physik ist ein scheinbarer Zufall. Der deutsche Physiker Werner Heisenberg hat dies auch als subjektiven Zufall bezeichnet, womit gemeint ist: Es ist ausschließlich unser momentanes Unwissen, das Unwissen des Subjekts, das es uns so erscheinen lässt, als wäre ein bestimmtes Ereignis rein zufällig gewesen. In Wirklichkeit gibt es dafür jedoch einen wohl definierten Grund. Nur in Quantenphysik existiert der objektive Zufall. Kommt ein System in einen Quantenzustand, sind mehrere Zustände gleichzeitig in einer Raum-Zeit-Wahr-scheinlichkeitswelle vorhanden. Bricht diese Welle z. B. durch eine Messung zu-sammen, ist nur noch ein Zustand vorhanden. Dabei ist es objektiv zufällig, wel-chen der gleichberechtigten Zustände das physikalische Objekt dabei annimmt.

12 Quanten-Physiker baut echten Zufallsgenerator
Meldung vom 30 November 2011 Quanten-Physiker baut echten Zufallsgenerator               Ben Sussman, ein Physiker aus Ottawa, hat einen echten Zufallsgenerator entwickelt. Dabei macht er sich die Eigenarten der Quantenmechanik zunutze. Das System soll es zukünftig ermöglichen, in kritischen Bereichen deutlich sicherere Verschlüsselungen einzusetzen.

13 Plancksches Wirkungsquantum
y Fenster Heisenbergsche Unschärferelation Die genaue Ortsfestlegung des Elektrons in y-Richtung bedingt eine hohe Unschärfe der Geschwindigkeit in y-Richtung Für m = konst. Plancksches Wirkungsquantum h = 6,63·10-34 Js p × 4 Δ h v y Prinzip eines Quanten-Zufallszahlengenerators

14 Quanten-Zufallszahlen-Generator
Schneller Quanten-Zufallszahlen-Generator Der Quanten-Zufallszahlen-Generator (QRNG), den ein Aussteller auf der CeBIT 2004 zeigt, ist noch ein-mal kleiner, leistungsfähiger und preisgünstiger als sein Vorgängermodell. Im Vergleich zu anderen Gene-ratoren, die auf so genannten chaotischen Prozessen basieren, nutzt das vorgestellte Modell mit der zufäl-ligen Reflexion oder Transmission eines einzelnen Photons an einem halbtransparenten Spiegel einen fundamentalen quantenphysikalischen Prozess aus. Text

15 (c) copyright 2004, www.randomnumbers.info
News About us Download random numbers What are random numbers ? Generating random numbers Credits Contact Links Download random numbers from quantum origin Powered by Quantis PCI Card Generiert am :54 (c) copyright 2004,

16 (c) copyright 2004, www.randomnumbers.info
News About us Download random numbers What are random numbers ? Generating random numbers Credits Contact Links Download random numbers from quantum origin Powered by Quantis PCI Card Generiert am :56 (c) copyright 2004,

17 Quanten-Zufallszahlen von PicoQuant - Meldung vom 17.02.2011
Als neuen Service bieten PicoQuant und die Humbolt Universität Berlin einen Download-Service für Zufallszahlen eines neuen Quanten-Zufallsgenerators an.                                       Zusammen mit der Berliner PicoQuant GmbH haben Forscher der Nano-Optics Gruppe am Institut für Physik der Humbolt-Universität Berlin im Rahmen des BMBF-Projekts KEPHOSI einen neuen Quanten-Zufallszahlengenerator entwickelt. Dieser basiert auf einer Einzelphotonenquelle, die das quantenmechanisch zufällige Auftreten eines einzelnen Photons für die Generierung von Zufallszahlen nutzt. Der Vorteil dieses Systems gegenüber bisherigen öffentlich zugänglichen Zufallsgeneratoren ist die deutlich höhere Bitrate von 150 Mbit/s, die über eine USB-Verbindung ausgegeben wird. Interessierte Nutzer können Blöcke zufälliger Bitfolgen kostenfrei herunterladen oder unter Verwendung von DLLs einen kontinuierlichen Datenstrom vom Server direkt in eigene Anwendungen einfließen lassen. Eine bestimmte Zufallssequenz wird dem Nutzer nur ein einziges Mal zur Verfügung gestellt. Auch voneinander unabhängigen Nutzern ist die abgerufene Sequenz nicht mehr zugänglich. Der Service ist auf der HU-Webseite abrufbar und erfordert lediglich eine Registrierung.

18 1000 wirklich echte Zufallszahlen, erzeugt mit einem Quanten-Generator

19 1000 Quanten-Lottozahlen Note: In case you use random numbers downloaded from this site to play lotteries and you win, we recommend you to donate half of the sum to !

20 5000 ??? - Zufallszahlen 3,

21 Die Ziffernfolge Pi hat bisher alle Test bezüglich ihres zufälligen Verhaltens bestanden.
Von Pi sind heute über 5 Billionen (ausgeschrieben ) Kommastellen bekannt. Das ist der Weltrekord (Stand 2011), aufgestellt von Shigeru Kondo und Alexander Yee. Text

22 Gedankenspiel Das Theorem des endlos tippenden Affen besagt, dass ein Affe, der genügend lange auf einer Schreibmaschine tippt, irgendwann mal Goethes Faust produziert. Und wenn  wirklich eine Zufallszahl ist, dann würde dies bedeuten, dass  alle bisher und zukünftig geschriebenen Bücher irgendwo (in codierter Dezimal-Form) enthalten muss.

23 Pseudozufallszahlengenerator, der nach einer mathematischen Formel in Form einer Rekursionsvorschrift arbeitet oder einfacher FRAC bedeutet den Nachkommateil einer Zahl Beispiel: Liefert [0, 1) - gleichverteilte Pseudozufallszahlen

24 Das Quadrat-Mittenverfahren von John von Neumann
Wer Zufallszahlen arithmetisch erzeugen möchte ist ein Tölpel. Das Quadrat-Mittenverfahren von John von Neumann Anyone who considers arithmetical methods of producing random digits is, of course, in a state of sin. 1949 Start mit einer 2a-stelligen Zahl (a = 1, 2, 3, …) J. v. Neumann (1903 – 1957) z0 = 66 662 = 4356 z1  35 352 = 1225 z2  22 222 = 0484 z3  48 482 = 2304 z4  30 302 = 0900 z5  90 902 = 8100 z6  10 102 = 0100 Rekursionsformel z7  10 Text

25 Der Kongruenzgenerator A. Rothenberg (1960)
Liefert ( 0, 1, 2, … m -1) gleichverteilte Zufallszahlen Bedeutung der Operation a = b mod c Es ist a der Divisionsrest, der sich ergibt, wenn b durch c geteilt wird. Beispiele: a = 23 mod 9 a = 5 a = 100 mod 3 a = 1 a = 100 mod 90 a = 10 a = 33 mod 37 a = 33

26 z1 = 4 z2 = 1 z3 = 0 z4 = 3 z5 = 4 Der Kongruenzgenerator Beispiel:
Alternative Schreibweise: Beispiel: z1 = 4 z2 = 1 z3 = 0 z4 = 3 z5 = 4

27 z0 = 4 z1 = 7 z2 = 0 z3 = 3 z4 = 6 z5 = 9 z6 = 2 z7 = 5 z8 = 8 z9 = 1
Regeln für einen Kongruenz-Zufallszahlengenerator mit maximaler Periodenlänge m Regel 1: b und m dürfen keinen gemeinsamen Teiler besitzen Regel 2. a –1 muss durch die Primfaktoren von m teilbar sein Regel 3. a –1 muss durch 4 teilbar sein, wenn m Vielfaches von 4 Beispiel: a = 11, b = 3, m = 10 z0 = 4 z1 = 7 z2 = 0 z3 = 3 z4 = 6 z5 = 9 z6 = 2 z7 = 5 z8 = 8 z9 = 1 z9 = 4

28 Regel 1: b und m dürfen keinen gemeinsamen Teiler besitzen
Regeln für einen Kongruenz-Zufallszahlengenerator mit maximaler Periodenlänge m Regel 1: b und m dürfen keinen gemeinsamen Teiler besitzen Regel 2. a –1 muss durch die Primfaktoren von m teilbar sein Regel 3. a –1 muss durch 4 teilbar sein, wenn m Vielfaches von 4 Beispiel: a = 901, b = 17, m = 30000

29 w zi Erzeugung normalverteilter Zufallszahlen 2s Warum ?
Sie verhalten sich, n-dimensional zusammengesetzt, rotationssymmetrisch

30 z2 z1 Erzeugung rotationssymmetrisch normalverteilter Zufallszahlen

31 Berechnung der Jacobi-Determinante
Erzeugung von 2 normalverteilter Zufallszahlen y1 und y2 aus 2 gleichverteilten Zufallszahlen x1 und x2 durch die Box-Muller Transfomation: Beweis: Durch Bildung von y1 + y2 und y1 / y2 können wir das Gleichungssystem leicht nach x1 und x2 auflösen: Für die Transformation der Dichte w(x1,x2) in die Dichte w( y1,y2) gilt: Erweiterung der einsichtigen eindimensionalen Transformationsregel: w ( y ) d y = w ( x ) d x 1 Berechnung der Jacobi-Determinante Box, G. E. P. and Muller, M. E. "A Note on the Generation of Random Normal Deviates.„ Ann. Math. Stat. 29, , 1958

32 Fester Glauben Wilhelm Busch Professor: „… und nun will ich ihnen diesen Lehrsatz jetzt auch beweisen“ Schüler: „Wozu beweisen, Herr Professor? Ich glaub‘ es Ihnen so.“

33 Erzeugung von normalverteilten Zufallzahlen
Box-Muller-Formel für den Computer: rnd rnd in Basic Aus zwei [ 0, 1 ) - gleichverteilten Zufallszahlen wird eine normalverteilte Zufallszahl produziert

34 Gleichverteilte, normalverteilte und kugelrandverteilte Zufallzahlen im Computerbild

35 z2 z3 z1 -1 +1 Gleichverteilte Zufallsmutationen in die z1- z2- und z3-Richtung erzeugen im Mittel in den Diagonalenrichtungen fach größere Mutationsvektoren als in den Variablenrichtungen ! Text

36 Zusammengefasste Logik
der Evolutionsstrategie

37 Der Dumme, der einfach losgeht, kommt weiter als der Schlaue, der sitzen bleibt und sich vor lauter Nachdenken nicht entscheiden kann. Einfach losgehen (irgendetwas machen) erfordert einen Stichproben-Generator

38 100 [0,1)-gleichverteilte Zufallszahlen
Quanten-Zufallsgenerator BASIC rnd-Zufallsgenerator 0,3694 0,9284 0,2079 0,9989 0,1260 0,6529 0,9316 0,7965 0,3705 0,8985 0,2226 0,5342 0,4488 0,1678 0,1628 0,7918 0,7372 0,8404 0,4038 0,9501 0,6603 0,4121 0,3412 0,4439 0,2659 0,7437 0,7771 0,7157 0,0781 0,5667 0,6077 0,8724 0,0601 0,6445 0,2855 0,9989 0,9308 0,1323 0,0898 0,0321 0,4309 0,7503 0,4484 0,8258 0,0438 0,1965 0,6839 0,7762 0,2457 0,5428 0,8982 0,2496 0,9110 0,9204 0,9541 0,3418 0,0863 0,6957 0,7688 0,5117 0,6829 0,9253 0,6371 0,2503 0,4469 0,1715 0,2330 0,2525 0,6164 0,5399 0,7083 0,8156 0,0602 0,9943 0,8288 0,3440 0,2245 0,0655 0,2725 0,7460 0,8282 0,1834 0,1076 0,2949 0,5979 0,7363 0,8807 0,8428 0,3533 0,5511 0,0648 0,3631 0,0960 0,4324 0,4509 0,1695 0,9996 0,8175 0,7368 0,4984 0,7055 0,5334 0,5759 0,2896 0,3019 0,7747 0,0140 0,7607 0,8145 0,7090 0,0454 0,4140 0,8626 0,7905 0,3735 0,9620 0,8714 0,0562 0,9496 0,3640 0,5249 0,7671 0,0535 0,5925 0,4687 0,2982 0,6227 0,6478 0,2638 0,2793 0,8298 0,8246 0,5892 0,9861 0,9110 0,2269 0,6951 0,9800 0,2439 0,5339 0,1064 0,9994 0,6762 0,0157 0,5752 0,1001 0,1030 0,7989 0,2845 0,0456 0,2958 0,3820 0,3010 0,9486 0,9798 0,4014 0,2783 0,1604 0,1628 0,6466 0,4101 0,4128 0,7127 0,3262 0,6332 0,2076 0,1860 0,5834 0,0807 0,4580 0,9057 0,2614 0,7852 0,3789 0,2897 0,9194 0,6317 0,6276 0,4285 0,0980 0,5610 0,6945 0,9137 0,8348 0,0226 0,5434 0,9162 0,4303 0,6779 0,5025 0,5137 0,4630 0,3535 0,4048 0,2697 0,0556 0,2438 0,9791 0,0609 0,3903 Quanten-Zufallsgenerator contra Pseudozufallsgenerator

39 Würde die Evolutionsstrategie mit einem Quantenzufallsgenerator besser arbeiten als mit einem Pseudozufallsgenerator ?

40 Zur „Philosophie“ der richtigen Schrittsetzfolge
Nur rechts herum 1 1 1 1 4 1 2 4 2 4 2 4 2 3 3 3 3 Mal rechts, mal links 1 1 1 1 4 1 2 2 4 2 2 3 3

41 Quanten-Zufallsgenerator contra Pseudozufallsgenerator
100 [0,1)-gleichverteilte Zufallszahlen Quanten-Zufallsgenerator BASIC rnd-Zufallsgenerator 0,3694 0,9284 0,2079 0,9989 0,1260 0,6529 0,9316 0,7965 0,3705 0,8985 0,2226 0,5342 0,4488 0,1678 0,1628 0,7918 0,7372 0,8404 0,4038 0,9501 0,6603 0,4121 0,3412 0,4439 0,2659 0,7437 0,7771 0,7157 0,0781 0,5667 0,6077 0,8724 0,0601 0,6445 0,2855 0,9989 0,9308 0,1323 0,0898 0,0321 0,4309 0,7503 0,4484 0,8258 0,0438 0,1965 0,6839 0,7762 0,2457 0,5428 0,8982 0,2496 0,9110 0,9204 0,9541 0,3418 0,0863 0,6957 0,7688 0,5117 0,6829 0,9253 0,6371 0,2503 0,4469 0,1715 0,2330 0,2525 0,6164 0,5399 0,7083 0,8156 0,0602 0,9943 0,8288 0,3440 0,2245 0,0655 0,2725 0,7460 0,8282 0,1834 0,1076 0,2949 0,5979 0,7363 0,8807 0,8428 0,3533 0,5511 0,0648 0,3631 0,0960 0,4324 0,4509 0,1695 0,9996 0,8175 0,7368 0,4984 0,7055 0,5334 0,5759 0,2896 0,3019 0,7747 0,0140 0,7607 0,8145 0,7090 0,0454 0,4140 0,8626 0,7905 0,3735 0,9620 0,8714 0,0562 0,9496 0,3640 0,5249 0,7671 0,0535 0,5925 0,4687 0,2982 0,6227 0,6478 0,2638 0,2793 0,8298 0,8246 0,5892 0,9861 0,9110 0,2269 0,6951 0,9800 0,2439 0,5339 0,1064 0,9994 0,6762 0,0157 0,5752 0,1001 0,1030 0,7989 0,2845 0,0456 0,2958 0,3820 0,3010 0,9486 0,9798 0,4014 0,2783 0,1604 0,1628 0,6466 0,4101 0,4128 0,7127 0,3262 0,6332 0,2076 0,1860 0,5834 0,0807 0,4580 0,9057 0,2614 0,7852 0,3789 0,2897 0,9194 0,6317 0,6276 0,4285 0,0980 0,5610 0,6945 0,9137 0,8348 0,0226 0,5434 0,9162 0,4303 0,6779 0,5025 0,5137 0,4630 0,3535 0,4048 0,2697 0,0556 0,2438 0,9791 0,0609 0,3903 Quanten-Zufallsgenerator contra Pseudozufallsgenerator Text

42 Der Streit um Darwin und um den Zufall in der Evolution
contra Stichprobengenerator Zufall ? ? ? Der Streit um Darwin und um den Zufall in der Evolution

43 Ende

44 Aus den Anfängen der Evolutionsstrategie stammt ein bemerkenswert einfacher strömungstechnischer Apparat, der normalverteilte Zufallszahlen erzeugt: Die Turbulenzklappe. In einem turbulenten Freistrahl befindet sich eine leicht drehbar gelagerte Balsaholzfahne. Die turbulenten Strömungswirbel, die sich unvorhersag-bar chaotisch bewegen, schleppen die Fahne schwingend hin und her. Die Fahne stößt dabei unregelmäßig an einen elektrischen Kontakt. An die Stelle der Lampe in der Skizze ist ein elektronische Zähler eingefügt. Die von der Klappe erzeugten Impulse werden für T Sekunden aufwärts und für ebenfalls genau T Sekunden ab-wärts gezählt. Was übrig bleibt ist eine Zufallszahl, die einer Normalverteilung ge-nügt. Denn große Zähldifferenzen werden wesentlich seltener auftreten als kleine.

45 Eine schwache Lichtquelle, z. B
Eine schwache Lichtquelle, z. B. ein Laser oder eine Leuchtdiode, sendet einen Strom von Lichtteilchen (Photonen) aus. Der Lichtstrahl wird an einem halbdurch-lässigen Spiegel geteilt. Die Hälfte der Lichtteilchen dringt hindurch und trifft dahinter auf ein Messgerät. Die andere Hälfte wird reflektiert und dann in einem zweiten Messgerät aufgefangen. Ähnlich wie beim Münzwurf hat das einzelne Photon eine Wahrscheinlichkeit von ½ in einen der beiden Detektoren zu treffen. Es gibt jedoch keinen inneren Mechanismus, der das Photon in die eine oder andere Richtung stößt. Und genau das ist der Unterschied zu allen anderen Zufallsgeneratoren. Der Zufall ist in den Formeln der Quantenphysik enthalten. Seit etlichen Jahrzehnten ersinnen die Forscher immer neue Experimente, um das zu beweisen oder vielleicht doch einen verborgenen Mechanismus zu finden. Albert Einstein war einer der prominentesten Kritiker des "eingebauten Zufalls". Sein abschätziger Kommentar: "Gott würfelt nicht!" Nach unserem heutigen Wissensstand ist es sehr wahrscheinlich, dass „er“ doch gewürfelt hat...

46 Ein weiterer Weltrekord:
Mathematikfreunde aus Gießen haben im Mathematikum der Stadt einen Welt-rekord aufgestellt, indem sie Kommastellen der Wunderzahl vorlasen: Rund vierzig Kinder und Erwachsene schieben sich vor die Bühne im Hinterhof des Gießener Mathematikums, als Albrecht Beutelspacher am Freitag den 3. Juni 2005 um Punkt achtzehn Uhr den Vorleseweltrekord der Zahl Pi eröffnet, die als 3,14 bekannt ist. Fünf Minuten hat der Mathematikprofessor Zeit, um die ersten 300 Zahlen nach dem Komma inklusive der Drei vor dem Komma vorzulesen. Eine Minute länger als vorgesehen braucht er dafür, doch Albrecht Beutelspacher, Leiter des Mathematikums und Organisator des Wettbewerbs, ist mit seiner Leistung zufrieden … Samstagnacht um vierundzwanzig Uhr ist es dann geschafft: Die Organisatorinnen Svenja Häuser und Lisa Grieb lesen die letzten sechshundert Ziffern vor. Ein neuer Weltrekord ist erreicht.

47 Man beginnt mit einer 2a-stelligen Zahl (a = 1, 2, 3, …)
Man beginnt mit einer 2a-stelligen Zahl (a = 1, 2, 3, …). Die Zahl wird quadriert. Es entsteht eine 4a-stellige Zahl. Ist bei der Quadratbildung die Stellenzahl kleiner als 4a, so werden dem Ergebnis entsprechend viele Nullen vorgesetzt. Daraufhin werden die mittleren 2a Stellen herausgeschnitten und als neue Pseudozufallszahl interpretiert. Nach der abermaligen Quadrierung dieser Zahl ergibt sich durch Herausblenden der Mitte die nächste Pseudozufallszahl usw. Anmerkung zur Rekursionsformel für das Quadratmittenverfahren: Mit der Operation FRAC wird der Nachkommateil und mit der Operation INT der Vorkommateil einer Zahl herausgeblendet.

48 Bemerkung zum Programm: Der Computerversuch zeigt, dass in der Praxis die Anisotropie der Zufallsvektoren, die mit n gleichverteilten Zufallszahlen zwischen -1 und +1 erzeugt werden, die Konvergenz der Evolutionsstrategie nicht stört. Das ist durch die sehr schnelle Anpassung der Mutationsschrittweite mit der 1/5-Erfolgsregel zu erklären. In der Theorie würde dagegen die Verwendung von gleichverteilten Zufallszahlen in der Form 2*(Rnd - 0.5) zu den größten Schwierigkeiten führen, da sich dann für jede Raumrichtung eine andere Lösung ergeben würde. Aus diesem Grund arbeiten Evolutionsstrategen nicht nur in der Theorie, sondern auch in der Praxis mit normalverteilten Zufallsmutationen.

49 Feststellung: Evolutionsbefürworter und Evolutionsgegner streiten über die Rolle des Zufalls in der Entwicklung des Lebens. Evolutionsbiologen sehen im Zufall den großen „Macher“, Kreationisten ziehen die Kraft des Zufalls ins Lächerliche. Tatsa-che ist: Der Zufall spielt bei weitem nicht die Rolle, wie es die Kontroverse erwarten lässt. Der Zufall ist in der Evolutionsstrategie nur eine besonders einfacher Stich-probengenerator. Es muss etwas Neues probiert werden und dabei jegliches „Vorurteil“ (Bevorzugung einer bestimmten Richtung) vermieden werden. Auch ein deterministischer Stichprobengenerator könnte diese Bedingungen erfüllen. Der Pseudozufallszahlengenerator ist ein solcher deterministischer Stichprobengene-rator, der sich besonders einfach programmieren lässt. Nur wer an eine mystische Kraft des Zufalls glaubt wird seine Mutationen mit einem Quantengenerator erzeugen. Was in der Evolution schon nicht mehr dem Zufall überlassen werden darf, das ist die Mutationsgröße (in der Evolutionsstrategie die Schrittweite d ). Das zeigt die Theorie des Evolutionsfensters.