Ingo Rechenberg PowerPoint-Folien zur 6. Vorlesung „Evolutionsstrategie I“ Mutationsgeneratoren für die Evolutionsstrategie Objektiver, subjektiver und algorithmischer Zufall

Evolutionsstrategie Optimierungsmotor Treibstoff für den

Mutationen

Zufalls- Maschinen

Fertigung von Wellen auf einer Drehbank Normale Verteilung des Ø-Fehlers 10,0 10,1 9,9 mm Ø Häufigkeit

Gaußsche Normalverteilung Normalverteilung = Die normale Verteilung des Zufalls Körpergröße Zahl der Frauen Körpergröße von Frauen Tobin/Dusheck 2001

Francis Galton und sein Nagelbrett Sir Francis Galton ( )

Senkrecht aus der Wand ragende Nägel Chips, die auf der einen Seite ein Minus- und auf der anderen Seite ein Plus-Zeichen tragen. Wir erhalten das Ergebnis +2 auch, indem wir alle Vorzeichen addieren und das Ergebnis durch 2 dividieren Nagelbrett Simulation Kugel fällt links Kugel fällt rechts Würfelbecher

Mechanischer Zufallszahlengenerator „Turbulenzklappe“ 1968 für die Evolutionsstrategie entwickelt Text

Physikalischer Zufallszahlengenerator als USB-Stecker Das Zufallssignal wird von der thermischen Rauschquelle, generiert, die eine Z-Diode liefert. Firma: Westphal Electronic Preis: 345 Euro PRG310

Der Zufall im täglichen Leben und auch der Zufall in der klassischen Physik ist ein scheinbarer Zufall. Der deutsche Physiker Werner Heisenberg hat dies auch als subjektiven Zufall bezeichnet, womit gemeint ist: Es ist ausschließlich unser momentanes Unwissen, das Unwissen des Subjekts, das es uns so erscheinen lässt, als wäre ein bestimmtes Ereignis rein zufällig gewesen. In Wirklichkeit gibt es dafür jedoch einen wohl definierten Grund. Nur in Quantenphysik existiert der objektive Zufall. Kommt ein System in einen Quantenzustand, sind mehrere Zustände gleichzeitig in einer Raum-Zeit-Wahr- scheinlichkeitswelle vorhanden. Bricht diese Welle z. B. durch eine Messung zu- sammen, ist nur noch ein Zustand vorhanden. Dabei ist es objektiv zufällig, wel- chen der gleichberechtigten Zustände das physikalische Objekt dabei annimmt. Subjektiver und objektiver Zufall

Quanten-Physiker baut echten Zufallsgenerator Ben Sussman, ein Physiker aus Ottawa, hat einen echten Zufallsgenerator entwickelt. Dabei macht er sich die Eigenarten der Quantenmechanik zunutze. Das System soll es zukünftig ermöglichen, in kritischen Bereichen deutlich sicherere Verschlüsselungen einzusetzen. Meldung vom 30 November 2011

Die genaue Ortsfestlegung des Elektrons in y-Richtung bedingt eine hohe Unschärfe der Geschwindigkeit in y-Richtung Heisenbergsche Unschärferelation Für m = konst.   4 ΔΔ h vy y y Plancksches Wirkungsquantum h = 6,63· Js Prinzip eines Quanten-Zufallszahlengenerators Fenster

Quanten-Zufallszahlen-Generator Schneller Quanten-Zufallszahlen-Generator Der Quanten-Zufallszahlen-Generator (QRNG), den ein Aussteller auf der CeBIT 2004 zeigt, ist noch ein- mal kleiner, leistungsfähiger und preisgünstiger als sein Vorgängermodell. Im Vergleich zu anderen Gene- ratoren, die auf so genannten chaotischen Prozessen basieren, nutzt das vorgestellte Modell mit der zufäl- ligen Reflexion oder Transmission eines einzelnen Photons an einem halbtransparenten Spiegel einen fundamentalen quantenphysikalischen Prozess aus. Text

(c) copyright 2004, News About us Downlo ad random number s What are random number s ? Genera ting random number s Credits Contac t Links Download random numbers from quantum origin Powered by Quantis PCI CardQuantis PCI Card Generiert am :15

(c) copyright 2004, News About us Downlo ad random number s What are random number s ? Genera ting random number s Credits Contac t Links Download random numbers from quantum origin Powered by Quantis PCI CardQuantis PCI Card Generiert am :16

Das Quantis USB-Modul kostet 990 Euro !

wirklich echte Zufallszahlen, erzeugt mit einem Quanten-Generator

Quanten-Lottozahlen Note: In case you use random numbers downloaded from this site to play lotteries and you win, we recommend you to donate half of the sum to !

??? - Zufallszahlen 3,

Die Ziffernfolge Pi hat bisher alle Test bezüglich ihres zufälligen Verhaltens bestanden. Text Der Franzose Fabrice Bellard benutzte einen Herkömmlichen Desktop- Computer für sein eigens geschriebenes Programm zur Berechnung von Pi. Er benötigte 131 Tage Berechnungszeit und mehr als einen Terabyte Speicherplatz, um 2,7 Billionen Nachkommastellen zu berechnen. Die letzten 50 Ziffern lauten: Der Japaner Shigeru Kondo und der Amerikaner Alexander Yee haben mit einem um Dutzende Festplatten erweiterten Highend-PC den neusten Rekord aufgestellt. Sie konnten im Jahr 2011 über 10 Billionen (genau ) Nachkommastellen von Pi berechnen. Pi-Rekorde

Das Theorem des endlos tippenden Affen besagt, dass ein Affe, der genügend lange auf einer Schreibmaschine tippt, irgendwann mal Goethes Faust produziert. dann würde dies bedeuten, dass  alle bisher und zukünftig geschriebenen Bücher irgendwo (in codierter Dezimal-Form) enthalten muss. Und wenn  wirklich eine Zufallszahl ist, Gedankenspiel

Die Nachkommastellen von  anwenden, um die Mutationen in der Evolutionsstrategie zu erzeugen? Das wäre gewiss etwas umständlich! 

Pseudozufallszahlengenerator, der nach einer mathematischen Formel in Form einer Rekursionsvorschrift arbeitet oder einfacher Beispiel: Liefert [0, 1) - gleichverteilte Pseudozufallszahlen FRAC bedeutet den Nachkommateil einer Zahl

Das Quadrat-Mittenverfahren von John von Neumann z 0 = = 4356 z 1  = 1225 z 2  = 0484 z 3  = 2304 z 4  = 0900 z 5  = 8100 z 6  = 0100 z 7  10 Text J. v. Neumann (1903 – 1957) Rekursionsformel 1949 Start mit einer 2a-stelligen Zahl (a = 1, 2, 3, …) Anyone who considers arithmetical methods of producing random digits is, of course, in a state of sin. Wer Zufallszahlen arithmetisch erzeugen möchte ist ein Tölpel.

Bedeutung der Operation a = b mod c Es ist a der Divisionsrest, der sich ergibt, wenn b durch c geteilt wird. Beispiele: a = 23 mod 9 a = 5 a = 100 mod 3 a = 1 a = 100 mod 90 a = 10 a = 33 mod 37 a = 33 Der Kongruenzgenerator A. Rothenberg (1960) Liefert ( 0, 1, 2, … m -1) gleichverteilte Zufallszahlen

Der Kongruenzgenerator Beispiel: z 1 = 4 z 2 = 1 z 4 = 3 z 3 = 0 z 5 = 4 Alternative Schreibweise:

Regeln für einen Kongruenz-Zufallszahlengenerator mit maximaler Periodenlänge m Regel 1: b und m dürfen keinen gemeinsamen Teiler besitzen Regel 2. a – 1 muss durch die Primfaktoren von m teilbar sein Regel 3. a – 1 muss durch 4 teilbar sein, wenn m Vielfaches von 4 Beispiel: a = 11, b = 3, m = 10 z 0 = 4 z 1 = 7 z 3 = 3 z 2 = 0 z 4 = 6 z 5 = 9 z 6 = 2 z 8 = 8 z 7 = 5 z 9 = 1 z 9 = 4

Regeln für einen Kongruenz-Zufallszahlengenerator mit maximaler Periodenlänge m Regel 1: b und m dürfen keinen gemeinsamen Teiler besitzen Regel 2. a – 1 muss durch die Primfaktoren von m teilbar sein Regel 3. a – 1 muss durch 4 teilbar sein, wenn m Vielfaches von 4 Beispiel: a = 901, b = 17, m = 30000

Erzeugung normalverteilter Zufallszahlen Warum ? Sie verhalten sich, n-dimensional zusammengesetzt, rotationssymmetrisch zizi w 22

Erzeugung rotationssymmetrisch normalverteilter Zufallszahlen z1z1 z2z2

Erzeugung von 2 normalverteilter Zufallszahlen y 1 und y 2 aus 2 gleichverteilten Zufallszahlen x 1 und x 2 durch die Box-Muller Transfomation: Beweis: Durch Bildung von y 1 + y 2 und y 1 / y 2 können wir das Gleichungssystem leicht nach x 1 und x 2 auflösen: Berechnung der Jacobi-Determinante Box, G. E. P. and Muller, M. E. "A Note on the Generation of Random Normal Deviates.„ Ann. Math. Stat. 29, , Für die Transformation der Dichte w ( x 1, x 2 ) in die Dichte w ( y 1, y 2 ) gilt: Erweiterung der einsichtigen eindimensionalen Transformationsregel: xxwyyw d)(d)( 

Professor: „… und nun will ich ihnen diesen Lehrsatz jetzt auch beweisen“ Schüler: „Wozu beweisen, Herr Professor? Ich glaub‘ es Ihnen so.“ Fester Glauben Wilhelm Busch

Erzeugung von normalverteilten Zufallzahlen Box-Muller-Formel für den Computer: Aus zwei [ 0, 1 ) - gleichverteilten Zufallszahlen wird eine normalverteilte Zufallszahl produziert rnd in Basic Natürlicher Logarithmus

Gleichverteilte, normalverteilte und kugelrandverteilte Zufallzahlen im Computerbild

Gleichverteilte Zufallsmutationen in die z 1 - z 2 - und z 3 -Richtung erzeugen im Mittel in den Diagonalenrichtungen - fach größere Mutationsvektoren als in den Variablenrichtungen ! z1z1 z3z3 z2z2 +1 Text

Zusammengefasste Logik der Evolutionsstrategie

Der Dumme, der einfach losgeht, kommt weiter als der Schlaue, der sitzen bleibt und sich vor lauter Nachdenken nicht entscheiden kann. Stichproben-Generator Einfach losgehen (irgendetwas machen) erfordert einen

0,3694 0,9284 0,2079 0,9989 0,1260 0,6529 0,9316 0,7965 0,3705 0,8985 0,2226 0,5342 0,4488 0,1678 0,1628 0,7918 0,7372 0,8404 0,4038 0,9501 0,6603 0,4121 0,3412 0,4439 0,2659 0,7437 0,7771 0,7157 0,0781 0,5667 0,6077 0,8724 0,0601 0,6445 0,2855 0,9989 0,9308 0,1323 0,0898 0,0321 0,4309 0,7503 0,4484 0,8258 0,0438 0,1965 0,6839 0,7762 0,2457 0,5428 0,8982 0,2496 0,9110 0,9204 0,9541 0,3418 0,0863 0,6957 0,7688 0,5117 0,6829 0,9253 0,6371 0,2503 0,4469 0,1715 0,2330 0,2525 0,6164 0,5399 0,7083 0,8156 0,0602 0,9943 0,8288 0,3440 0,2245 0,0655 0,2725 0,7460 0,8282 0,1834 0,1076 0,2949 0,5979 0,7363 0,8807 0,8428 0,3533 0,5511 0,0648 0,3631 0,0960 0,4324 0,4509 0,1695 0,9996 0,8175 0,7368 0,4984 0,7055 0,5334 0,5759 0,2896 0,3019 0,7747 0,0140 0,7607 0,8145 0,7090 0,0454 0,4140 0,8626 0,7905 0,3735 0,9620 0,8714 0,0562 0,9496 0,3640 0,5249 0,7671 0,0535 0,5925 0,4687 0,2982 0,6227 0,6478 0,2638 0,2793 0,8298 0,8246 0,5892 0,9861 0,9110 0,2269 0,6951 0,9800 0,2439 0,5339 0,1064 0,9994 0,6762 0,0157 0,5752 0,1001 0,1030 0,7989 0,2845 0,0456 0,2958 0,3820 0,3010 0,9486 0,9798 0,4014 0,2783 0,1604 0,1628 0,6466 0,4101 0,4128 0,7127 0,3262 0,6332 0,2076 0,1860 0,5834 0,0807 0,4580 0,9057 0,2614 0,7852 0,3789 0,2897 0,9194 0,6317 0,6276 0,4285 0,0980 0,5610 0,6945 0,9137 0,8348 0,0226 0,5434 0,9162 0,4303 0,6779 0,5025 0,5137 0,4630 0,3535 0,4048 0,2697 0,0556 0,2438 0,9791 0,0609 0, [0,1)-gleichverteilte Zufallszahlen Quanten-Zufallsgenerator BASIC rnd -Zufallsgenerator Quanten-Zufallsgenerator contra Pseudozufallsgenerator

Würde die Evolutionsstrategie mit einem Quantenzufallsgenerator besser arbeiten als mit einem Pseudozufallsgenerator ?

Zur „Philosophie“ der richtigen Schrittsetzfolge für einen Stichprobengenerator Nur rechts herum Mal rechts, mal links

Mal rechts, mal links herum ist schon recht gut, um keine Richtung zu bevorzugen! Aber wenn eine weitere Variable (Dimension) hinzukommt? Wie viele „Herums“ gibt es dann? Hat man alles getan, um keine Richtung zu bevorzugen? Oder wird durch den Setzmechanismus gar eine Richtung benachteiligt? Der Mathematiker würde vielleicht die Gruppentheorie bemühen; sich mit Symmetrieoperationen beschäftigen, die nach einem bestimmten Schema ausgeführt werden müssten, um einen „vorurteilslosen“ Stichprobengenerator zu entwerfen. Es gibt einen einfacheren Weg, die Anwendung eines Algorithmus, der Pseudozufallszahlen erzeugt!

0,3694 0,9284 0,2079 0,9989 0,1260 0,6529 0,9316 0,7965 0,3705 0,8985 0,2226 0,5342 0,4488 0,1678 0,1628 0,7918 0,7372 0,8404 0,4038 0,9501 0,6603 0,4121 0,3412 0,4439 0,2659 0,7437 0,7771 0,7157 0,0781 0,5667 0,6077 0,8724 0,0601 0,6445 0,2855 0,9989 0,9308 0,1323 0,0898 0,0321 0,4309 0,7503 0,4484 0,8258 0,0438 0,1965 0,6839 0,7762 0,2457 0,5428 0,8982 0,2496 0,9110 0,9204 0,9541 0,3418 0,0863 0,6957 0,7688 0,5117 0,6829 0,9253 0,6371 0,2503 0,4469 0,1715 0,2330 0,2525 0,6164 0,5399 0,7083 0,8156 0,0602 0,9943 0,8288 0,3440 0,2245 0,0655 0,2725 0,7460 0,8282 0,1834 0,1076 0,2949 0,5979 0,7363 0,8807 0,8428 0,3533 0,5511 0,0648 0,3631 0,0960 0,4324 0,4509 0,1695 0,9996 0,8175 0,7368 0,4984 0,7055 0,5334 0,5759 0,2896 0,3019 0,7747 0,0140 0,7607 0,8145 0,7090 0,0454 0,4140 0,8626 0,7905 0,3735 0,9620 0,8714 0,0562 0,9496 0,3640 0,5249 0,7671 0,0535 0,5925 0,4687 0,2982 0,6227 0,6478 0,2638 0,2793 0,8298 0,8246 0,5892 0,9861 0,9110 0,2269 0,6951 0,9800 0,2439 0,5339 0,1064 0,9994 0,6762 0,0157 0,5752 0,1001 0,1030 0,7989 0,2845 0,0456 0,2958 0,3820 0,3010 0,9486 0,9798 0,4014 0,2783 0,1604 0,1628 0,6466 0,4101 0,4128 0,7127 0,3262 0,6332 0,2076 0,1860 0,5834 0,0807 0,4580 0,9057 0,2614 0,7852 0,3789 0,2897 0,9194 0,6317 0,6276 0,4285 0,0980 0,5610 0,6945 0,9137 0,8348 0,0226 0,5434 0,9162 0,4303 0,6779 0,5025 0,5137 0,4630 0,3535 0,4048 0,2697 0,0556 0,2438 0,9791 0,0609 0, [0,1)-gleichverteilte Zufallszahlen Quanten-Zufallsgenerator BASIC rnd -Zufallsgenerator Quanten-Zufallsgenerator contra Pseudozufallsgenerator Text !

Der Streit um Darwin und um den Zufall in der Evolution Zufall ? ? ? Stichprobengenerator contra

Ende

Aus den Anfängen der Evolutionsstrategie stammt ein bemerkenswert einfacher strömungstechnischer Apparat, der normalverteilte Zufallszahlen erzeugt: Die Turbulenzklappe. In einem turbulenten Freistrahl befindet sich eine leicht drehbar gelagerte Balsaholzfahne. Die turbulenten Strömungswirbel, die sich unvorhersag- bar chaotisch bewegen, schleppen die Fahne schwingend hin und her. Die Fahne stößt dabei unregelmäßig an einen elektrischen Kontakt. An die Stelle der Lampe in der Skizze ist ein elektronische Zähler eingefügt. Die von der Klappe erzeugten Impulse werden für T Sekunden aufwärts und für ebenfalls genau T Sekunden ab- wärts gezählt. Was übrig bleibt ist eine Zufallszahl, die einer Normalverteilung ge- nügt. Denn große Zähldifferenzen werden wesentlich seltener auftreten als kleine.

Eine schwache Lichtquelle, z. B. ein Laser oder eine Leuchtdiode, sendet einen Strom von Lichtteilchen (Photonen) aus. Der Lichtstrahl wird an einem halbdurch- lässigen Spiegel geteilt. Die Hälfte der Lichtteilchen dringt hindurch und trifft dahinter auf ein Messgerät. Die andere Hälfte wird reflektiert und dann in einem zweiten Messgerät aufgefangen. Ähnlich wie beim Münzwurf hat das einzelne Photon eine Wahrscheinlichkeit von ½ in einen der beiden Detektoren zu treffen. Es gibt jedoch keinen inneren Mechanismus, der das Photon in die eine oder andere Richtung stößt. Und genau das ist der Unterschied zu allen anderen Zufallsgeneratoren. Der Zufall ist in den Formeln der Quantenphysik enthalten. Seit etlichen Jahrzehnten ersinnen die Forscher immer neue Experimente, um das zu beweisen oder vielleicht doch einen verborgenen Mechanismus zu finden. Albert Einstein war einer der prominentesten Kritiker des "eingebauten Zufalls". Sein abschätziger Kommentar: "Gott würfelt nicht!" Nach unserem heutigen Wissensstand ist es sehr wahrscheinlich, dass „er“ doch gewürfelt hat...

Ein weiterer Weltrekord: Mathematikfreunde aus Gießen haben im Mathematikum der Stadt einen Welt- rekord aufgestellt, indem sie Kommastellen der Wunderzahl vorlasen: Rund vierzig Kinder und Erwachsene schieben sich vor die Bühne im Hinterhof des Gießener Mathematikums, als Albrecht Beutelspacher am Freitag den 3. Juni 2005 um Punkt achtzehn Uhr den Vorleseweltrekord der Zahl Pi eröffnet, die als 3,14 bekannt ist. Fünf Minuten hat der Mathematikprofessor Zeit, um die ersten 300 Zahlen nach dem Komma inklusive der Drei vor dem Komma vorzulesen. Eine Minute länger als vorgesehen braucht er dafür, doch Albrecht Beutelspacher, Leiter des Mathematikums und Organisator des Wettbewerbs, ist mit seiner Leistung zufrieden … Samstagnacht um vierundzwanzig Uhr ist es dann geschafft: Die Organisatorinnen Svenja Häuser und Lisa Grieb lesen die letzten sechshundert Ziffern vor. Ein neuer Weltrekord ist erreicht.

Man beginnt mit einer 2a-stelligen Zahl (a = 1, 2, 3, …). Die Zahl wird quadriert. Es entsteht eine 4a-stellige Zahl. Ist bei der Quadratbildung die Stellenzahl kleiner als 4a, so werden dem Ergebnis entsprechend viele Nullen vorgesetzt. Daraufhin werden die mittleren 2a Stellen herausgeschnitten und als neue Pseudozufallszahl interpretiert. Nach der abermaligen Quadrierung dieser Zahl ergibt sich durch Herausblenden der Mitte die nächste Pseudozufallszahl usw. Anmerkung zur Rekursionsformel für das Quadratmittenverfahren: Mit der Operation FRAC wird der Nachkommateil und mit der Operation INT der Vorkommateil einer Zahl herausgeblendet.

Bemerkung zum Programm: Der Computerversuch zeigt, dass in der Praxis die Anisotropie der Zufallsvektoren, die mit n gleichverteilten Zufallszahlen zwischen -1 und +1 erzeugt werden, die Konvergenz der Evolutionsstrategie nicht stört. Das ist durch die sehr schnelle Anpassung der Mutationsschrittweite mit der 1/5- Erfolgsregel zu erklären. In der Theorie würde dagegen die Verwendung von gleichverteilten Zufallszahlen in der Form 2*(Rnd - 0.5) zu den größten Schwierigkeiten führen, da sich dann für jede Raumrichtung eine andere Lösung ergeben würde. Aus diesem Grund arbeiten Evolutionsstrategen nicht nur in der Theorie, sondern auch in der Praxis mit normalverteilten Zufallsmutationen.

Feststellung: Evolutionsbefürworter und Evolutionsgegner streiten über die Rolle des Zufalls in der Entwicklung des Lebens. Evolutionsbiologen sehen im Zufall den großen „Macher“, Kreationisten ziehen die Kraft des Zufalls ins Lächerliche. Tatsa- che ist: Der Zufall spielt bei weitem nicht die Rolle, wie es die Kontroverse erwarten lässt. Der Zufall ist in der Evolutionsstrategie nur eine besonders einfacher Stich- probengenerator. Es muss etwas Neues probiert werden und dabei jegliches „Vorurteil“ (Bevorzugung einer bestimmten Richtung) vermieden werden. Auch ein deterministischer Stichprobengenerator könnte diese Bedingungen erfüllen. Der Pseudozufallszahlengenerator ist ein solcher deterministischer Stichprobengene- rator, der sich besonders einfach programmieren lässt. Nur wer an eine mystische Kraft des Zufalls glaubt wird seine Mutationen mit einem Quantengenerator erzeugen. Was in der Evolution schon nicht mehr dem Zufall überlassen werden darf, das ist die Mutationsgröße (in der Evolutionsstrategie die Schrittweite   ). Das zeigt die Theorie des Evolutionsfensters.