Ingo Rechenberg PowerPoint-Folien zur 6. Vorlesung Evolutionsstrategie I Mutationsgeneratoren für die Evolutionsstrategie Objektiver, subjektiver und algorithmischer Zufall Weiterverwendung nur unter Angabe der Quelle gestattet

Treibstoff für den Optimierungsmotor Evolutionsstrategie

Zufalls- Maschinen

Normalverteilung Die normale Verteilung des Zufalls

Francis Galton und sein Nagelbrett Sir Francis Galton ( )

Senkrecht aus der Wand ragende Nägel Chips, die auf der einen Seite ein Minus- und auf der anderen Seite ein Plus-Zeichen tragen. Wir erhalten das Ergebnis +2 auch, indem wir alle Vorzeichen addieren und das Ergebnis durch 2 dividieren Nagelbrett Simulation

Mechanischer Zufallszahlengenerator Turbulenzklappe 1968 für die Evolutionsstrategie entwickelt Text

Physikalischer Zufallszahlengenerator als USB-Stecker Das Zufallssignal wird von der thermischen Rauschquelle, generiert, die eine Z-Diode liefert. Firma: Westphal Electronic Preis: 340 Euro PRG310

Der Zufall im täglichen Leben und auch der Zufall in der klassischen Physik ist ein scheinbarer Zufall. Der deutsche Physiker Werner Heisenberg hat dies auch als subjektiven Zufall bezeichnet, womit gemeint ist: Es ist ausschließlich unser momentanes Unwissen, das Unwissen des Subjekts, das es uns so erscheinen lässt, als wäre ein bestimmtes Ereignis rein zufällig gewesen. In Wirklichkeit gibt es dafür jedoch einen wohl definierten Grund. Nur in Quantenphysik existiert der objektive Zufall. Kommt ein System in einen Quantenzustand, sind mehrere Zustände gleichzeitig in einer Raum-Zeit-Wahr- scheinlichkeitswelle vorhanden. Bricht diese Welle z. B. durch eine Messung zu- sammen, ist nur noch ein Zustand vorhanden. Dabei ist es objektiv zufällig, wel- chen der gleichberechtigten Zustände das physikalische Objekt dabei annimmt. Subjektiver und objektiver Zufall

Die genaue Ortsfestlegung des Elektrons in y-Richtung bedingt eine hohe Unschärfe der Geschwindigkeit in y-Richtung Heisenbergsche Unschärferelation Für m = konst. 4 ΔΔ h vy y y Plancksches Wirkungsquantum h = 6,63· Js Prinzip eines Quanten-Zufallszahlengenerators

Quanten-Zufallszahlen-Generator Schneller Quanten-Zufallszahlen-Generator Der Quanten-Zufallszahlen-Generator (QRNG), den ein Aussteller auf der CeBIT 2004 zeigt, ist noch ein- mal kleiner, leistungsfähiger und preisgünstiger als sein Vorgängermodell. Im Vergleich zu anderen Gene- ratoren, die auf so genannten chaotischen Prozessen basieren, nutzt das vorgestellte Modell mit der zufäl- ligen Reflexion oder Transmission eines einzelnen Photons an einem halbtransparenten Spiegel einen fundamentalen quantenphysikalischen Prozess aus. Text

(c) copyright 2004, News About us Downlo ad random number s What are random number s ? Genera ting random number s Credits Contac t Links Download random numbers from quantum origin Powered by Quantis PCI CardQuantis PCI Card Generiert am :32

(c) copyright 2004, News About us Downlo ad random number s What are random number s ? Genera ting random number s Credits Contac t Links Download random numbers from quantum origin Powered by Quantis PCI CardQuantis PCI Card Generiert am :08

wirklich echte Zufallszahlen, erzeugt mit einem Quanten-Generator

Quanten-Lottozahlen

??? - Zufallszahlen Text

Pseudozufallszahlengenerator, der nach einer mathematischen Formel in Form einer Rekursionsvorschrift arbeitet oder einfacher Beispiel: Liefert [0, 1) - gleichverteilte Pseudozufallszahlen FRAC bedeutet den Nachkommateil einer Zahl

Das Quadrat-Mittenverfahren von John von Neumann z 0 = = 4356 z = 1225 z = 0484 z = 2304 z = 0900 z = 8100 z = 0100 z 7 10 Text J. v. Neumann (1903 – 1957) Rekursionsformel 1949 Start mit einer 2a-stelligen Zahl (a = 1, 2, 3, …)

Bedeutung der Operation a = b mod c Es ist a der Divisionsrest, der sich ergibt, wenn b durch c geteilt wird. Beispiele: a = 23 mod 9 a = 5 a = 100 mod 3 a = 1 a = 100 mod 90 a = 10 a = 33 mod 37 a = 33 Der Kongruenzgenerator A. Rothenberg (1960) Liefert ( 0, 1, 2, … m -1) gleichverteilte Zufallszahlen

Der Kongruenzgenerator Beispiel: z 1 = 4 z 2 = 1 z 4 = 3 z 3 = 0 z 5 = 4 Alternative Schreibweise:

Regeln für einen Kongruenz-Zufallszahlengenerator mit maximaler Periodenlänge m Regel 1: b und m dürfen keinen gemeinsamen Teiler besitzen Regel 2. a – 1 muss durch die Primfaktoren von m teilbar sein Regel 3. a – 1 muss durch 4 teilbar sein, wenn m Vielfaches von 4 Beispiel: a = 11, b = 3, m = 10 z 0 = 4 z 1 = 7 z 3 = 3 z 2 = 0 z 4 = 6 z 5 = 9 z 6 = 2 z 8 = 8 z 7 = 5 z 9 = 1 z 9 = 4

Regeln für einen Kongruenz-Zufallszahlengenerator mit maximaler Periodenlänge m Regel 1: b und m dürfen keinen gemeinsamen Teiler besitzen Regel 2. a – 1 muss durch die Primfaktoren von m teilbar sein Regel 3. a – 1 muss durch 4 teilbar sein, wenn m Vielfaches von 4 Beispiel: a = 901, b = 17, m = 30000

Erzeugung normalverteilter Zufallszahlen Warum ? Sie verhalten sich n-dimensional zusammengesetzt rotationssymmetrisch zizi w 2

Erzeugung rotationssymmetrisch normalverteilter Zufallszahlen z1z1 z2z2

Erzeugung von 2 normalverteilter Zufallszahlen y 1 und y 2 aus 2 gleichverteilten Zufallszahlen x 1 und x 2 durch die Box-Muller Transfomation: Beweis: Durch Bildung von y 1 + y 2 und y 1 / y 2 können wir das Gleichungssystem leicht nach x 1 und x 2 auflösen: Berechnung der Jacobi-Determinante Box, G. E. P. and Muller, M. E. "A Note on the Generation of Random Normal Deviates. Ann. Math. Stat. 29, , Für die Transformation der Dichte w ( x 1, x 2 ) in die Dichte w ( y 1, y 2 ) gilt: Erweiterung der einsichtigen eindimensionalen Transformationsregel: xxwyyw d)(d)(

Professor: … und nun will ich ihnen diesen Lehrsatz jetzt auch beweisen Schüler: Wozu beweisen, Herr Professor? Ich glaub es Ihnen so. Fester Glauben Wilhelm Busch

Erzeugung von normalverteilten Zufallzahlen Box-Muller-Formel für den Computer: Aus zwei [ 0, 1 ) - gleichverteilten Zufallszahlen wird eine normalverteilte Zufallszahl produziert rnd in Basic

Gleichverteilte, normalverteilte und kugelrandverteilte Zufallzahlen im Computerbild

Gleichverteilte Zufallsmutationen in die z 1 - z 2 - und z 3 -Richtung erzeugen im Mittel in den Diagonalenrichtungen - fach größere Mutationsvektoren als in den Variablenrichtungen ! z1z1 z3z3 z2z2 +1 Text

Zusammengefasste Logik der Evolutionsstrategie

Der Dumme, der einfach losgeht, kommt weiter als der Schlaue, der sitzen bleibt und sich vor lauter Nachdenken nicht entscheiden kann. Stichproben-Generator Einfach losgehen (irgendetwas machen) erfordert einen

0,3694 0,9284 0,2079 0,9989 0,1260 0,6529 0,9316 0,7965 0,3705 0,8985 0,2226 0,5342 0,4488 0,1678 0,1628 0,7918 0,7372 0,8404 0,4038 0,9501 0,6603 0,4121 0,3412 0,4439 0,2659 0,7437 0,7771 0,7157 0,0781 0,5667 0,6077 0,8724 0,0601 0,6445 0,2855 0,9989 0,9308 0,1323 0,0898 0,0321 0,4309 0,7503 0,4484 0,8258 0,0438 0,1965 0,6839 0,7762 0,2457 0,5428 0,8982 0,2496 0,9110 0,9204 0,9541 0,3418 0,0863 0,6957 0,7688 0,5117 0,6829 0,9253 0,6371 0,2503 0,4469 0,1715 0,2330 0,2525 0,6164 0,5399 0,7083 0,8156 0,0602 0,9943 0,8288 0,3440 0,2245 0,0655 0,2725 0,7460 0,8282 0,1834 0,1076 0,2949 0,5979 0,7363 0,8807 0,8428 0,3533 0,5511 0,0648 0,3631 0,0960 0,4324 0,4509 0,1695 0,9996 0,8175 0,7368 0,4984 0,7055 0,5334 0,5759 0,2896 0,3019 0,7747 0,0140 0,7607 0,8145 0,7090 0,0454 0,4140 0,8626 0,7905 0,3735 0,9620 0,8714 0,0562 0,9496 0,3640 0,5249 0,7671 0,0535 0,5925 0,4687 0,2982 0,6227 0,6478 0,2638 0,2793 0,8298 0,8246 0,5892 0,9861 0,9110 0,2269 0,6951 0,9800 0,2439 0,5339 0,1064 0,9994 0,6762 0,0157 0,5752 0,1001 0,1030 0,7989 0,2845 0,0456 0,2958 0,3820 0,3010 0,9486 0,9798 0,4014 0,2783 0,1604 0,1628 0,6466 0,4101 0,4128 0,7127 0,3262 0,6332 0,2076 0,1860 0,5834 0,0807 0,4580 0,9057 0,2614 0,7852 0,3789 0,2897 0,9194 0,6317 0,6276 0,4285 0,0980 0,5610 0,6945 0,9137 0,8348 0,0226 0,5434 0,9162 0,4303 0,6779 0,5025 0,5137 0,4630 0,3535 0,4048 0,2697 0,0556 0,2438 0,9791 0,0609 0, [0,1)-gleichverteilte Zufallszahlen Quanten-Zufallsgenerator BASIC rnd -Zufallsgenerator Quanten-Zufallsgenerator contra Pseudozufallsgenerator

Zur Philosophie der richtigen Schrittsetzfolge Nur rechts herum Mal rechts, mal links

0,3694 0,9284 0,2079 0,9989 0,1260 0,6529 0,9316 0,7965 0,3705 0,8985 0,2226 0,5342 0,4488 0,1678 0,1628 0,7918 0,7372 0,8404 0,4038 0,9501 0,6603 0,4121 0,3412 0,4439 0,2659 0,7437 0,7771 0,7157 0,0781 0,5667 0,6077 0,8724 0,0601 0,6445 0,2855 0,9989 0,9308 0,1323 0,0898 0,0321 0,4309 0,7503 0,4484 0,8258 0,0438 0,1965 0,6839 0,7762 0,2457 0,5428 0,8982 0,2496 0,9110 0,9204 0,9541 0,3418 0,0863 0,6957 0,7688 0,5117 0,6829 0,9253 0,6371 0,2503 0,4469 0,1715 0,2330 0,2525 0,6164 0,5399 0,7083 0,8156 0,0602 0,9943 0,8288 0,3440 0,2245 0,0655 0,2725 0,7460 0,8282 0,1834 0,1076 0,2949 0,5979 0,7363 0,8807 0,8428 0,3533 0,5511 0,0648 0,3631 0,0960 0,4324 0,4509 0,1695 0,9996 0,8175 0,7368 0,4984 0,7055 0,5334 0,5759 0,2896 0,3019 0,7747 0,0140 0,7607 0,8145 0,7090 0,0454 0,4140 0,8626 0,7905 0,3735 0,9620 0,8714 0,0562 0,9496 0,3640 0,5249 0,7671 0,0535 0,5925 0,4687 0,2982 0,6227 0,6478 0,2638 0,2793 0,8298 0,8246 0,5892 0,9861 0,9110 0,2269 0,6951 0,9800 0,2439 0,5339 0,1064 0,9994 0,6762 0,0157 0,5752 0,1001 0,1030 0,7989 0,2845 0,0456 0,2958 0,3820 0,3010 0,9486 0,9798 0,4014 0,2783 0,1604 0,1628 0,6466 0,4101 0,4128 0,7127 0,3262 0,6332 0,2076 0,1860 0,5834 0,0807 0,4580 0,9057 0,2614 0,7852 0,3789 0,2897 0,9194 0,6317 0,6276 0,4285 0,0980 0,5610 0,6945 0,9137 0,8348 0,0226 0,5434 0,9162 0,4303 0,6779 0,5025 0,5137 0,4630 0,3535 0,4048 0,2697 0,0556 0,2438 0,9791 0,0609 0, [0,1)-gleichverteilte Zufallszahlen Quanten-Zufallsgenerator BASIC rnd -Zufallsgenerator Quanten-Zufallsgenerator contra Pseudozufallsgenerator Text

Ende

Aus den Anfängen der Evolutionsstrategie stammt ein bemerkenswert einfacher strömungstechnischer Apparat, der normalverteilte Zufallszahlen erzeugt: Die Turbulenzklappe. In einem turbulenten Freistrahl befindet sich eine leicht drehbar gelagerte Balsaholzfahne. Die turbulenten Strömungswirbel, die sich unvorhersag- bar chaotisch bewegen, schleppen die Fahne schwingend hin und her. Die Fahne stößt dabei unregelmäßig an einen elektrischen Kontakt. An die Stelle der Lampe in der Skizze ist ein elektronische Zähler eingefügt. Die von der Klappe erzeugten Impulse werden für T Sekunden aufwärts und für ebenfalls genau T Sekunden ab- wärts gezählt. Was übrig bleibt ist eine Zufallszahl, die einer Normalverteilung ge- nügt. Denn große Zähldifferenzen werden wesentlich seltener auftreten als kleine.

Eine schwache Lichtquelle, z. B. ein Laser oder eine Leuchtdiode, sendet einen Strom von Lichtteilchen (Photonen) aus. Der Lichtstrahl wird an einem halbdurch- lässigen Spiegel geteilt. Die Hälfte der Lichtteilchen dringt hindurch und trifft dahinter auf ein Messgerät. Die andere Hälfte wird reflektiert und dann in einem zweiten Messgerät aufgefangen. Ähnlich wie beim Münzwurf hat das einzelne Photon eine Wahrscheinlichkeit von ½ in einen der beiden Detektoren zu treffen. Es gibt jedoch keinen inneren Mechanismus, der das Photon in die eine oder andere Richtung stößt. Und genau das ist der Unterschied zu allen anderen Zufallsgeneratoren. Der Zufall ist in den Formeln der Quantenphysik enthalten. Seit etlichen Jahrzehnten ersinnen die Forscher immer neue Experimente, um das zu beweisen oder vielleicht doch einen verborgenen Mechanismus zu finden. Albert Einstein war einer der prominentesten Kritiker des "eingebauten Zufalls". Sein abschätziger Kommentar: "Gott würfelt nicht!" Nach unserem heutigen Wissensstand ist es sehr wahrscheinlich, dass er doch gewürfelt hat...

Die Ziffernfolge Pi hat bisher alle Test bezüglich ihres zufälligen Verhaltens bestanden. Von Pi sind heute über 1,24 Billionen Kommastellen bekannt, das ist der momentane Weltrekord. Ein weiterer Weltrekord: Mathematikfreunde aus Gießen haben im Mathematikum der Stadt einen Welt- rekord aufgestellt, indem sie Kommastellen der Wunderzahl vorlasen: Rund vierzig Kinder und Erwachsene schieben sich vor die Bühne im Hinterhof des Gießener Mathematikums, als Albrecht Beutelspacher am Freitag um Punkt achtzehn Uhr den Vorleseweltrekord der Zahl Pi eröffnet, die als 3,14 bekannt ist. Fünf Minuten hat der Mathematikprofessor Zeit, um die ersten 300 Zahlen nach dem Komma inklusive der Drei vor dem Komma vorzulesen. Eine Minute länger als vorgesehen braucht er dafür, doch Albrecht Beutelspacher, Leiter des Mathe- matikums und Organisator des Wettbewerbs, ist mit seiner Leistung zufrieden … Samstagnacht um vierundzwanzig Uhr ist es dann geschafft: Die Organisatorinnen Svenja Häuser und Lisa Grieb lesen die letzten sechshundert Ziffern vor. Ein neuer Weltrekord ist erreicht.

Man beginnt mit einer 2a-stelligen Zahl (a = 1, 2, 3, …). Die Zahl wird quadriert. Es entsteht eine 4a-stellige Zahl. Ist bei der Quadratbildung die Stellenzahl kleiner als 4a, so werden dem Ergebnis entsprechend viele Nullen vorgesetzt. Daraufhin werden die mittleren 2a Stellen herausgeschnitten und als neue Pseudozufallszahl interpretiert. Nach der abermaligen Quadrierung dieser Zahl ergibt sich durch Herausblenden der Mitte die nächste Pseudozufallszahl usw. Anmerkung zur Rekursionsformel für das Quadratmittenverfahren: Mit der Operation FRAC wird der Nachkommateil und mit der Operation INT der Vorkommateil einer Zahl herausgeblendet.

Bemerkung zum Programm: Der Computerversuch zeigt, dass in der Praxis die Anisotropie der Zufallsvektoren, die mit n gleichverteilten Zufallszahlen zwischen -1 und +1 erzeugt werden, die Konvergenz der Evolutionsstrategie nicht stört. Das ist durch die sehr schnelle Anpassung der Mutationsschrittweite mit der 1/5- Erfolgsregel zu erklären. In der Theorie würde dagegen die Verwendung von gleichverteilten Zufallszahlen in der Form 2*(Rnd - 0.5) zu den größten Schwierigkeiten führen, da sich dann für jede Raumrichtung eine andere Lösung ergeben würde. Aus diesem Grund arbeiten Evolutionsstrategen nicht nur in der Theorie, sondern auch in der Praxis mit normalverteilten Zufallsmutationen.

Feststellung: Evolutionsbefürworter und Evolutionsgegner streiten über die Rolle des Zufalls in der Entwicklung des Lebens. Evolutionsbiologen sehen im Zufall den großen Macher, Kreationisten ziehen die Kraft des Zufalls ins Lächerliche. Tatsa- che ist: Der Zufall spielt bei weitem nicht die Rolle, wie es die Kontroverse erwarten lässt. Der Zufall ist in der Evolutionsstrategie nur eine besonders einfacher Stich- probengenerator. Es muss etwas Neues probiert werden und dabei jegliches Vorurteil (Bevorzugung einer bestimmten Richtung) vermieden werden. Auch ein deterministischer Stichprobengenerator könnte diese Bedingungen erfüllen. Der Pseudozufallszahlengenerator ist ein solcher deterministischer Stichprobengene- rator, der sich besonders einfach programmieren lässt. Nur wer an eine mystische Kraft des Zufalls glaubt wird seine Mutationen mit einem Quantengenerator erzeugen. Was in der Evolution schon nicht mehr dem Zufall überlassen werden darf, das ist die Mutationsgröße (in der Evolutionsstrategie die Schrittweite ). Das zeigt die Theorie des Evolutionsfensters.