PowerPoint-Folien zur 8. Vorlesung „Bionik II / Biosensorik“ Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung „Bionik II / Biosensorik“ Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke

Entwicklung Neuronaler Netze Ein Meilenstein der Bionik

Anwendung neuronaler Netze: Mustererkennung, Bildverarbeitung, Robotik, Prozessautomatisierung, Diagnose, Medizin, Betriebswirtschaft, Finanzdienstleistungen Wissensverarbeitung

Neuronales Netz

Eingangsneuronen Zwischenneuronen Ausgangsneuron Neuronales Netz

S Eigenheiten einer Nervenzelle Impulsfortleitung Schwellverhalten des Encoders Zeitverhalten der Synapse

S Neuron 0. Ordnung Spannungshöhe statt Impulse Streichung des Schwellverhaltens des Encoders S Streichung des Zeitverhaltens der Synapse

Neuron 0. Ordnung (Technische Realisierung) S

S S Neuron 1. Ordnung Spannungshöhe statt Impulse Streichung des Schwellverhaltens des Encoders S S aufgehoben ! Streichung des Zeitverhaltens der Synapse

Neuron 1. Ordnung (a) (Technischen Realisierung) S Ue Ua Ua Ue

Neuron 1. Ordnung (b) (Technischen Realisierung) S Ue Ua Ua Ue

S Neuron 2. Ordnung Impulsfortleitung Spannungs-Frequenzwandler mit Schwelle S Verzögerungs-glied 1. Ordnung

S Neuron 2. Ordnung Berliner Bionik-Neuron U F F U (Technische Realisierung) Berliner Bionik-Neuron VZ1 VZ1 S U F VZ1 F U

Reduktionsgesetz für eine Neuronales Netz 0. Ordnung

Häufiger Gebrauch einer Synapse macht diese stärker leitfähig ! Donald O. Hebb (1904-1985) HEBB-Regel Häufiger Gebrauch einer Synapse macht diese stärker leitfähig !

S Frank ROSENBLATTs Perceptron Neuronales Netz 1. Ordnung (a) Ue Ua 2-schichtig mit springendem Ue-Ua-Verhalten und diskreter Verstellung der Gewichte

Die Perceptron Lernregel Wenn die Reaktion falsch als 0 klassifiziert wird, dann Gewichte der aktiven Eingänge um +1 erhöhen. +1 0 statt 1 +1 Regel 2: Wenn die Reaktion falsch als 1 klassifiziert wird, dann Gewichte der aktiven Eingänge um -1 erniedrigen. 1 1 statt 0 1

S Heute Neuronales Netz 1. Ordnung (b) Lernregel: Back Propagation Ue Ua Neuronales Netz 1. Ordnung (b) Lernregel: Back Propagation Evolutionsstrategie 3-schichtig mit sigmoidem Ue-Ua-Verhalten und konti-nuierlicher Verstellbarkeit der Gewichte

y S Ue Ua x Die sigmoide Kennlinie wird durch die Fermi-Funktion beschrieben: Sie zeichnet sich durch die besondere mathematische Eigenschaft aus:

Training mit Backpropagation

Einfachstes 3-schichtiges Neuronales Netz Fermi net i Neuron i: 1 2 w13 w24 w23 w14 a3 a4 Neuron 1: 3 4 4 14 3 13 1 a w net + = w35 w46 w45 w36 Neuron 2: a5 a6 5 6 4 24 3 23 2 a w net + = Neuron 3: Einfachstes 3-schichtiges Neuronales Netz 6 36 5 35 3 a w net + =

a1 a2 Soll Ist 1 2 Fehler: w13 w24 w23 w14 Angenommen, die 8 Gewichte können über Zahnräder eines Getriebes verstellt werden. Dann gibt es eine Übersetzung für jedes Zahnrad, bei der sich F maximal schnell ver-mindern würde, wenn wir an der Hauptwelle drehen. Die Übersetzungen sind gleich den Ableitungen von F nach den Gewichten w. a3 a4 3 4 w35 w46 w45 w36 a5 a6 5 6 Getriebeübersetzung für 13 w Δ F d ¶ - = Getriebeübersetzung für 35 w Δ F d ¶ - = d = Schrittweite

Bei den richtigen Getriebeübersetzungen folgt man dem Gradientenweg zum Minimum. Getriebefaktor (Gewichtsänderung) für Getriebefaktor (Gewichtsänderung) für

a1 a2 Weg der Rechnung 1 2 w13 w24 w23 w14 a3 a4 3 4 w35 w46 w45 w36 1. Vorwärtsrechnung zur Bestimmung von w13 w24 w23 w14 und a3 a4 Fehler 3 4 w35 w46 w45 w36 a5 a6 5 6

a1 a2 Weg der Rechnung 1 2 w13 w23 w24 w14 3 4 w35 w46 w45 w36 5 6 Δ w 1. Vorwärtsrechnung zur Bestimmung von w23 w24 13 Δ w 23 Δ w 14 Δ w w14 24 Δ w und Fehler 3 4 w35 w46 w45 35 Δ w 45 Δ w 36 Δ w w36 46 Δ w 2. Rückwärtsrechnung zur Bestimmung von 13 Δ w bis 46 Δ w 5 6

a1 a2 Weg der Rechnung 1 2 w3 w24 w23 w14 3 4 w35 w46 w45 w36 5 6 Δ w 1. Vorwärtsrechnung zur Bestimmung von w3 w24 w23 w14 und Fehler 3 4 w35 w46 w45 w36 2. Rückwärtsrechnung zur Bestimmung von 13 Δ w bis 46 Δ w 5 6 3. Einstellung der neuen Gewichte 13 w bis 46 w z. B. 35 ) ( Δ w alt neu + =

Training mit der Evolutionsstrategie

Durchlaufen des Netzes zur Bestimmung von Mutieren der Gewichte bis 1 1 2 w13 w24 w23 w14 Durchlaufen des Netzes zur Bestimmung von und 2 a3 a4 3 4 w35 w46 w45 w36 Bestimmung des Fehlers 3 a5 a6 5 6 Die Operation wird l-mal durchgeführt (= 1 Generation). Dann wird das Netz mit dem kleinsten Fehler zum Ausgang einer neuen „Generation“.

Es sei w ein Vektor mit den Komponenten

Algorithmus der (1, l ) – Evolutionsstrategie mit MSR x-Würfel z-Würfel

Mutation der Mutabilität und Vererbbarkeit der Mutabilität DNA-Kopierer DNA x-Mutation Mutation der Mutabilität und Vererbbarkeit der Mutabilität „Knackpunkt“ der Evolutionsstrategie z-Mutation

Zur Erzeugung der Mutationen z und x w normalverteilt (Dichte z) 2s + zi w logarithmisch normalverteilt (Dichte x ) 1 2 3 4 xi 1 3 1 2 Interpretetion der Kurve: Eine Zufallszahl zwischen 1/2 und 1/3 ist genau so häufig wie zwischen 2 und 3 Zur Erzeugung der Mutationen z und x

Von-Neumann-Computer versus Neuronencomputer Mutation ES-Theorie: 20% Erfolgswahscheinlichkeit Verbesserung unwahrscheinlich

Kausalität Schwache Kausalität Starke Kausalität Gleiche Ursache → Gleiche Wirkung Schwache Kausalität Ähnliche Ursache → Andere Wirkung Starke Kausalität Ähnliche Ursache → Ähnliche Wirkung

Schwach kausales Verhalten Stark kausales Verhalten Klassischer Computer Neuronencomputer Nicht evolutionsfähig Evolutionsfähig

Ende