PowerPoint-Folien zur 8. Vorlesung „Bionik II / Biosensorik“

Präsentation zum Thema: "PowerPoint-Folien zur 8. Vorlesung „Bionik II / Biosensorik“"—  Präsentation transkript:

1

2 PowerPoint-Folien zur 8. Vorlesung „Bionik II / Biosensorik“
Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung „Bionik II / Biosensorik“ Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke

3 Entwicklung Neuronaler Netze
Ein Meilenstein der Bionik

4 Anwendung neuronaler Netze:
Mustererkennung, Bildverarbeitung, Robotik, Prozessautomatisierung, Diagnose, Medizin, Betriebswirtschaft, Finanzdienstleistungen Wissensverarbeitung

5 Neuronales Netz

6 Eingangsneuronen Zwischenneuronen Ausgangsneuron Neuronales Netz

7 S Eigenheiten einer Nervenzelle Impulsfortleitung
Schwellverhalten des Encoders Zeitverhalten der Synapse

8 S Neuron 0. Ordnung Spannungshöhe statt Impulse
Streichung des Schwellverhaltens des Encoders S Streichung des Zeitverhaltens der Synapse

9 Neuron 0. Ordnung (Technische Realisierung) S

10 S S Neuron 1. Ordnung Spannungshöhe statt Impulse
Streichung des Schwellverhaltens des Encoders S S aufgehoben ! Streichung des Zeitverhaltens der Synapse

11 Neuron 1. Ordnung (a) (Technischen Realisierung) S Ue Ua Ua Ue

12 Neuron 1. Ordnung (b) (Technischen Realisierung) S Ue Ua Ua Ue

13 S Neuron 2. Ordnung Impulsfortleitung
Spannungs-Frequenzwandler mit Schwelle S Verzögerungs-glied 1. Ordnung

14 S Neuron 2. Ordnung Berliner Bionik-Neuron U F F U
(Technische Realisierung) Berliner Bionik-Neuron VZ1 VZ1 S U F VZ1 F U

15 Reduktionsgesetz für eine Neuronales Netz 0. Ordnung

16 Häufiger Gebrauch einer Synapse macht diese stärker leitfähig !
Donald O. Hebb ( ) HEBB-Regel Häufiger Gebrauch einer Synapse macht diese stärker leitfähig !

17 S Frank ROSENBLATTs Perceptron Neuronales Netz 1. Ordnung (a) Ue Ua
2-schichtig mit springendem Ue-Ua-Verhalten und diskreter Verstellung der Gewichte

18 Die Perceptron Lernregel
Wenn die Reaktion falsch als 0 klassifiziert wird, dann Gewichte der aktiven Eingänge um +1 erhöhen. +1 0 statt 1 +1 Regel 2: Wenn die Reaktion falsch als 1 klassifiziert wird, dann Gewichte der aktiven Eingänge um -1 erniedrigen. 1 1 statt 0 1

19 S Heute Neuronales Netz 1. Ordnung (b) Lernregel: Back Propagation
Ue Ua Neuronales Netz 1. Ordnung (b) Lernregel: Back Propagation Evolutionsstrategie 3-schichtig mit sigmoidem Ue-Ua-Verhalten und konti-nuierlicher Verstellbarkeit der Gewichte

20 y S Ue Ua x Die sigmoide Kennlinie wird durch die Fermi-Funktion beschrieben: Sie zeichnet sich durch die besondere mathematische Eigenschaft aus:

21 Training mit Backpropagation

22 Einfachstes 3-schichtiges Neuronales Netz
Fermi net i Neuron i: 1 2 w13 w24 w23 w14 a3 a4 Neuron 1: 3 4 4 14 3 13 1 a w net + = w35 w46 w45 w36 Neuron 2: a5 a6 5 6 4 24 3 23 2 a w net + = Neuron 3: Einfachstes 3-schichtiges Neuronales Netz 6 36 5 35 3 a w net + =

23 a1 a2 Soll Ist 1 2 Fehler: w13 w24 w23 w14 Angenommen, die 8 Gewichte können über Zahnräder eines Getriebes verstellt werden. Dann gibt es eine Übersetzung für jedes Zahnrad, bei der sich F maximal schnell ver-mindern würde, wenn wir an der Hauptwelle drehen. Die Übersetzungen sind gleich den Ableitungen von F nach den Gewichten w. a3 a4 3 4 w35 w46 w45 w36 a5 a6 5 6 Getriebeübersetzung für 13 w Δ F d - = Getriebeübersetzung für 35 w Δ F d - = d = Schrittweite

24 Bei den richtigen Getriebeübersetzungen folgt man dem Gradientenweg zum Minimum.
Getriebefaktor (Gewichtsänderung) für Getriebefaktor (Gewichtsänderung) für

25 a1 a2 Weg der Rechnung 1 2 w13 w24 w23 w14 a3 a4 3 4 w35 w46 w45 w36
1. Vorwärtsrechnung zur Bestimmung von w13 w24 w23 w14 und a3 a4 Fehler 3 4 w35 w46 w45 w36 a5 a6 5 6

26 a1 a2 Weg der Rechnung 1 2 w13 w23 w24 w14 3 4 w35 w46 w45 w36 5 6 Δ w
1. Vorwärtsrechnung zur Bestimmung von w23 w24 13 Δ w 23 Δ w 14 Δ w w14 24 Δ w und Fehler 3 4 w35 w46 w45 35 Δ w 45 Δ w 36 Δ w w36 46 Δ w 2. Rückwärtsrechnung zur Bestimmung von 13 Δ w bis 46 Δ w 5 6

27 a1 a2 Weg der Rechnung 1 2 w3 w24 w23 w14 3 4 w35 w46 w45 w36 5 6 Δ w
1. Vorwärtsrechnung zur Bestimmung von w3 w24 w23 w14 und Fehler 3 4 w35 w46 w45 w36 2. Rückwärtsrechnung zur Bestimmung von 13 Δ w bis 46 Δ w 5 6 3. Einstellung der neuen Gewichte 13 w bis 46 w z. B. 35 ) ( Δ w alt neu + =

28 Training mit der Evolutionsstrategie

29 Durchlaufen des Netzes zur Bestimmung von
Mutieren der Gewichte bis 1 1 2 w13 w24 w23 w14 Durchlaufen des Netzes zur Bestimmung von und 2 a3 a4 3 4 w35 w46 w45 w36 Bestimmung des Fehlers 3 a5 a6 5 6 Die Operation wird l-mal durchgeführt (= 1 Generation). Dann wird das Netz mit dem kleinsten Fehler zum Ausgang einer neuen „Generation“.

30 Es sei w ein Vektor mit den Komponenten

31 Algorithmus der (1, l ) – Evolutionsstrategie mit MSR
x-Würfel z-Würfel

32 Mutation der Mutabilität und Vererbbarkeit der Mutabilität
DNA-Kopierer DNA x-Mutation Mutation der Mutabilität und Vererbbarkeit der Mutabilität „Knackpunkt“ der Evolutionsstrategie z-Mutation

33 Zur Erzeugung der Mutationen z und x
w normalverteilt (Dichte z) 2s + zi w logarithmisch normalverteilt (Dichte x ) 1 2 3 4 xi 1 3 1 2 Interpretetion der Kurve: Eine Zufallszahl zwischen 1/2 und 1/3 ist genau so häufig wie zwischen 2 und 3 Zur Erzeugung der Mutationen z und x

34 Von-Neumann-Computer versus Neuronencomputer
Mutation ES-Theorie: 20% Erfolgswahscheinlichkeit Verbesserung unwahrscheinlich

35 Kausalität Schwache Kausalität Starke Kausalität
Gleiche Ursache → Gleiche Wirkung Schwache Kausalität Ähnliche Ursache → Andere Wirkung Starke Kausalität Ähnliche Ursache → Ähnliche Wirkung

36 Schwach kausales Verhalten Stark kausales Verhalten
Klassischer Computer Neuronencomputer Nicht evolutionsfähig Evolutionsfähig

37 Ende