Organisches Rechnen (Organic Computing)

Präsentation zum Thema: "Organisches Rechnen (Organic Computing)"—  Präsentation transkript:

1 Organisches Rechnen (Organic Computing)
Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung „Bionik II / Biosensorik, Bioinformatik“ Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke

2 Ein „organischer Computer" (OC) ist definiert als ein selbst-organisierendes System, das sich den jeweiligen Umgebungsbedürfnissen dynamisch anpasst. Organische Computersysteme haben sog. „Self-x-Eigenschaften": Sie sind selbst-konfigurierend, selbst-optimierend, selbst-heilend, selbst-erklärend und selbst-schützend. Organische Computersysteme verhalten sich eher wie intelligente Assistenten als starre Befehlsempfänger. Sie sind flexibel, robust gegenüber (Teil)ausfällen und in der Lage, sich selbst zu optimieren. Der Entwurfsaufwand sinkt, da nicht jede Variante im Voraus programmiert werden muss. Gesellschaft für Informatik e.V.

3 Entwicklung Neuronaler Netze
Ein Meilenstein der Bionik

4 Anwendung neuronaler Netze:
Mustererkennung, Bildverarbeitung, Robotik, Prozessautomatisierung, Diagnose, Medizin, Betriebswirtschaft, Finanzdienstleistungen Wissensverarbeitung

5 Natürliches Neuronales Netz

6 Künstliches Neuronales Netz
Eingangsneuronen Zwischenneuronen Ausgangsneuron Künstliches Neuronales Netz KNN Neuronales Netz NN

7 S Eigenheiten einer Nervenzelle Impulsfortleitung im Axon
Summiereigenschaft des Zellsomas S Schwellverhalten des Encoders Zeitverhalten der Synapse Signalgewichtung durch Länge des Dendriten

8 Arbeitsweise einer (biologischen) Nervenzelle
 PSP > 50mV Axon  PSP Soma Encoder Dendrit Arbeitsweise einer (biologischen) Nervenzelle

9 S Neuron 0. Ordnung Spannungshöhe statt Impulse
Summiereigenschaft des Zellsomas Streichung des Schwellverhaltens des Encoders S Streichung des Zeitverhaltens der Synapse Signalgewichtung durch Länge des Dendriten

10 Neuron 0. Ordnung (Technische Realisierung) S

11 S S Neuron 1. Ordnung Spannungshöhe statt Impulse
Summiereigenschaft des Zellsomas Streichung des Schwellverhaltens des Encoders S S aufgehoben ! Streichung des Zeitverhaltens der Synapse Signalgewichtung durch Länge des Dendriten

12 Neuron 1. Ordnung (a) (Technischen Realisierung) S Ue Ua Ua Ue

13 Neuron 1. Ordnung (b) (Technischen Realisierung) S Ue Ua Ua Ue

14 S Neuron 2. Ordnung Impulsfortleitung Summiereigenschaft des Zellsomas
Spannungs-Frequenzwandler mit Schwelle S Verzögerungs-glied 1. Ordnung Signalgewichtung durch Länge des Dendriten

15 S Neuron 2. Ordnung Berliner Bionik-Neuron U F F U
(Technische Realisierung) Berliner Bionik-Neuron VZ1 VZ1 S U F VZ1 F Spannungs-Frequenzwandler mit Schwellwert U

16 Zurück zum Neuron 0. Ordnung

17 Netz mit Neuronen 0. Ordnung
Eingangsneuronen Zwischenneuronen Ausgangsneuron Netz mit Neuronen 0. Ordnung

18 Reduktionsgesetz für eine Neuronales Netz 0. Ordnung

19 Belehren statt programmieren eines NN

20 Häufiger Gebrauch einer Synapse macht diese stärker leitfähig !
Donald O. Hebb ( ) HEBB-Regel Häufiger Gebrauch einer Synapse macht diese stärker leitfähig !

21 S Frank ROSENBLATTs Perceptron Neuronales Netz 1. Ordnung (a) Ue Ua
2-schichtig mit springendem Ue-Ua-Verhalten (Schwell-wertelement) und diskreter Verstellung der Gewichte

22 Die Perceptron Lernregel
Wenn die Reaktion falsch als 0 klassifiziert wird, dann Gewichte der aktiven Eingänge um +1 erhöhen. +1 0 statt 1 +1 Regel 2: Wenn die Reaktion falsch als 1 klassifiziert wird, dann Gewichte der aktiven Eingänge um -1 erniedrigen. 1 1 statt 0 1

23 S Heute Neuronales Netz 1. Ordnung (b) Lernregel: Back Propagation
Ue Ua Neuronales Netz 1. Ordnung (b) Lernregel: Back Propagation Evolutionsstrategie 3-schichtig mit sigmoidem Ue-Ua-Verhalten (weiches Schwellwertelement) und kontinuierlicher Verstellbarkeit der Gewichte

24 y S Ue Ua x Die sigmoide Kennlinie wird durch die Fermi-Funktion beschrieben: Sie zeichnet sich durch die besondere mathematische Eigenschaft aus:

25 Belehrung (Training) mit Backpropagation

26 net i a1 a2 Neuron i: Fermi 1 2 Weiches Schwellwertelement j = nummerierte Eingänge w13 w24 w23 w14 a3 a4 Neuron 1: 3 4 4 14 3 13 1 a w net + = w35 w46 w45 w36 Neuron 2: a5 a6 4 24 3 23 2 a w net + = 5 6 Neuron 3: Einfachstes 3-schichtiges Neuronales Netz 6 36 5 35 3 a w net + = Durchrechnung des gesamten Netzes

27 Soll Ist Fehler: a1 a2 1 2 w13 w24 w23 w14 Es gilt, die Gewichte w so zu verstellen, dass F zu einem Minimum (möglichst Null) wird. a3 a4 3 4 w35 w46 w45 w36 a5 a6 5 6 e1 e2

28 Gradientenfortschritts
Dh sei = 2 Dh sei = 1 Experimentator grad Unsichtbare geneigte Ebene 2 Elementarschritte in die x-Richtung 1 Elementarschritt in die y-Richtung Die Idee des Gradientenfortschritts

29 begrenzt durch Ebenenstückchen
a1 a2 Approximation als Ebenenstückchen Soll Ist Fehler: 1 2 w13 w24 w23 w14 Angenommen, die 8 Gewichte können über Zahnräder eines Getriebes verstellt werden. Dann gibt es eine Übersetzung für jedes Zahnrad, bei der sich F maximal schnell ver-mindern würde, wenn wir an der Hauptwelle drehen. Die Übersetzungen sind gleich den Ableitungen von F nach den Gewichten w. a3 a4 Oder nach der Gradientenidee: Jedes Gewicht muss so geändert werden wie sich der Fehler mit einer Änderung des Gewichts ändert ! 3 4 w35 w45 w46 w36 a5 a6 5 6 Getriebeübersetzung für 13 w Δ F d - = Getriebeübersetzung für 35 w Δ F d - = d = Schrittweite begrenzt durch Ebenenstückchen Der Gradientenfortschritt Gewichtsänderungen

30 Vorteil der Fermi-Funktion (weiches Schwellwertelement)
Bei den richtigen Getriebeübersetzungen folgt man dem Gradientenweg zum Minimum. Getriebefaktor (Gewichtsänderung) für Getriebefaktor (Gewichtsänderung) für Vorteil der Fermi-Funktion (weiches Schwellwertelement) Fermi: 4 14 3 13 1 a w net + =

31 a1 a2 Weg der Rechnung 1 2 w13 w24 w23 w14 a3 a4 3 4 w35 w46 w45 w36
1. Vorwärtsrechnung zur Bestimmung von w13 w24 w23 w14 und Anfangsgewichte vorgegeben a3 a4 Fehler 3 4 w35 w46 w45 w36 a5 a6 5 6

32 a1 a2 Weg der Rechnung 1 2 w13 w23 w24 w14 3 4 w35 w46 w45 w36 5 6 Δ w
1. Vorwärtsrechnung zur Bestimmung von w23 w24 13 Δ w 23 Δ w 14 Δ w w14 24 Δ w und 3 4 Fehler w35 w46 w45 35 Δ w 45 Δ w 36 Δ w w36 46 Δ w 2. Rückwärtsrechnung zur Bestimmung von 13 Δ w bis 46 Δ w 5 6

33 a1 a2 Weg der Rechnung 1 2 w3 w24 w23 w14 3 4 w35 w46 w45 w36 5 6 Δ w
1. Vorwärtsrechnung zur Bestimmung von w3 w24 w23 w14 und Fehler 3 4 w35 w46 w45 w36 2. Rückwärtsrechnung zur Bestimmung von 13 Δ w bis 46 Δ w 5 6 3. Einstellung der neuen Gewichte 13 w bis 46 w z. B. 35 ) ( Δ w alt neu + = Text

34 Belehrung (Training) mit der Evolutionsstrategie

35 Universelles Naturgesetz
Fortschreiten entlang des steilsten Anstiegs im Fall der Existenz eines „Berges“ Universelles Naturgesetz „Starke Kausalität“ bei kleinen Schritten j

36 Durchlaufen des Netzes zur Bestimmung von
Mutieren der Gewichte bis 1 1 2 w13 w24 w23 w14 Durchlaufen des Netzes zur Bestimmung von und 2 a3 a4 3 4 w35 w46 w45 w36 Bestimmung des Fehlers 3 a5 a6 5 6 Die Operation wird l-mal durchgeführt (= 1 Generation). Dann wird das Netz mit dem kleinsten Fehler zum Ausgang einer neuen „Generation“. Text

37 Es sei w ein Vektor mit den Komponenten

38 Algorithmus der (1, l ) – Evolutionsstrategie mit MSR
Streuung s x-Würfel z-Würfel

39 Mutation der Mutabilität und Vererbbarkeit der Mutabilität
DNA-Kopierer DNA x-Mutation Mutation der Mutabilität und Vererbbarkeit der Mutabilität „Knackpunkt“ der Evolutionsstrategie z-Mutation

40 Zur Erzeugung der Mutationen z und x
w normalverteilt (Dichte z) 2s + zi w logarithmisch normalverteilt (Dichte x ) 1 2 3 4 xi 1 3 1 2 Interpretation der Kurve: Eine Zufallszahl zwischen 1/2 und 1/3 ist genau so häufig wie zwischen 2 und 3 Zur Erzeugung der Mutationen z und x

41 Von-Neumann-Computer versus Neuronencomputer
= 511 = 1023 Von-Neumann-Computer versus Neuronencomputer Kleine Mutation ES-Theorie: % optimale Erfolgswahscheinlichkeit Verbesserung unwahrscheinlich

42 Kausalität Schwache Kausalität Starke Kausalität
Gleiche Ursache → Gleiche Wirkung Schwache Kausalität Ähnliche Ursache → Andere Wirkung Starke Kausalität Ähnliche Ursache → Ähnliche Wirkung Text

43 Ausgang: Stärke des Kaffeestroms
Eingang: Neigung der Kaffeekanne Starke Kausalität Normalverhalten der Welt

44 Schwach kausales Verhalten Stark kausales Verhalten
Klassischer Computer Neuronencomputer Nicht evolutionsfähig Evolutionsfähig

45 Exemplarische Anwendungsgebiete Neuronaler Netze
Signalverarbeitung: Spracherkennung, Bilderkennung, Bildanalyse, Biometrie Robotik: Motorische Steuerung, Handlungsentscheidungen, Autonome Systeme Wirtschaft: Kreditwürdigkeitsbeurteilungen, Börsenkurs- und Wirtschaftsprognosen Psychologie: Modellierung kognitiver Vorgänge, Simulation neuronaler Strukturen Medizin: Elektronische Nasen, Diagnose, Protein Design, EEG-Auswertung

46 ? Die Entscheidungshilfe für Aktienanleger
Was ist Stock NeuroMaster? Stock NeuroMaster wurde entwickelt, um Vorhersagen aus bestimmten Marktsituationen zu treffen, die Ihnen bei der Bestimmung des richtigen Kauf- und Verkaufszeitpunktes helfen.                                                                                                                                            Jetzt verdienen Sie an der Börse endlich Geld! Modernste neuronale Netzwerktechnologie ("künstliche Intelligenz") hat es jetzt ermöglicht mit einem Standard-PC Vorhersagen ungeahnter Genauigkeit zu treffen. Der Stock NeuroMaster nutzt neuronale Netze als Instrument, um die historischen Börsen-kurse interessanter Aktien zu analysieren. Basierend auf den Ergebnissen dieser Analyse spricht die Software konkrete Kauf- oder Verkaufsempfehlungen aus. ?

47 Vorschläge für eine Übungs-/Praktikums-Ausarbeitung zur Vorlesung Bionik II
Zur Wanderwellentheorie von Georg von Békésy: Aufbau eines mechanischen Modells, das eine frequenzabhängige Wanderwelle erzeugt. Zur Navigation von Nachttieren: Ist das Licht des Nachthimmels polarisiert?. Experimente mit Polarisationsfiltern in der Nacht. Aufbau eines mechanischen Enzyms: Funktioniert das in der Vorlesung vorgestellte Winkelmolekül? Experimente mit dem Fensteroperator von Lohmann. Welches Ausgangssignal ergeben verschieden konstruierte Figuren und Figurenmengen. Eigenschaften von Fensteroperatoren: Versuche mit eigens entworfenen neuen Fensteroperatoren. Suche im Internet nach neuen exotischen Biosensoren, die in der Vorlesung nicht behandelt wurden. MP3-Player und laterale Inhibition. Kompression digital gespeicherter Audiodateien durch Kenntnis der seitlichen Hemmung der Haarzellen in der Cochlea. Laterale Inhibition der Riechsinneszellen in der Riechschleimhaut. Welche Vorteile könnte hier die Inhibition aufweisen? Entwicklungen und Trends des Organic Computing; Was leisten Neuronale Netze heute: Recherche im Internet. Bionik ist Bionik: Statt eines Themas aus der Vorlesung Bionik II können Sie auch ein Thema aus der Vorlesung Bionik I oder ein Thema aus dem gesamten Bereich der Bionik als Hausaufgabe bearbeiten.

48 Ende

49 Getriebefaktor (Gewichtsänderung) für
Bei den richtigen Getriebeübersetzungen folgt man dem Gradientenweg zum Minimum. Getriebefaktor (Gewichtsänderung) für Deshalb Rückwärtrechnung Getriebefaktor (Gewichtsänderung) für

50 Man mache sich klar: Bei idealer starker Kausalität (Funktionsstetigkeit) ist bei kleinen Mutationen die Erfolgswahrscheinlichkeit gleich 50%. Es trifft also nicht zu (wie oft behauptet wird), dass eine erfolgreiche Mutation in der Evolution ein extrem seltenes Ereignis darstellt. Nur große erfolg-reiche Mutationen sind sehr selten! Die 50% Erfolgswahrscheinlichkeit (differentiell) kleiner Mutationen ergibt sich aus der Tatsache, dass eine Berglandschaft in der unmittelbaren Nähe durch ein geneigtes Ebenenstückchen approximiert werden kann (Prinzip der Linearisierung).

51 Vorteil der evolutionsstrategischen Trainingsmethode:
Die Fehler an den Ausgängen müssen nicht explizit bekannt sein. Die Ausgänge des Neuronalen Netzes können z. B. die Bewegung eines Roboters steuern, dessen Ist-Trajektorie mit der Soll-Trajektorie verglichen wird und den zu minimierenden Fehler darstellt.