Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung „Bionik II /

Ähnliche Präsentationen


Präsentation zum Thema: "Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung „Bionik II /"—  Präsentation transkript:

1 Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung „Bionik II / Biosensorik, Bioinformatik “

2 Ein „organischer Computer" (OC) ist definiert als ein selbst-organisierendes System, das sich den jeweiligen Umgebungsbedürfnissen dynamisch anpasst. Organische Computersysteme haben sog. „Self-x-Eigenschaften": Sie sind selbst-konfigurierend, selbst-optimierend, selbst-heilend, selbst- erklärend und selbst-schützend. Organische Computersysteme verhalten sich eher wie intelligente Assistenten als starre Befehlsempfänger. Sie sind flexibel, robust gegenüber (Teil)ausfällen und in der Lage, sich selbst zu optimieren. Der Entwurfsaufwand sinkt, da nicht jede Variante im Voraus programmiert werden muss. Gesellschaft für Informatik e.V.

3 Entwicklung Neuronaler Netze Ein Meilenstein der Bionik

4 Anwendung neuronaler Netze: Mustererkennung, Bildverarbeitung, Robotik, Prozessautomatisierung, Diagnose, Medizin, Betriebswirtschaft, Finanzdienstleistungen Wissensverarbeitung

5 Natürliches Neuronales Netz

6 Eingangsneuronen Zwischenneuronen Ausgangsneuron Künstliches Neuronales Netz KNN Neuronales Netz NN

7 Eigenheiten einer Nervenzelle Schwellverhalten des Encoders Impulsfortleitung im Axon Zeitverhalten der Synapse  Summiereigenschaft des Zellsomas Signalgewichtung durch Länge des Dendriten

8 Soma Encoder Axon Dendrit  PSP  PSP > 50mV Arbeitsweise einer (biologischen) Nervenzelle

9 Streichung des Schwellverhaltens des Encoders Neuron 0. Ordnung Spannungshöhe statt Impulse Streichung des Zeitverhaltens der Synapse  Summiereigenschaft des Zellsomas Signalgewichtung durch Länge des Dendriten

10 Neuron 0. Ordnung  (Technische Realisierung)

11 Neuron 1. Ordnung Spannungshöhe statt Impulse Streichung des Zeitverhaltens der Synapse  Streichung des Schwellverhaltens des Encoders aufgehoben !  Signalgewichtung durch Länge des Dendriten Summiereigenschaft des Zellsomas

12 (Technischen Realisierung) Neuron 1. Ordnung (a) UeUe UaUa UeUe UaUa 

13 (Technischen Realisierung) Neuron 1. Ordnung (b) UeUe UaUa UaUa UeUe 

14 Neuron 2. Ordnung Impulsfortleitung Spannungs- Frequenzwandler mit Schwelle Verzögerungs- glied 1. Ordnung  Summiereigenschaft des Zellsomas Signalgewichtung durch Länge des Dendriten

15 Neuron 2. Ordnung (Technische Realisierung) Berliner Bionik-Neuron U U F F  VZ1 Spannungs-Frequenzwandler mit Schwellwert

16 Zurück zum Neuron 0. Ordnung

17 Eingangsneuronen Zwischenneuronen Ausgangsneuron Netz mit Neuronen 0. Ordnung

18 Reduktionsgesetz für eine Neuronales Netz 0. Ordnung 

19 Belehren statt programmieren eines NN

20 Donald O. Hebb ( ) H EBB -Regel Häufiger Gebrauch einer Synapse macht diese stärker leitfähig !

21 Frank R OSENBLATT s Perceptron Neuronales Netz 1. Ordnung (a) 2-schichtig mit springendem U e -U a -Verhalten (Schwell- wertelement) und diskreter Verstellung der Gewichte UeUe UaUa 

22 Regel 1: Wenn die Reaktion falsch als 0 klassifiziert wird, dann Gewichte der aktiven Eingänge um +1 erhöhen. Regel 2: Wenn die Reaktion falsch als 1 klassifiziert wird, dann Gewichte der aktiven Eingänge um -1 erniedrigen statt 1 1 statt 0 Die Perceptron Lernregel

23 Lernregel: Back Propagation Evolutionsstrategie UeUe UaUa  Heute Neuronales Netz 1. Ordnung (b) 3-schichtig mit sigmoidem U e -U a -Verhalten (weiches Schwellwertelement) und kontinuierlicher Verstellbarkeit der Gewichte

24 Die sigmoide Kennlinie wird durch die Fermi-Funktion beschrieben: x y Sie zeichnet sich durch die besondere mathematische Eigenschaft aus: UeUe UaUa 

25 Belehrung (Training) mit Backpropagation

26 Neuron 1: Neuron 3: Neuron 2: Neuron i : Fermi net i awawnet  awawnet  awawnet  w 46 a5a5 w 24 w 35 a2a2 a3a3 a1a1 w 13 w 14 w 23 w 45 w a4a4 a6a6 Einfachstes 3-schichtiges Neuronales Netz j = nummerierte Eingänge Durchrechnung des gesamten Netzes Weiches Schwellwertelement

27 Fehler: Soll Ist w 46 a5a5 w 24 w 35 a2a2 a3a3 a1a1 w 13 w 14 w 23 w 45 w a4a4 a6a6 e1e1 e2e2 Es gilt, die Gewichte w so zu verstellen, dass F zu einem Minimum (möglichst Null) wird.

28 grad  h sei = 1  h sei = 2 Die Idee des Gradientenfortschritts Unsichtbare geneigte Ebene 2 Elementarschritte in die x -Richtung 1 Elementarschritt in die y -Richtung Experimentator

29 Fehler: Soll Ist Angenommen, die 8 Gewichte können über Zahnräder eines Getriebes verstellt werden. Dann gibt es eine Übersetzung für jedes Zahnrad, bei der sich F maximal schnell ver- mindern würde, wenn wir an der Hauptwelle drehen. Die Übersetzungen sind gleich den Ableitungen von F nach den Gewichten w. w 46 a5a5 w 24 w 35 a2a2 a3a3 a1a1 w 13 w 14 w 23 w 45 w a4a4 a6a6 Getriebeübersetzung für 13 w Δ w F  w    Getriebeübersetzung für 35 w Δ w F  w     = Schrittweite begrenzt durch Ebenenstückchen Der Gradientenfortschritt Approximation als Ebenenstückchen Oder nach der Gradientenidee: Jedes Gewicht muss so geändert werden wie sich der Fehler mit einer Änderung des Gewichts ändert ! Gewichtsänderungen

30 Bei den richtigen Getriebeübersetzungen folgt man dem Gradientenweg zum Minimum. Getriebefaktor (Gewichtsänderung) für awawnet  Vorteil der Fermi-Funktion (weiches Schwellwertelement) Fermi:

31 Weg der Rechnung 1. Vorwärtsrechnung zur Bestimmung von und Fehler w 46 a5a5 w 24 w 35 a2a2 a3a3 a1a1 w 13 w 14 w 23 w 45 w a4a4 a6a6 Anfangsgewichte vorgegeben

32 w 36 w 45 w 46 w 35 w 14 w 23 w 24 2 w 13 Weg der Rechnung 1. Vorwärtsrechnung zur Bestimmung von und Fehler 2. Rückwärtsrechnung zur Bestimmung von bis 13 Δ w 24 Δ w 14 Δ w 23 Δ w 35 Δ w 46 Δ w 36 Δ w 45 Δ w a2a2 a1a Δ w 46 Δ w

33 Weg der Rechnung 1. Vorwärtsrechnung zur Bestimmung von und Fehler 2. Rückwärtsrechnung zur Bestimmung von bis 3. Einstellung der neuen Gewichte bis w 46 w 24 w 35 a2a2 a1a1 w3w3 w 14 w 23 w 45 w Δ w 46 Δ w 13 w 46 w z. B. 35)( )( Δ www altneu  Text

34 Belehrung (Training) mit der Evolutionsstrategie

35 Fortschreiten entlang des steilsten Anstiegs im Fall der Existenz eines „Berges“  bei kleinen Schritten Universelles Naturgesetz „Starke Kausalität“

36 w 46 a5a5 w 24 w 35 a2a2 a3a3 w 13 w 14 w 23 w 45 w a4a4 a6a6 a1a1 Mutieren der Gewichte bis 1 Bestimmung des Fehlers 3 Durchlaufen des Netzes zur Bestimmung von und 2 Die Operation wird -mal durchgeführt (= 1 Generation). Dann wird das Netz mit dem kleinsten Fehler zum Ausgang einer neuen „Generation“. Text

37 Es sei w ein Vektor mit den Komponenten

38 Algorithmus der (1,  ) – Evolutionsstrategie mit MSR  -Würfel z -Würfel Streuung 

39 Mutation der Mutabilität und Vererbbarkeit der Mutabilität „Knackpunkt“ der Evolutionsstrategie DNA-Kopierer DNA  -Mutation z -Mutation

40 w 0 22 + zizi 0 1 w ii Zur Erzeugung der Mutationen z und  Interpretation der Kurve: Eine Zufallszahl zwischen 1/2 und 1/3 ist genau so häufig wie zwischen 2 und 3 logarithmisch normalverteilt (Dichte   ) normalverteilt (Dichte z )

41 ES-Theorie: % optimale Erfolgswahscheinlichkeit Von-Neumann-Computer versus Neuronencomputer Kleine Mutation Verbesserung unwahrscheinlich = = 1023

42 Kausalität Schwache Kausalität Starke Kausalität Gleiche Ursache → Gleiche Wirkung Ähnliche Ursache → Andere Wirkung Ähnliche Ursache → Ähnliche Wirkung Text

43 Starke Kausalität Normalverhalten der Welt Eingang: Neigung der Kaffeekanne Ausgang: Stärke des Kaffeestroms

44 Schwach kausales Verhalten Stark kausales Verhalten Klassischer Computer Neuronencomputer Nicht evolutionsfähig Evolutionsfähig

45 Exemplarische Anwendungsgebiete Neuronaler Netze Signalverarbeitung: Spracherkennung, Bilderkennung, Bildanalyse, Biometrie Robotik: Motorische Steuerung, Handlungsentscheidungen, Autonome Systeme Wirtschaft: Kreditwürdigkeitsbeurteilungen, Börsenkurs- und Wirtschaftsprognosen Psychologie: Modellierung kognitiver Vorgänge, Simulation neuronaler Strukturen Medizin: Elektronische Nasen, Diagnose, Protein Design, EEG-Auswertung

46 Die Entscheidungshilfe für Aktienanleger Was ist Stock NeuroMaster? Stock NeuroMaster wurde entwickelt, um Vorhersagen aus bestimmten Marktsituationen zu treffen, die Ihnen bei der Bestimmung des richtigen Kauf- und Verkaufszeitpunktes helfen. Jetzt verdienen Sie an der Börse endlich Geld! Modernste neuronale Netzwerktechnologie ("künstliche Intelligenz") hat es jetzt ermöglicht mit einem Standard-PC Vorhersagen ungeahnter Genauigkeit zu treffen. Der Stock NeuroMaster nutzt neuronale Netze als Instrument, um die historischen Börsen- kurse interessanter Aktien zu analysieren. Basierend auf den Ergebnissen dieser Analyse spricht die Software konkrete Kauf- oder Verkaufsempfehlungen aus. ?

47 Vorschläge für eine Übungs-/Praktikums-Ausarbeitung zur Vorlesung Bionik II Zur Wanderwellentheorie von Georg von Békésy: Aufbau eines mechanischen Modells, das eine frequenzabhängige Wanderwelle erzeugt. Zur Navigation von Nachttieren: Ist das Licht des Nachthimmels polarisiert?. Experimente mit Polarisationsfiltern in der Nacht. Aufbau eines mechanischen Enzyms: Funktioniert das in der Vorlesung vorgestellte Winkelmolekül? Experimente mit dem Fensteroperator von Lohmann. Welches Ausgangssignal ergeben verschieden konstruierte Figuren und Figurenmengen. Eigenschaften von Fensteroperatoren: Versuche mit eigens entworfenen neuen Fensteroperatoren. Suche im Internet nach neuen exotischen Biosensoren, die in der Vorlesung nicht behandelt wurden. MP3-Player und laterale Inhibition. Kompression digital gespeicherter Audiodateien durch Kenntnis der seitlichen Hemmung der Haarzellen in der Cochlea. Laterale Inhibition der Riechsinneszellen in der Riechschleimhaut. Welche Vorteile könnte hier die Inhibition aufweisen? Entwicklungen und Trends des Organic Computing; Was leisten Neuronale Netze heute: Recherche im Internet. Bionik ist Bionik: Statt eines Themas aus der Vorlesung Bionik II können Sie auch ein Thema aus der Vorlesung Bionik I oder ein Thema aus dem gesamten Bereich der Bionik als Hausaufgabe bearbeiten.

48 Ende

49 Bei den richtigen Getriebeübersetzungen folgt man dem Gradientenweg zum Minimum. Getriebefaktor (Gewichtsänderung) für Deshalb Rückwärtrechnung

50 Man mache sich klar: Bei idealer starker Kausalität (Funktionsstetigkeit) ist bei kleinen Mutationen die Erfolgswahrscheinlichkeit gleich 50%. Es trifft also nicht zu (wie oft behauptet wird), dass eine erfolgreiche Mutation in der Evolution ein extrem seltenes Ereignis darstellt. Nur große erfolg- reiche Mutationen sind sehr selten! Die 50% Erfolgswahrscheinlichkeit (differentiell) kleiner Mutationen ergibt sich aus der Tatsache, dass eine Berglandschaft in der unmittelbaren Nähe durch ein geneigtes Ebenenstückchen approximiert werden kann (Prinzip der Linearisierung).

51 Vorteil der evolutionsstrategischen Trainingsmethode: Die Fehler an den Ausgängen müssen nicht explizit bekannt sein. Die Ausgänge des Neuronalen Netzes können z. B. die Bewegung eines Roboters steuern, dessen Ist-Trajektorie mit der Soll-Trajektorie verglichen wird und den zu minimierenden Fehler darstellt.


Herunterladen ppt "Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung „Bionik II /"

Ähnliche Präsentationen


Google-Anzeigen