Neuronale Netze

Inhalt Einführung Das menschliche Gehirn Das Neuron Gehirn vs. Computer Eigenschaften Neuronaler Netze Modelle Neuronaler Netze

Das menschliche Gehirn Golgi und Ramon y Cayal Neocortex (Hirnrinde) 0,2m² groß 2-3mm dick Besteht aus einem Netz von Nervenzellen – den Neuronen – welche miteinander Signale austauschen

Das Neuron Dendritenbaum Zellkern (Soma) Axon Synapsen Neuronenklassen (Exitatorisch und Inhibitorisch) Neuronenklassen

Gehirn vs Computer Gehirn Rechner # Verarbeitungselemente ca. 1011 Neuronen ca. 109 Transistoren Art massiv parallel im allg. seriell Speicherung assoziativ adressbezogen Schaltzeit eines Elements ca. 1 ms (10-3 s) ca. 1 ns (10-9 s) „Schaltvorgänge“ /s ca. 103/s ca. 109/s #“Schaltvorgänge“ theor. ca. 1013/s ca. 1018/s #“Schaltvorgänge“ tats. ca. 1012/s ca. 1010/s

Eigenschaften Neuronaler Netze Vorteile Lernfähigkeit Parallelität Globales Wissen höhere Fehlertoleranz Assoziative Speicherung von Information Entrauschen von Daten Default-Werte aktive Repräsentation

Eigenschaften Neuronaler Netze Nachteile kaum programmierbares Wissen keine Introspektion möglich Logisches sequenzielles Schließen ist schwer Lernen dauert lange

Modelle Neuronaler Netze McCulloch und Pitts: „Logisches Schwellwertelement“ Hebb: „Lernen durch plastische Synapsenstärken“ Rosenblatt: „Lernen durch Musterklassen“ Willshaw, Bunemann und Longuet-Higgins: „Matrixmodelle assoziativer Speicher“ Hopfield: „Autoassoziation durch Hopfield-Netze“

McCulloch und Pitts logisches Schwellwertelement mit L Eingangsleitungen und einer Ausgangsleitung Überschreitet die Summe der Eingangswerte einen Schwellwert, so feuert das Neuron Durch Kombination lässt sich jede logische Funktion aufbauen Aber kein Lernen und keine Fehlertoleranz möglich

Hebb Eine durch eine Synapse bewirkte Verschaltung zwischen zwei Neuronen ist plastisch und ändert sich proportional zur korrelierten Aktivität vor und hinter der Synapse Wenn Zelle j eine Eingabe von Zelle i erhält und beide gleichzeitig stark aktiviert sind, dann erhöht sich das Gewicht wij (die Stärke der Verbindung von i nach j)

Rosenblatt Perzepton Lernalgorythmus Perzepton besteht aus N Elementen denen über L Leitungen Eingabe- muster zugeführt werden Die Zuordnung der Muster zu Klassen wird trainiert, so dass sich auch neue Muster klassifizieren lassen Wenn eine Aufgabe eine Lösung besitzt, so findet der Lernalgorythmus eine Lösung nach endlich vielen Schritten

Willshaw et al. Matrixmodell assoziativen Speichers x (Eingabemuster) und y (Ausgabemuster) werden als binäre Vektoren dargestellt N McCulloch-Pitts-Neuronen berechnen aus L Eingabemustern x die Komponenten yr des Ausgabemusters y Die Informationsspeicherung geschieht in der Matrix der L x N „Synapsenstärken“ wir Dadurch wird die Information über das System verteilt, und Teile davon dürfen ausfallen, ohne das für die richtigen Muster das Erreichen der Schwelle gefährdet wird

Hopfield Eingabemuster ist gleich dem Ausgabemuster (Autoassoziation) Abruf des vollen Musters aus unvollständigen Eingabefragmenten Es lassen sich aber nur schlecht korrelierte Muster speichern Ähnlichkeit wird nur nach Anzahl der übereinstimmenden Pixel erkannt, also kein Erkennen bei z.B. Translation des Musters

Ende