Neuronale Netze Teil II.

Präsentation zum Thema: "Neuronale Netze Teil II."—  Präsentation transkript:

1 Neuronale Netze Teil II

2 Neuronale Netze (Wiederholung)
Modell zur Berechenbarkeit -> Mathematische Modell -> Turing -> Commputer -> Zellularautomaten -> Neuronale Netze Mc Culloch/ Pitts Neuron -> Keine Gewichte -> Absolute Hemmung -> keine Lernregel (Gewichte müssen von Hand angepasst werden) -> Treppenfunktion als Ausgabe -> realisierbar zB. And und Or

3 Perzeptron -> Gewichte -> Trennt Eingaberaum in zwei Regionen (als geometrische Veranschaulichung) ->Erweiterter Eingabevektor -> Relative Hemmung -> Aus Mc Culloch/ Pitts Neuronen und Perceptronen lassen sich äquivalente Netze konstruieren.

4 Lernen Überwachtes Lernen Unüberwachtes Lernen Korrigierendes Lernen Konkurrenz Verstärkungs Lernen Verstärkung -> Perzeptron lernen -> Cluster Zuordnung, als Verallgemeinerung des Perzeptrons

5 Cluster Zuordnung als Beispiel für unüberwachtes Lernen durch Konkurrenz
Aufbau, siehe Tafel Lernalgorithmus: Start: Belegung der Gewichte mit zufälligen Werten. Testen: Ein Eingabevektor wird zufällig ausgewählt, das Neuron das auf diesen mit der Stärksten Erregung antwortet wird korrigiert. Korrigieren: Gewichtsvektor des stärksten Neuronen wird ersetzt durch Gewichtsvektor plus Eingabevektor, danach Normierung.

6 Backpropagation -> Erfunden in den 70‘ern, richtig bekannt ab 1985 durch Rumelhart et. Al -> am weitesten verbreitete Lernmethode -> Sucht Minimum durch Abstieg in Gradientenrichtung der Fehlerfunktion. Dieses Minimum ist dann Lösung. -> Aktivierungsfunktion ist jetzt Sigmode. Fehlerfunktion: Sigmode:

7 Verlauf der Sigmode für verschiedene c.
Gelb: c = 1 Blau: c = 4 Rot: c = 100 Für große c nähert sich die Sigmode immer mehr der Stufenfunktion an. C wird auch Temperatur genannt. Ableitung der Sigmode ist (bei c = 1): Da Überall Diffbar., ist auch die Fehlerfunktion überall Diffbar., und fast nirgendwo völlig flach.

8 Schritte des Lernalgorithmus
Feedforward Berechnung Backpropagation bis zur Ausgabeschicht Backpropagation bis zur verborgenen Schicht Korrektur der Gewichte

9 1.) Feedforward Berechnung
Eingabevektor o an den Eingabestellen einlegen. Am Ende wird der Fehler E ausgegeben. An allen Neuronen wird die Ableitung der Sigmode gespeichert. 2.) Backpropagation bis zur Ausgabeschicht Finden von der partiellen Ableitung von E nach w2 durch:

10 3.) Backpropagation bis zur verborgenen Schicht.
Finden der Ableitung von E nach w1 durch: 4.) Korrektur der Gewichte Jetzt da die partiellen Ableitungen der Fehlerfunktion bekannt sind und damit auch der Gradient, müssen nur noch die Gewichte angepasst werden.

11 Das ganze in Matrixform:
(an der Tafel)

12 Variationen des Backpropagation-Verfahrens
Backpropagation mit variabler Schrittlänge Ändern der Konvergenzgeschwindigkeit durch Variation der Lernkonstante Backpropagation mit Impuls Wobei alpha empirisch festgelegt wird (Rumelhart, Hinton, Williams: alpha ca. 0,9).

13 Anwendungen der Backpropagation Netze
Datenkompression, Mustererkennung, Robotik, Spracherkennung, Sprachausgabe, Erkennung von Zeitreihen (Börse)

14 Assoziative Speicher Rekursive Netze
3 Klassen von Assoziativ Speichern -> Heteroassoziative S. : -> Autoassoziative S. : -> Mustererkennung: Struktur: XW=Y , alles Vektoren Bipolare Vektoren: -> leichtere Mathematische Ausdrücke -> einfachere Speicherung orthogonaler Vektoren ->Signum Funktion als Aktivierungsfunktion

15 Self Organized Maps Teuvo Kohonen, Finne (1982,1984)
Topologieerhaltene Abbildungen -> keine expliziete Ausgabe -> keine Fehlerfunktion -> Lernen während des Betriebes (selbständige) Kartierung des Eingaberaums Für Eingabe aus a1 feuert nur ein Neuron

16 Sensorische Karten im Gehirn
-> biologischer Hintergrund (Gehirn 2D <-> Augen 3D) -> Topologieerhaltend Abgebildet (Benachtbarter Input -> Benachtbarte Region)(Auge,Tastsinn,Motorische Rinde) -> benachtbarte Zellen beinflussen sich während der Lernphase Nachbarschaftsfunktion phi(i,k)

17 Lernalgorithmus Start: Zufällige Auswahl der Gewichte. Anfangswerte für Nachbarscahftsradius und Lernkonstante Schritt 1: Zufällige Eingabe Schritt 2: Neuron mit maximaler Erregung wird ermittelt. (minimaler Abstand zwischen Eingabe und Gewichten) Schritt 3: Aktualisierung der Gewichte der Nachbarschaft des Neurons. Schritt 4: Änderung der Lernkonstante und oder des Radius oder Abbruch

18 ->Auch 2D Raster möglich.
->Projektion auf niedrigere Dimension durch Faltung

19 Anwendungen: ->Kartierung von Funktionen (x,y,f(x,y))(adaptive Tabelle für Funktionswerte) ->Kartierung von Räumen (Robotersteuerung) Quellen: -> Theroie der neuronalen Netze (Rojas, Springer) -> Theoretical Neuroscience (Peter Dayan and L.F. Abbott) -> Diverse Seiten aus dem Internet (Wikipedia ,,,)