Ein Neuronales Netz könnte lernen indem es … Neuronale Netze Ein Neuronales Netz könnte lernen indem es … … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert … Schwellenwerte von Neuronen ändert … eine oder mehrere der Neuronenfunktionen abwandelt … neue Neuronen entwickelt … vorhandene Neuronen löscht Lernverfahren / Lernregeln

Trainings- und Testphase Neuronale Netze Trainings- und Testphase 1. Trainingsphase: Lernen anhand des Lernmaterials supervised learning: Optimierung der Gewichte anhand eines vorgegebenen Outputs unsupervised learning: Gewichtsveränderung in Abhängigkeit der Ähnlichkeit der Gewichte mit den Inputreizen 2. Testphase: Präsentation von Reizen und Überprüfung des berechneten Outputs Lernverfahren / Lernregeln

Lernregeln Hebb-Regel Delta-Regel Backpropagation Competetive Learning Neuronale Netze Lernregeln Hebb-Regel Delta-Regel Backpropagation Competetive Learning

Hebb-Regel Lernregeln Neuronale Netze Neuronale Netze "Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaft zur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert dies in Wachstumsprozessen oder metabolischen Veränderungen in einer oder in beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug auf die Erzeugung eines Aktionspotentials in B größer wird." (Hebb, 1949) Das Gewicht zwischen zwei Einheiten wird dann verändert, wenn beide Units gleichzeitig aktiv sind. Die Größe der Gewichtsveränderung bemisst sich aufgrund dreier Werte: dem Aktivitätslevel (bzw. Output) der sendenden Unit aj dem Aktivitätslevel (bzw. Output) der empfangenden Unit ai einem vorher festgelegten, positiven Lernparameter ε Formel: Δwij=ε·ai·aj Lernregeln

Delta-Regel δ = ai(gewünscht) - ai(beobachtet) Lernregeln Neuronale Netze Delta-Regel Grundlage: Vergleich zwischen gewünschtem und dem tatsächlich beobachteten Output einer Output-Unit i Als Formel: δ = ai(gewünscht) - ai(beobachtet) Lernregeln

Δwij = ε · δi · aj Lernregeln δ = ai(gewünscht) - ai(beobachtet) Neuronale Netze Δwij = ε · δi · aj diejenigen Gewichte zu den sendenden Units werden stärker verändert, die einen größeren Einfluss auf den Fehlerterm ausüben δ = ai(gewünscht) - ai(beobachtet) Gewichtsver-änderung zwischen den Einheiten i und j • Größe der Gewichtsveränderung proportional zur Größe des Fehlers • 3 Möglichkeiten: • beobachtete Aktivität zu niedrig • beobachtete Aktivität zu groß • beobachtete und gewünschte Aktivität gleich groß Konstanter Term: gibt die Stärke der Gewichts-veränderung pro Lerndurchgang an Lernregeln

Backpropagation Lernregeln Neuronale Netze supervised learning Hidden-Units Training durchläuft alternierend 3 Phasen: 1. Forward-Pass 2. Fehlerbestimmung 3. Backward-Pass Lernregeln

Δwij = ε · δi · aj Backpropagation Lernregeln Gewichtsanpassung: Neuronale Netze Backpropagation Gewichtsanpassung: Ziel: Anpassung der Gewichte im Backward-Pass, so dass der resultierende Gesamtfehler möglichst klein ausfällt Gradientenabstiegsverfahren = Ableitung der Aktivitätsfunktion an der Stelle des Netzinputs der empfangenden Einheit i L = Nachfolgeschicht nach der empfangenden Schicht (i) l = Nachfolgende Einheit, die sich nach der empfangenden Einheit i befindet Δwij = ε · δi · aj falls i=Output-Unit = falls i=Hidden-Unit Lernregeln

Backpropagation Lernregeln Probleme des Gradientenabstiegsverfahrens: Neuronale Netze Backpropagation Probleme des Gradientenabstiegsverfahrens: Lokale Minima Flache Plateaus Oszillation (direkt oder indirekt) Verlassen guter Minima Lernregeln

Competitive Learning Lernregeln Neuronale Netze unsupervised learning 3 Phasen: 1. Erregung 2. Wettbewerb 3. Adjustierung der Gewichte Lernregeln

Beurteilung der Regeln Neuronale Netze Beurteilung der Regeln Qualität Komplexität Verständlichkeit Anwendbarkeit Lernregeln

Netztypen Pattern Associator Rekurrente Netze Kompetitive Netze Neuronale Netze Netztypen Pattern Associator Rekurrente Netze Kompetitive Netze Kohonennetze

Pattern Associator Eigenschaften: Netztypen Neuronale Netze Generalisierung Toleranz gegenüber internen Schäden Toleranz gegenüber externen Schäden Output der zentralen Tendenz bzw. des Prototypen der Kategorie Netztypen

Rekurrente Netze Unterteilung: Netztypen Neuronale Netze Direkte Rückkopplungen Indirekte Rückkopplungen Seitliche Rückkopplungen Vollständige Rückkopplungen Netztypen

Rekurrente Netze Simple Recurrent Networks Netztypen Neuronale Netze Kontext-Units Hidden-Units Netztypen

Rekurrente Netze Anwendungen: Netztypen Neuronale Netze Prognosen über die Zukunft treffen Simulation von menschlichen Verhaltenssequenzen Attraktornetze Netztypen

Kompetitive Netze Netztypen Neuronale Netze Keine Hidden-Units Trainingsphase in 3 Schritten 1. Erregung 2. Wettbewerb 3. Adjustierung der Gewichte unsupervised Learning Begrenzung der Gewichtssektoren Netztypen

Kompetitive Netze Anwendungen: Netztypen Neuronale Netze Filtern von Redundanzen und Alternative zur Faktorenanalyse vorgeschaltetes Netz für andere Netztypen Musterklassifikation Netztypen

Kohonennetze Netztypen Neuronale Netze Erweiterung Kompetitiver Netze unsupervised Learning Keine Hidden-Units Häufig Output-Schicht 2-dimensional aufgebaut Netztypen

Kohonennetze Berechnung: Netztypen Neuronale Netze 1. Startwerte festlegen 2. Auswahl eines Inputvektors 3. Aktivitätsberechnung und Auswahl 4. Gewichtsmodifikation 5. Abbruch Netztypen

Kohonennetze Anwendungen: Netztypen Neuronale Netze Approximation von Funktionen Inverse Kinematik kürzesten Weg zwischen 2 Punkten finden n-dimensionale Figuren transformieren Problem des Handlungsreisenden Spracherkennung, Unterschriftenerkennung, Gesichtererkennung Netztypen

Literatur Netztypen Neuronale Netze Detlef Nauck, Frank Klawonn und Rudolf Kruse (1994), Neuronale Netze und Fuzzy-Systeme, F. Vieweg & Sohn Verlagsgesellschaft Braunschweig/Wiesbaden; Klaus Mainzer (1997), Gehirn, Computer, Komplexität, Springer-Verlag Berlin/Heidelberg; http://cs.uni-muenster.de/Professoren/Lippe/lehre/skripte/wwwnnscript/startseite.html; http://filestorage.dkriesel.com/neuronalenetze-de-delta-dkrieselcom.pdf; http://www.andreas-mielke.de/nn.html; http://www.i4.psychologie.uni-wuerzburg.de/fileadmin/06020400/user_upload/Rey/3_Lernregeln.pdf; http://www.neuronalesnetz.de; Netztypen