Ein Neuronales Netz könnte lernen indem es …

Präsentation zum Thema: "Ein Neuronales Netz könnte lernen indem es …"—  Präsentation transkript:

1 Ein Neuronales Netz könnte lernen indem es …
Neuronale Netze Ein Neuronales Netz könnte lernen indem es … … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert … Schwellenwerte von Neuronen ändert … eine oder mehrere der Neuronenfunktionen abwandelt … neue Neuronen entwickelt … vorhandene Neuronen löscht Lernverfahren / Lernregeln

2 Trainings- und Testphase
Neuronale Netze Trainings- und Testphase 1. Trainingsphase: Lernen anhand des Lernmaterials supervised learning: Optimierung der Gewichte anhand eines vorgegebenen Outputs unsupervised learning: Gewichtsveränderung in Abhängigkeit der Ähnlichkeit der Gewichte mit den Inputreizen 2. Testphase: Präsentation von Reizen und Überprüfung des berechneten Outputs Lernverfahren / Lernregeln

3 Lernregeln Hebb-Regel Delta-Regel Backpropagation Competetive Learning
Neuronale Netze Lernregeln Hebb-Regel Delta-Regel Backpropagation Competetive Learning

4 Hebb-Regel Lernregeln Neuronale Netze Neuronale Netze
"Wenn ein Axon der Zelle A ... Zelle B erregt und wiederholt und dauerhaft zur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert dies in Wachstumsprozessen oder metabolischen Veränderungen in einer oder in beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug auf die Erzeugung eines Aktionspotentials in B größer wird." (Hebb, 1949) Das Gewicht zwischen zwei Einheiten wird dann verändert, wenn beide Units gleichzeitig aktiv sind. Die Größe der Gewichtsveränderung bemisst sich aufgrund dreier Werte: dem Aktivitätslevel (bzw. Output) der sendenden Unit aj dem Aktivitätslevel (bzw. Output) der empfangenden Unit ai einem vorher festgelegten, positiven Lernparameter ε Formel: Δwij=ε·ai·aj Lernregeln

5 Delta-Regel δ = ai(gewünscht) - ai(beobachtet) Lernregeln
Neuronale Netze Delta-Regel Grundlage: Vergleich zwischen gewünschtem und dem tatsächlich beobachteten Output einer Output-Unit i Als Formel: δ = ai(gewünscht) - ai(beobachtet) Lernregeln

6 Δwij = ε · δi · aj Lernregeln δ = ai(gewünscht) - ai(beobachtet)
Neuronale Netze Δwij = ε · δi · aj diejenigen Gewichte zu den sendenden Units werden stärker verändert, die einen größeren Einfluss auf den Fehlerterm ausüben δ = ai(gewünscht) - ai(beobachtet) Gewichtsver-änderung zwischen den Einheiten i und j • Größe der Gewichtsveränderung proportional zur Größe des Fehlers • 3 Möglichkeiten: • beobachtete Aktivität zu niedrig • beobachtete Aktivität zu groß • beobachtete und gewünschte Aktivität gleich groß Konstanter Term: gibt die Stärke der Gewichts-veränderung pro Lerndurchgang an Lernregeln

7 Backpropagation Lernregeln Neuronale Netze supervised learning
Hidden-Units Training durchläuft alternierend 3 Phasen: 1. Forward-Pass 2. Fehlerbestimmung 3. Backward-Pass Lernregeln

8 Δwij = ε · δi · aj Backpropagation Lernregeln Gewichtsanpassung:
Neuronale Netze Backpropagation Gewichtsanpassung: Ziel: Anpassung der Gewichte im Backward-Pass, so dass der resultierende Gesamtfehler möglichst klein ausfällt Gradientenabstiegsverfahren = Ableitung der Aktivitätsfunktion an der Stelle des Netzinputs der empfangenden Einheit i L = Nachfolgeschicht nach der empfangenden Schicht (i) l = Nachfolgende Einheit, die sich nach der empfangenden Einheit i befindet Δwij = ε · δi · aj falls i=Output-Unit = falls i=Hidden-Unit Lernregeln

9 Backpropagation Lernregeln Probleme des Gradientenabstiegsverfahrens:
Neuronale Netze Backpropagation Probleme des Gradientenabstiegsverfahrens: Lokale Minima Flache Plateaus Oszillation (direkt oder indirekt) Verlassen guter Minima Lernregeln

10 Competitive Learning Lernregeln Neuronale Netze unsupervised learning
3 Phasen: 1. Erregung 2. Wettbewerb 3. Adjustierung der Gewichte Lernregeln

11 Beurteilung der Regeln
Neuronale Netze Beurteilung der Regeln Qualität Komplexität Verständlichkeit Anwendbarkeit Lernregeln

12 Netztypen Pattern Associator Rekurrente Netze Kompetitive Netze
Neuronale Netze Netztypen Pattern Associator Rekurrente Netze Kompetitive Netze Kohonennetze

13 Pattern Associator Eigenschaften: Netztypen Neuronale Netze
Generalisierung Toleranz gegenüber internen Schäden Toleranz gegenüber externen Schäden Output der zentralen Tendenz bzw. des Prototypen der Kategorie Netztypen

14 Rekurrente Netze Unterteilung: Netztypen Neuronale Netze
Direkte Rückkopplungen Indirekte Rückkopplungen Seitliche Rückkopplungen Vollständige Rückkopplungen Netztypen

15 Rekurrente Netze Simple Recurrent Networks Netztypen Neuronale Netze
Kontext-Units Hidden-Units Netztypen

16 Rekurrente Netze Anwendungen: Netztypen Neuronale Netze
Prognosen über die Zukunft treffen Simulation von menschlichen Verhaltenssequenzen Attraktornetze Netztypen

17 Kompetitive Netze Netztypen Neuronale Netze Keine Hidden-Units
Trainingsphase in 3 Schritten 1. Erregung 2. Wettbewerb 3. Adjustierung der Gewichte unsupervised Learning Begrenzung der Gewichtssektoren Netztypen

18 Kompetitive Netze Anwendungen: Netztypen Neuronale Netze
Filtern von Redundanzen und Alternative zur Faktorenanalyse vorgeschaltetes Netz für andere Netztypen Musterklassifikation Netztypen

19 Kohonennetze Netztypen Neuronale Netze Erweiterung Kompetitiver Netze
unsupervised Learning Keine Hidden-Units Häufig Output-Schicht 2-dimensional aufgebaut Netztypen

20 Kohonennetze Berechnung: Netztypen Neuronale Netze
1. Startwerte festlegen 2. Auswahl eines Inputvektors 3. Aktivitätsberechnung und Auswahl 4. Gewichtsmodifikation 5. Abbruch Netztypen

21 Kohonennetze Anwendungen: Netztypen Neuronale Netze
Approximation von Funktionen Inverse Kinematik kürzesten Weg zwischen 2 Punkten finden n-dimensionale Figuren transformieren Problem des Handlungsreisenden Spracherkennung, Unterschriftenerkennung, Gesichtererkennung Netztypen

22 Literatur Netztypen Neuronale Netze
Detlef Nauck, Frank Klawonn und Rudolf Kruse (1994), Neuronale Netze und Fuzzy-Systeme, F. Vieweg & Sohn Verlagsgesellschaft Braunschweig/Wiesbaden; Klaus Mainzer (1997), Gehirn, Computer, Komplexität, Springer-Verlag Berlin/Heidelberg; Netztypen