Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert.

Ähnliche Präsentationen


Präsentation zum Thema: "Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert."—  Präsentation transkript:

1 Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert … Schwellenwerte von Neuronen ändert … eine oder mehrere der Neuronenfunktionen abwandelt … neue Neuronen entwickelt … vorhandene Neuronen löscht Lernverfahren / Lernregeln

2 Neuronale Netze Lernverfahren / Lernregeln 1. Trainingsphase: Lernen anhand des Lernmaterials supervised learning: Optimierung der Gewichte anhand eines vorgegebenen Outputs unsupervised learning: Gewichtsveränderung in Abhängigkeit der Ähnlichkeit der Gewichte mit den Inputreizen 2. Testphase: Präsentation von Reizen und Überprüfung des berechneten Outputs Trainings- und Testphase

3 Lernregeln Hebb-Regel Delta-Regel Backpropagation Competetive Learning Neuronale Netze

4 Hebb-Regel Neuronale Netze "Wenn ein Axon der Zelle A... Zelle B erregt und wiederholt und dauerhaft zur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert dies in Wachstumsprozessen oder metabolischen Veränderungen in einer oder in beiden Zellen, die bewirken, dass die Effizienz von Zelle A in bezug auf die Erzeugung eines Aktionspotentials in B größer wird." (Hebb, 1949) Das Gewicht zwischen zwei Einheiten wird dann verändert, wenn beide Units gleichzeitig aktiv sind. Die Größe der Gewichtsveränderung bemisst sich aufgrund dreier Werte: dem Aktivitätslevel (bzw. Output) der sendenden Unit a j dem Aktivitätslevel (bzw. Output) der empfangenden Unit a i einem vorher festgelegten, positiven Lernparameter ε Formel: Δw ij =ε·a i ·a j Neuronale Netze Lernregeln

5 Delta-Regel δ = a i (gewünscht) - a i (beobachtet) Grundlage: Vergleich zwischen gewünschtem und dem tatsächlich beobachteten Output einer Output-Unit i Als Formel: Neuronale Netze Lernregeln

6 Δw ij = ε · δ i · a j Gewichtsver- änderung zwischen den Einheiten i und j Konstanter Term: gibt die Stärke der Gewichts- veränderung pro Lerndurchgang an δ = a i (gewünscht) - a i (beobachtet) Größe der Gewichtsveränderung proportional zur Größe des Fehlers 3 Möglichkeiten: beobachtete Aktivität zu niedrig beobachtete Aktivität zu groß beobachtete und gewünschte Aktivität gleich groß diejenigen Gewichte zu den sendenden Units werden stärker verändert, die einen größeren Einfluss auf den Fehlerterm ausüben Neuronale Netze Lernregeln

7 Backpropagation supervised learning Hidden-Units Training durchläuft alternierend 3 Phasen: 1. Forward-Pass 2. Fehlerbestimmung 3. Backward-Pass Neuronale Netze Lernregeln

8 Backpropagation Gewichtsanpassung: Ziel: Anpassung der Gewichte im Backward-Pass, so dass der resultierende Gesamtfehler möglichst klein ausfällt Gradientenabstiegsverfahren Neuronale Netze Lernregeln falls i=Output-Unit falls i=Hidden-Unit = Δw ij = ε · δ i · a j = Ableitung der Aktivitätsfunktion an der Stelle des Netzinputs der empfangenden Einheit i L = Nachfolgeschicht nach der empfangenden Schicht (i) l = Nachfolgende Einheit, die sich nach der empfangenden Einheit i befindet

9 Probleme des Gradientenabstiegsverfahrens: Lokale Minima Flache Plateaus Oszillation (direkt oder indirekt) Verlassen guter Minima Neuronale Netze Backpropagation Lernregeln

10 Competitive Learning 1. Erregung 2. Wettbewerb 3. Adjustierung der Gewichte Neuronale Netze Lernregeln unsupervised learning 3 Phasen:

11 Beurteilung der Regeln Neuronale Netze Lernregeln Qualität Komplexität Verständlichkeit Anwendbarkeit

12 Neuronale Netze Netztypen Pattern Associator Rekurrente Netze Kompetitive Netze Kohonennetze

13 Pattern Associator Eigenschaften: Generalisierung Toleranz gegenüber internen Schäden Toleranz gegenüber externen Schäden Output der zentralen Tendenz bzw. des Prototypen der Kategorie Netztypen Neuronale Netze

14 Rekurrente Netze Unterteilung: Direkte Rückkopplungen Indirekte Rückkopplungen Seitliche Rückkopplungen Vollständige Rückkopplungen Neuronale Netze Netztypen

15 Rekurrente Netze Simple Recurrent Networks Simple Recurrent Networks Kontext-Units Hidden-Units Neuronale Netze Netztypen

16 Rekurrente Netze Anwendungen: Prognosen über die Zukunft treffen Simulation von menschlichen Verhaltenssequenzen Attraktornetze Neuronale Netze Netztypen

17 Kompetitive Netze Keine Hidden-Units Trainingsphase in 3 Schritten 1. Erregung 2. Wettbewerb 3. Adjustierung der Gewichte unsupervised Learning Begrenzung der Gewichtssektoren Neuronale Netze Netztypen

18 Kompetitive Netze Anwendungen: Filtern von Redundanzen und Alternative zur Faktorenanalyse vorgeschaltetes Netz für andere Netztypen Musterklassifikation Neuronale Netze Netztypen

19 Kohonennetze Erweiterung Kompetitiver Netze unsupervised Learning Keine Hidden-Units Häufig Output-Schicht 2-dimensional aufgebaut Neuronale Netze Netztypen

20 Kohonennetze Berechnung: 1. Startwerte festlegen 2. Auswahl eines Inputvektors 3. Aktivitätsberechnung und Auswahl 4. Gewichtsmodifikation 5. Abbruch Neuronale Netze Netztypen

21 Kohonennetze Anwendungen : Approximation von Funktionen Inverse Kinematik kürzesten Weg zwischen 2 Punkten finden n-dimensionale Figuren transformieren Problem des Handlungsreisenden Spracherkennung, Unterschriftenerkennung, Gesichtererkennung Neuronale Netze Netztypen

22 Literatur Detlef Nauck, Frank Klawonn und Rudolf Kruse (1994), Neuronale Netze und Fuzzy-Systeme, F. Vieweg & Sohn Verlagsgesellschaft Braunschweig/Wiesbaden; Klaus Mainzer (1997), Gehirn, Computer, Komplexität, Springer-Verlag Berlin/Heidelberg; Neuronale Netze Netztypen


Herunterladen ppt "Ein Neuronales Netz könnte lernen indem es … Neuronale Netze … neue Verbindungen entwickelt … vorhandene Verbindungen löscht … Verbindungsgewichte verändert."

Ähnliche Präsentationen


Google-Anzeigen