Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Aufbau, Training, Test und Visualisierung des Backpropagation-Algorithmus auf der Stuttgarter Simulationsplattform SNNS v4.1 Martin Hardes, Ulrich Lehmann.

Ähnliche Präsentationen


Präsentation zum Thema: "Aufbau, Training, Test und Visualisierung des Backpropagation-Algorithmus auf der Stuttgarter Simulationsplattform SNNS v4.1 Martin Hardes, Ulrich Lehmann."—  Präsentation transkript:

1 Aufbau, Training, Test und Visualisierung des Backpropagation-Algorithmus auf der Stuttgarter Simulationsplattform SNNS v4.1 Martin Hardes, Ulrich Lehmann 1. Beispiel:2-Bit Decoder mit Analogausgang Forschungsverbund Neuronale Fuzzy-Logik Künstlich Neuronale Netze

2 Validierungsdaten: Werden nicht für das Training, sondern für die Validierung des KNN während des Trainings nach jeder Epoche verwendet, um das Verhalten und den Fehler des KNN für unbekannte Datensätze während des Trainings zu validieren. 2-Bit Decoder 0 0,25 0,50 0, Z0Z0 Z1Z1 Input Output Z0Z0 Z1Z1 n ,25 100,50 110,75 Trainingsdaten Testdaten Testdaten: Werden nicht für das Training, sondern für den späteren Test des trainierten KNN verwendet, um das Verhalten und den Fehler des KNN für unbekannte Datensätze zu testen. Technologieschema

3 Trainings-, Valid- und Testdaten werden in PATTERN- Dateien abgelegt Decoder_train.pat SNNS pattern definition file V3.2 generated at Thu Jun 08 18:53: No. of patterns : 3 No. of input units : 2 No. of output units : 1 # Input 1: 0 # target 1: 0 # Input 2: 0 1 # target 2: 0.25 # Input 3: 1 # target 3: 0.75 Trainingsdaten

4 Trainings-, Validierungs- und Testdaten werden in PATTERN- Dateien abgelegt Decoder_valid.pat SNNS pattern definition file V3.2 generated at Thu Jun 08 18:53: No. of patterns : 1 No. of input units : 2 No. of output units : 1 # Input 1: 1 0 # target 1: 0.5 Validierungsdaten

5 Trainings-, Valid- und Testdaten werden in PATTERN- Dateien abgelegt Decoder_test.pat SNNS pattern definition file V3.2 generated at Thu Jun 08 19:50: No. of patterns : 1 No. of input units : 2 # Input 1: 1 0 Testdaten

6 Bignet Erstellen eines Feedforward Netzes für das Decoder Beispiel

7 Decoder.net Darstellung der Netzstrukturen mit DISPLAY Display Aktivierung des Neurons siehe nächste Folie

8 Aufbau des Neurons mit Aktivierungs- bzw. Ausgangsfunktion a = f (net) = net3 Neuron 3 w 13 w 23 x 1 = a 1 = o 1 x 2 = a 2 = o 2 a = f (net3 +Bias) 3 bias 3 y 3 = a 3 Aktivierung:0,144 -4,952 Aktivierung:0,144 -4, Aktivierung:0,502 Bias:1,437 Ausgabewerte Neuronen 1 und 2 (linear): oi = ai = 0,144 Netzeingabe: net3 = (w13 * o1) + (w23 * o2) net3 = (-4,952*0,144)+(-4,952*0,144) = -1,426 Aktivierungsfunktion (sigmoid): aj = 1/(1+e-(netj + bias)) a3= 1/(1+e-(-1, ,437)) = 0,502 net j (t) = ( w ij · o i ) a j(t) = (1+e - ( net j (t) + ) ) -1 mit bias

9 Aktivierung:0,144 -4,952 Aktivierung:0,144 -4, Aktivierung:0,502 Bias:1,437 Ausgabefunktion (linear) : oi = ai = 0,144 Netzeingabe: net3 = (w13 * o1) + (w23 * o2) net3 = (-4,952*0,144)+(-4,952*0,144) = -1,426 Aktivierungsfunktion (sigmoid) : aj = 1/(1+e-(netj + bias)) a3= 1/(1+e-(-1, ,437)) = 0,502 Darstellung der Aktivierungs- bzw. Ausgangsfunktion 3 bias 3 net 3 (t) = ( w ij · o i )

10 SNNS network definition file V1.4-3D generated at Thu Aug 12 16:15: network name : dec_testd_x source files : no. of units : 5 no. of connections : 6 no. of unit types : 0 no. of site types : 0 learning function : Rprop update function : Topological_Order unit default section : act | bias | st | subnet | layer | act func | out func | |----| | | | | | h | 0| 1 | Act_Logistic | Out_Identity | |----| | | | unit definition section : no. | typeName | unitName | act | bias | st | position | act func | out func | ----| | | | |----| | | |- 1 | | in1 | | | i | 2,2,-4349 | | | 2 | | in2 | | | i | 2,3,-4349 | | | 3 | | h1 | | | h | 5,2,-4349 | | | 4 | | h2 | | | h | 5,3,-4349 | | | 5 | | out | | | o | 8,2,-4349 | | | ----| | | | |----| | | |- connection definition section : target | site | source:weight |------| | | 1: , 2: | | 1: , 2: | | 3: , 4: |------| Decoder.net NET-Dateien in Textformat

11 decoder.net und dec_XXX.pat laden Vorbereitung des Lernvorgangs des Decodernetzes

12 Control-Panel und Graph- Panel öffnen und Lernparameter im Control- Panel einstellen Durchführung des Lernvorgangs des Decodernetzes

13 Δw ij (t) Δw ij (t-1) t+1 t t-1 Im Beispiel links: S (t-1) S (t) > 0 S (t) > 0 E w ij ij (t-1) + falls S (t-1) S (t) > 0 ij (t-1) - falls S (t-1) S (t) < 0 ij (t-1) sonst Δ ij (t) - ij (t) falls S (t-1) S (t) > 0 S (t) > 0 ij (t) falls S (t-1) S (t) > 0 S (t) < 0 - w ij (t-1) falls S (t-1) S (t) < 0 -sgn (S (t) ) ij (t) sonst Δw ij (t) Bestimmung des Betrags der Gewichtsveränderung Bestimmung Gewichtsveränderung η + = 1,2 und η - =0,5 (bei SNNS voreingestellt) w ij (t+1) = w ij (t) + Δw ij (t) Modifiziertes BPG-Lernverfahren Resilient Propagation

14 Lernkurve im Graph Bias und Gewichte Aktivierung und Gewichte 0 Epochen10 Epochen 20 Epochen 50 Epochen 100 Epochen225 Epochen Lernkurve, Gewichtsveränderung und Bias- im Decodernetz während des Lernvorgangs

15 Ausgangssituation: Abschluß des Lernvorgangs nach 225 Epochen Eingangsfunktion (linear): net j (t) = ( w ij · o i ) Aktivierungsfunktion (sigmoid): a j(t) = (1+e - ( net j (t) + ) ) -1 mit bias Berechnung der Aktivierung im Neuron 3: net 3 = (1.000 · ) + (0.000 · ) = a 3 = (1 + e -( ) ) -1 = Berechnung der Aktivierung im Neuron 5 net 5 = (0.144 · ) + (0.144 · ) = a 5 = (1 + e -( ) ) -1 = , Bias:0,000Bias:0,486 Aktivierung:0,144 -4,952 Aktivierung:0,144 -4,952 Bias:0,486 Aktivierung:0,000 -1,552 Aktivierung:1,000 -2, Aktivierung:0, Bias:0,000 Bias:1,437 Beispiel zur Berechnung der Aktivierung mittels Aktivierungs- und Ausgangsfunktion

16 Gewichtsverteilung im Decodernetz mit Ausgabe des Ausgangswertes bei Verwendung der Testdaten Gewichtsverteilung im KNN nach dem Lernvorgang

17 Z0Z0 Z1Z1 Soll- Ausgangswert Ausgangswert nach [TEST] 000,0000, , ,5000, ,7500,749 Testdaten Tabelle mit vom KNN berechneten Ausgangswerten des Decoders Trainingsdaten Validierungsdaten Darstellung der Ergebnisse nach dem Lernvorgang

18 +keine mathematischen Prozessmodelle erforderlich (besonders vorteilhaft, bei nichtlinearen oder unbekannten Zusammenhängen) +Fähigkeit zur Generalisierung +beispielbasiertes Lernen (wie bei den Kindern!!!) +Selbstorganisation und Adaptionsfähigkeit +massive Parallelität (pro Neuron ein Prozessor möglich) +Echtzeitfähigkeit (in der Produktionsphase) +Fehlertoleranz (ein bis zu 60% zerstörtes Netz bleibt funktionsfähig) -Ergebnisse nicht nachvollziehbar -je nach Problemstellung viele Lernmuster erforderlich ( 0,5 n m mit n- Eingängen und m-Datenmuster pro Eingang sowie 50% der Muster als Trainingsdaten) -bei komplexen Aufgaben hohe Trainingszeiten (bis zu einigen Stunden auf High Performance PC) -schlechte, nicht gesicherte Konvergenz des Trainingsergebnisses -Abhängigkeit des Lernergebnisses von der Qualität der Merkmalextraktion -Vielfalt von Modellen und KNN-Typen Vor (+)- und Nachteile (-) von KNN

19 SNNS wurde für Unix Workstations geschrieben und ist auf Windows Rechnern nur mit X-Windows (X-Server) lauffähig (X-Windows ist kostenlos nur als Testversion mit max. Laufzeit 2 h verfügbar).- Grafische Oberfläche von SNNS unter Windows schwer zu bedienen (ein Button muss mit der Maus genau fokussiert werden).- Mit SNNS sind umfangreiche Netztopologien und Parametrierungen der Netze möglich.+ Unkomplizierter Einstieg mit Durchführungsbeispiel im Bedienerhandbuch.+ Umfangreiche Beispieldatenbank mit vielen untrainierten und trainierten Netzen verschiedenster Struktur.+ Bewertung der Simulationsumgebung SNNS 4.1

20 Literaturverzeichnis und Quellen Lehmann, Herold, Leupold: Digitale Regelungen / Prozessrechner. Vorlesungsskript, MFH Iserlohn 1991 Zell, A.: Simulation Neuronaler Netze, Addison-Wesley Verlag 1996 Zell, A. et. al.: SNNS-Manual (PDF). At2-Server des CAS.Lab (Computer Architecture & Systems) der FH SW Campus Iserlohn Lehmann, U.; Bongards, M.; Johannes, H.: Fortschritt-Bericht VDI: Neuronale Fuzzy-Logik. VDI Verlag GmbH Düsseldorf 2000 Ulrich Lehmann: Neuro-Fuzzy-Systeme, Vorlesung an der FH Südwestfalen Campus Iserlohn, Iserlohn 2000


Herunterladen ppt "Aufbau, Training, Test und Visualisierung des Backpropagation-Algorithmus auf der Stuttgarter Simulationsplattform SNNS v4.1 Martin Hardes, Ulrich Lehmann."

Ähnliche Präsentationen


Google-Anzeigen