Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Künstlich Neuronale Netze Aufbau, Training und Visualisierung auf der Stuttgarter Simulationsplattform SNNS v4.1 2. Anhand zweier Beispiele:- 2-Bit Decoder.

Ähnliche Präsentationen


Präsentation zum Thema: "Künstlich Neuronale Netze Aufbau, Training und Visualisierung auf der Stuttgarter Simulationsplattform SNNS v4.1 2. Anhand zweier Beispiele:- 2-Bit Decoder."—  Präsentation transkript:

1 Künstlich Neuronale Netze Aufbau, Training und Visualisierung auf der Stuttgarter Simulationsplattform SNNS v Anhand zweier Beispiele:- 2-Bit Decoder - Kennlinie Forschungsverbund Neuronale Fuzzy-Logik Martin Hardes

2 2-Bit Decoder Kennlinie Z0Z0 Z1Z1 Input Output Z0Z0 Z1Z1 n ,25 100,50 110,75 Trainingsdaten Testdaten

3 Trainings-, Valid- und Testdaten werden in PATTERN- Dateien abgelegt Decoder_train.pat Kennline_train.pat SNNS pattern definition file V3.2 generated at Thu Jun 08 18:53: No. of patterns : 3 No. of input units : 2 No. of output units : 1 # Input 1: 0 # target 1: 0 # Input 2: 0 1 # target 2: 0.25 # Input 3: 1 # target 3: 0.75 SNNS pattern definition file V3.2 generated at Thu Jun 08 18:53: No. of patterns : 9 No. of input units : 1 No. of output units : 1 # Input 1: # target 1: # Input 2: # target 2: # Input 3: # target 3: # Input 4: # target 4: # Input 5: # target 5: # Input 6: # target 6: # Input 7: # target 7: # Input 8: # target 8: # Input 9: # target 9:

4 Trainings-, Valid- und Testdaten werden in PATTERN- Dateien abgelegt Decoder_valid.pat Kennline_valid.pat SNNS pattern definition file V3.2 generated at Thu Jun 08 18:53: No. of patterns : 1 No. of input units : 2 No. of output units : 1 # Input 1: 1 0 # target 1: 0.5 SNNS pattern definition file V3.2 generated at Thu Jun 08 18:53: No. of patterns : 1 No. of input units : 1 No. of output units : 1 # Input 1: # target 1:

5 Trainings-, Valid- und Testdaten werden in PATTERN- Dateien abgelegt Decoder_test.pat Kennline_test.pat SNNS pattern definition file V3.2 generated at Thu Jun 08 18:53: No. of patterns : 1 No. of input units : 1 # Input 1: SNNS pattern definition file V3.2 generated at Thu Jun 08 19:50: No. of patterns : 1 No. of input units : 2 # Input 1: 1 0

6 Bignet Erstellen eines Feedforward Netzes für das Decoder Beispiel

7 Decoder.net Kennlinie.net Darstellung der Netzstrukturen mit DISPLAY

8 Darstellung der Aktivierungsfunktion Aktivierung:0,144 -4,952 Aktivierung:0,144 -4, Aktivierung:0,502 Bias:1,437 Ausgabefunktion (linear) : oi = ai = 0,144 Netzeingabe: net3 = (w13 * o1) + (w23 * o2) net3 = (-4,952*0,144)+(-4,952*0,144) = -1,426 Aktivierungsfunktion (sigmoid) : aj = 1/(1+e-(netj + bias)) a3= 1/(1+e-(-1, ,437)) = 0,502

9 Darstellung der NET-Dateien in Textformat SNNS network definition file V1.4-3D generated at Thu Aug 12 16:15: network name : dec_testd_x source files : no. of units : 5 no. of connections : 6 no. of unit types : 0 no. of site types : 0 learning function : Rprop update function : Topological_Order unit default section : act | bias | st | subnet | layer | act func | out func | |----| | | | | | h | 0| 1 | Act_Logistic | Out_Identity | |----| | | | unit definition section : no. | typeName | unitName | act | bias | st | position | act func | out func | ----| | | | |----| | | |- 1 | | in1 | | | i | 2,2,-4349 | | | 2 | | in2 | | | i | 2,3,-4349 | | | 3 | | h1 | | | h | 5,2,-4349 | | | 4 | | h2 | | | h | 5,3,-4349 | | | 5 | | out | | | o | 8,2,-4349 | | | ----| | | | |----| | | |- connection definition section : target | site | source:weight |------| | | 1: , 2: | | 1: , 2: | | 3: , 4: |------| Decoder.net

10 Darstellung der NET-Dateien in Textformat SNNS network definition file V1.4-3D generated at Thu Aug 12 17:33: network name : kennline source files : no. of units : 8 no. of connections : 14 no. of unit types : 0 no. of site types : 0 learning function : Rprop update function : Topological_Order unit default section : act | bias | st | subnet | layer | act func | out func | |----| | | | | | h | 0 | 1 | Act_Logistic | Out_Identity | |----| | | | unit definition section : no. | typeName | unitName | act | bias | st | position | act func | out func | ----| | | | |----| | | |-- 1 | | in | | | i | 2, 2, 0 | | | 2 | | h11 | | | h | 5, 2, 0 | | | 3 | | h12 | | | h | 5, 3, 0 | | | 4 | | h13 | | | h | 5, 4, 0 | | | 5 | | h14 | | | h | 5, 5, 0 | | | 6 | | h21 | | | h | 8, 2, 0 | | | 7 | | h21 | | | h | 8, 3, 0 | | | 8 | | out | | | o | 11, 2, 0 | | | ----| | | | |----| | | |-- connection definition section : target | site | source:weight |------| | | 1: | | 1: | | 1: | | 1: | | 2: , 3: , 4: , 5: | | 2: , 3: , 4: , 5: | | 6: , 7: |------| Kennline.net

11 Durchführung des Lernvorgangs des Decodernetzes decoder.net und dec_XXXX.pat laden

12 Durchführung des Lernvorgangs des Decodernetzes Control-Panel und Graph- Panel öffnen und Lernparameter im Control- Panel einstellen

13 Δw ij (t) Δw ij (t-1) t+1 t t-1 Im Beispiel links: S (t-1) S (t) > 0 S (t) > 0 E w ij ij (t-1) + falls S (t-1) S (t) > 0 ij (t-1) - falls S (t-1) S (t) < 0 ij (t-1) sonst Δ ij (t) - ij (t) falls S (t-1) S (t) > 0 S (t) > 0 ij (t) falls S (t-1) S (t) > 0 S (t) < 0 - w ij (t-1) falls S (t-1) S (t) < 0 -sgn (S (t) ) ij (t) sonst Δw ij (t) Beschreibung des Lernverfahrens Resilient Propagation Bestimmung des Betrags der Gewichtsveränderung Bestimmung Gewichtsveränderung η + = 1,2 und η - =0,5 (bei SNNS voreingestellt) w ij (t+1) = w ij (t) + Δw ij (t)

14 Darstellung der Gewichtsveränderung im Decodernetz während des Lernvorgangs Lernkurve im Graph Bias und Gewichte Aktivierung und Gewichte 0 Epochen10 Epochen 20 Epochen 50 Epochen 100 Epochen225 Epochen

15 Beispiel zur Berechnung der Aktivierung mittels Aktivierungs- und Ausgangsfunktion Ausgangssituation: Abschluß des Lernvorgangs nach 225 Epochen Ausgangsfunktion (linear):net j (t) = ( w ij · o i ) Aktivierungsfunktion (sigmoid):a j(t) = (1+e - ( net j (t) + ) ) -1 mit bias Berechnung der Aktivierung im Neuron 3: net 3 = (1.000 · ) + (0.000 · ) = a 3 = (1 + e -( ) ) -1 = Berechnung der Aktivierung im Neuron 5 net 5 = (0.144 · ) + (0.144 · ) = a 5 = (1 + e -( ) ) -1 = , Bias:0,000Bias:0,486 Aktivierung:0,144 -4,952 Aktivierung:0,144 -4,952 Bias:0,486 Aktivierung:0,000 -1,552 Aktivierung:1,000 -2, Aktivierung:0, Bias:0,000 Bias:1,437

16 Darstellung der Ergebnisse nach dem Lernvorgang Gewichtsverteilung im Decodernetz mit Ausgabe des Ausgangswertes bei Verwendung der Testdaten Gewichtsverteilung im Kennliniennetz mit Ausgabe des Ausgangswertes bei Verwendung der Testdaten

17 Darstellung der Ergebnisse nach dem Lernvorgang Z1Z1 Z2Z2 Soll- Ausgangswert Ausgangswert nach [TEST] 000,0000, , ,5000, ,7500,749 Testdaten Kennlinie mit vom KNN berechneten Y-Werten Tabelle mit vom KNN berechneten Ausgangswerten des Decoders Sollwerte Gelernte Werte

18 Bewertung des Projektes SNNS wurde für Unix Workstations geschrieben und ist auf Windows Rechnern nur mit X-Windows lauffähig (X-Windows ist kostenlos nur als Testversion mit max. Laufzeit 2 h verfügbar)- Grafische Oberfläche von SNNS unter Windows schwer zu bedienen (ein Button muss mit der Maus genau fokussiert werden).- Mit SNNS sind umfangreiche Netztopologien und Parametrierungen der Netze möglich.+ Unkomplizierter Einstieg mit Durchführungsbeispiel im Bedienerhandbuch+ Umfangreiche Beispieldatenbank mit vielen untrainierten und trainierten Netzen verschiedenster Struktur+


Herunterladen ppt "Künstlich Neuronale Netze Aufbau, Training und Visualisierung auf der Stuttgarter Simulationsplattform SNNS v4.1 2. Anhand zweier Beispiele:- 2-Bit Decoder."

Ähnliche Präsentationen


Google-Anzeigen