Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Universität Stuttgart, VIS, Abteilung Intelligente Systeme Neuronale Netze Nachtrag Perzeptron SS 2009 Gunther Heidemann.

Ähnliche Präsentationen


Präsentation zum Thema: "Universität Stuttgart, VIS, Abteilung Intelligente Systeme Neuronale Netze Nachtrag Perzeptron SS 2009 Gunther Heidemann."—  Präsentation transkript:

1 Universität Stuttgart, VIS, Abteilung Intelligente Systeme Neuronale Netze Nachtrag Perzeptron SS 2009 Gunther Heidemann

2 Universität Stuttgart, VIS, Abteilung Intelligente Systeme Perzeptron Eine Menge von Mustern {x }, = 1, 2, …, soll von M Diskriminanten y i (x ) = j=1…,L w ij j (x ),i = 1 … M, klassifiziert werden, die jedem x eine Klasse {1…M} zuordnen gemäß (x ) = arg max i y i (x ). NN Perzeptron 2

3 Universität Stuttgart, VIS, Abteilung Intelligente Systeme Perzeptron-Lernregel 1.Wähle ein Beispiel x und berechne y i (x ) = j=1…,L w ij (x ). 2.Ist y (x ) > y i (x ) i ? Ja: Korrekte Antwort, goto 1. Nein: Es gibt ein m mit y m (x ) > y i (x ) ) i m. Lernschritt: w mj = j (x ), w j = j (x ). 3.Goto 1. NN Perzeptron 3

4 Universität Stuttgart, VIS, Abteilung Intelligente Systeme Perzeptron-Konvergenzsatz Es existiere ein > 0 und ein Satz von Gewichten {w* ij }, i = 1…M, j = 1…L, so dass für alle Trainings-Paare (x, (x )), = 1, 2, …, gilt y* (x ) y* j (x ) + j (x ). Dann konvergiert die Perzeptron-Lernregel in endlich vielen Schritten zu Gewichten w mj, für die kein Klassifikationsfehler mehr auftritt. NN Perzeptron 4

5 Universität Stuttgart, VIS, Abteilung Intelligente Systeme Beweis der Perzeptron-Konvergenz Betrachte Q= A / ( B B*) 1/2 = ( ij w ij w* ij ) / ( ( ij w ij 2 ) 1/2 ( ij w* ij 2 ) 1/2 ) 1, mit A = ij w ij w* ij B = ( ij w ij 2 ) B* = ( ij w* ij 2 ) Beweisidee: Zeige, dass Q für jeden Lernschritt um mindestens eine feste GrößeQ wächst. NN Perzeptron 5

6 Universität Stuttgart, VIS, Abteilung Intelligente Systeme Beweis der Perzeptron-Konvergenz Betrachte A unter einem Lernschritt: A= ij w* ij w ij = j w* mj w mj + w* j w j (m = fälschlicher Gewinner) = j w* mj ( j (x )) + j w* j j (x ) B= ij ( (w ij + w ij ) 2 w ij 2 ) = ij 2w ij w ij + w ij 2 = 2 j ( w j j (x ) w mj j (x ) ) + 2 j j 2 (x ) = 2 j ( y (x ) y m (x ) ) + 2 j j 2 (x ) < 2 j j 2 (x ) < denn y (x ) y m (x ) < 0 wegen der Fehlerbedingung. NN Perzeptron 6

7 Universität Stuttgart, VIS, Abteilung Intelligente Systeme Beweis der Perzeptron-Konvergenz Nach n Lernschritten: A(n) = A(0) + n B(n) = B(0) + n Q > ( A(0) + n ) / ( (B(0) + n ) B* ) 1/2 1 Da der Zähler linear in n, der Nenner weniger als linear in n wächst, wird Q immer größer und muss nach endlich vielen Schritten 1 erreichen. Abschätzung der erforderlichen Anzahl von Lernschritten: Einfachster Fall: w ij (0) = 0, A(0) = 0, B(0) = 0. Q > ( n 1/2 ) / ( 1/2 B* ) 1 n B* 2 / 2 2 max x j j 2 (x ) B* 2 / 2 NN Perzeptron 7


Herunterladen ppt "Universität Stuttgart, VIS, Abteilung Intelligente Systeme Neuronale Netze Nachtrag Perzeptron SS 2009 Gunther Heidemann."

Ähnliche Präsentationen


Google-Anzeigen