Neuronale Netze Nachtrag Perzeptron

Präsentation zum Thema: "Neuronale Netze Nachtrag Perzeptron"—  Präsentation transkript:

1 Neuronale Netze Nachtrag Perzeptron
SS 2009 Gunther Heidemann

2 Perzeptron Eine Menge von Mustern {x},  = 1, 2, …, soll von M Diskriminanten yi(x) = ∑j=1…,L wij ∙ j(x), i = 1 … M, klassifiziert werden, die jedem x eine Klasse   {1…M} zuordnen gemäß (x) = arg maxi yi(x). NN Perzeptron

3 Perzeptron-Lernregel
Wähle ein Beispiel x und berechne yi(x) = ∑j=1…,L wij ∙ (x). Ist y(x) > yi(x)  i ≠  ? Ja: Korrekte Antwort, goto 1. Nein: Es gibt ein m ≠  mit ym(x) > yi(x) )  i ≠ m. Lernschritt: ∆wmj = − j(x), ∆wj = j(x). Goto 1. NN Perzeptron

4 Perzeptron-Konvergenzsatz
Es existiere ein  > 0 und ein Satz von Gewichten {w*ij}, i = 1…M, j = 1…L, so dass für alle Trainings-Paare (x,(x)),  = 1, 2, … , gilt y*(x) ≥ y*j(x) +   j ≠ (x). Dann konvergiert die Perzeptron-Lernregel in endlich vielen Schritten zu Gewichten wmj, für die kein Klassifikationsfehler mehr auftritt. NN Perzeptron

5 Beweis der Perzeptron-Konvergenz
Betrachte Q = A / (B ∙ B*)1/2 = (∑ij wij ∙ w*ij ) / ((∑ij wij2 )1/2 ∙ (∑ij w*ij2 )1/2 ) ≤ 1, mit A = ∑ij wij ∙ w*ij B = (∑ij wij2 ) B* = (∑ij w*ij2 ) Beweisidee: Zeige, dass Q für jeden Lernschritt um mindestens eine feste Größe ∆Q wächst. NN Perzeptron

6 Beweis der Perzeptron-Konvergenz
Betrachte A unter einem Lernschritt: ∆A = ∑ij w*ij ∙ ∆wij = ∑j w*mj ∙ ∆wmj + w*j ∙ ∆wj (m = fälschlicher Gewinner) = ∑j w*mj ∙ (−j(x)) + ∑j w*j ∙ j(x) ≥  ∆B = ∑ij ((wij + ∆wij)2 − wij2) = ∑ij 2wij ∙ ∆wij + ∆wij2 = 2 ∑j (wj ∙ j(x) − wmj ∙ j(x)) ∑j j2(x) = 2 ∑j (y(x) − ym(x)) ∑j j2(x) < 2 ∑j j2(x) <  denn y(x) − ym(x) < 0 wegen der Fehlerbedingung. NN Perzeptron

7 Beweis der Perzeptron-Konvergenz
Nach n Lernschritten: A(n) = A(0) + n ∙  B(n) = B(0) + n ∙  Q > (A(0) + n ∙ ) / ((B(0) + n ∙ ) ∙ B*)1/2 ≤ 1 Da der Zähler linear in n, der Nenner weniger als linear in n wächst, wird Q immer größer und muss nach endlich vielen Schritten 1 erreichen. Abschätzung der erforderlichen Anzahl von Lernschritten: Einfachster Fall: wij (0) = 0, A(0) = 0, B(0) = 0. Q > (n1/2 ∙ ) / (1/2 ∙ B*) ≤ 1 n ≤  ∙ B*2 / 2 ≤ 2 ∙ maxx ∑j j2(x) ∙ B*2 / 2 NN Perzeptron