Neuronale Netze Nachtrag Perzeptron SS 2009 Gunther Heidemann
Perzeptron Eine Menge von Mustern {x}, = 1, 2, …, soll von M Diskriminanten yi(x) = ∑j=1…,L wij ∙ j(x), i = 1 … M, klassifiziert werden, die jedem x eine Klasse {1…M} zuordnen gemäß (x) = arg maxi yi(x). NN Perzeptron
Perzeptron-Lernregel Wähle ein Beispiel x und berechne yi(x) = ∑j=1…,L wij ∙ (x). Ist y(x) > yi(x) i ≠ ? Ja: Korrekte Antwort, goto 1. Nein: Es gibt ein m ≠ mit ym(x) > yi(x) ) i ≠ m. Lernschritt: ∆wmj = − j(x), ∆wj = j(x). Goto 1. NN Perzeptron
Perzeptron-Konvergenzsatz Es existiere ein > 0 und ein Satz von Gewichten {w*ij}, i = 1…M, j = 1…L, so dass für alle Trainings-Paare (x,(x)), = 1, 2, … , gilt y*(x) ≥ y*j(x) + j ≠ (x). Dann konvergiert die Perzeptron-Lernregel in endlich vielen Schritten zu Gewichten wmj, für die kein Klassifikationsfehler mehr auftritt. NN Perzeptron
Beweis der Perzeptron-Konvergenz Betrachte Q = A / (B ∙ B*)1/2 = (∑ij wij ∙ w*ij ) / ((∑ij wij2 )1/2 ∙ (∑ij w*ij2 )1/2 ) ≤ 1, mit A = ∑ij wij ∙ w*ij B = (∑ij wij2 ) B* = (∑ij w*ij2 ) Beweisidee: Zeige, dass Q für jeden Lernschritt um mindestens eine feste Größe ∆Q wächst. NN Perzeptron
Beweis der Perzeptron-Konvergenz Betrachte A unter einem Lernschritt: ∆A = ∑ij w*ij ∙ ∆wij = ∑j w*mj ∙ ∆wmj + w*j ∙ ∆wj (m = fälschlicher Gewinner) = ∑j w*mj ∙ (−j(x)) + ∑j w*j ∙ j(x) ≥ ∆B = ∑ij ((wij + ∆wij)2 − wij2) = ∑ij 2wij ∙ ∆wij + ∆wij2 = 2 ∑j (wj ∙ j(x) − wmj ∙ j(x)) + 2 ∑j j2(x) = 2 ∑j (y(x) − ym(x)) + 2 ∑j j2(x) < 2 ∑j j2(x) < denn y(x) − ym(x) < 0 wegen der Fehlerbedingung. NN Perzeptron
Beweis der Perzeptron-Konvergenz Nach n Lernschritten: A(n) = A(0) + n ∙ B(n) = B(0) + n ∙ Q > (A(0) + n ∙ ) / ((B(0) + n ∙ ) ∙ B*)1/2 ≤ 1 Da der Zähler linear in n, der Nenner weniger als linear in n wächst, wird Q immer größer und muss nach endlich vielen Schritten 1 erreichen. Abschätzung der erforderlichen Anzahl von Lernschritten: Einfachster Fall: wij (0) = 0, A(0) = 0, B(0) = 0. Q > (n1/2 ∙ ) / (1/2 ∙ B*) ≤ 1 n ≤ ∙ B*2 / 2 ≤ 2 ∙ maxx ∑j j2(x) ∙ B*2 / 2 NN Perzeptron