Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Artificial Neurons Perceptrons and the perceptron learning rule Sebastian Frühling – 29.04.2004.

Ähnliche Präsentationen


Präsentation zum Thema: "Artificial Neurons Perceptrons and the perceptron learning rule Sebastian Frühling – 29.04.2004."—  Präsentation transkript:

1 Artificial Neurons Perceptrons and the perceptron learning rule Sebastian Frühling –

2 Themen: Definition KNN Vorbild aus der Biologie Simple Perceptrons Training eines Perzeptrons Schwellwerteinheiten Beispiel ODER-Perzeptron Lineare Einheiten

3 Definition KNN […] a System composed of many simple processing elements operating in parallel whose function is determined by network structure, connecting strengths, and the processing performed at computing elements or nodes DARPA Neural Network study, Fairfax, VA: AFCEA International Press 1988

4 Vorbild aus der Biologie Biologisches NeuronKünstliches Neuron

5 Simple Perceptron w1w1 w2w2 w3w3 w4w4 ε1ε1 ε3ε3 ε2ε2 ε4ε4 Ziel: Output = gewünschte Ausgabe O = Output Knoten g() = Aktivierungsfunktion w y = Gewicht Input y ε k = k-ter Input

6 Training eines Perceptrons

7 Simple Perceptrons Schwellwerteinheiten - Threshhold – Units -

8 Schwellwerteinheiten (Threshhold – Units) Mit: und:

9 Schwellwerteinheiten (Threshhold Units) (2) Die Projektion des Gewichtsvektors auf den Input- Vektor soll das gleiche Vorzeichen haben, wie die gewünschte Ausgabe Die grenze zwischen +1 und -1 ist also genau die Ebene (Gerade oder Hyperebene wo wε = 0) Die Ebene geht durch den Ursprung, falls kein Schwellwert gegeben w

10 Schwellwerteinheiten (Threshhold Units) - OR-Funktion Ist die OR-Funktion durch ein einfaches Perzeptron darstellbar? Lineare Separierbarkeit 1 1 x1x1 x2x2 x 1 || x ,5

11 Schwellwerteinheiten (Threshhold-Units) - Lösung 2 Möglichkeiten: Lösung ausrechnen und fertig Lösung lernen lassen Lernen = suk. Anpassung der Gewichte

12 Schwellwerteinheiten (Threshhold Units) - Beispiel g(h) = sgn(h) w1w1 w2w2 Schwellwert: Θ = 0,5 Initial Gewichte: w 1 = 0,5w 2 = 0,7 ε1ε1 ε2ε2 ε 1 || ε 2

13 Ein einfacher Lernalgorithmus Unter der Bedingung, dass es eine Lösung gibt (linear Separierbare Probleme) findet das Perzeptron sie (effizient) in einer endlichen Anzahl von Schritten START: Choose any Value for w TEST:Choose an e in F - || F + If (e in F + ) && (w.e – S > 0) goTo TEST If (e in F + ) && (w.e - S<= 0) goTo ADD If (e in F - ) && (w.e - S < 0) goTo TEST If (e in F - ) && (w.e - S>=0) goTo SUB ADD:w := w + e goTo TEST SUB: w := w – e goTo TEST 1 1 w

14 Schwellwerteinheiten (Threshhold-Units) - Beispiel x1x1 x2x2 w1w1 w2w2 ΣG(Σ)Δ 000,50, ,50, ,50,70,51 001,50, ,50, ,50,71, ,72,2 10 START:Choose any Value for w TEST:Choose an e in F - || F + If (e in F + ) && (w.e – S > 0) goTo TEST If (e in F + ) && (w.e - S <= 0) goTo ADD If (e in F - ) && (w.e – S < 0) goTo TEST If (e in F - ) && (w.e – S >=0) goTo SUB ADD:w := w + e goTo TEST SUB:w := w – e goTo TEST Schwellwert 0.5 !!!

15 Schwellwerteinheiten (Threshhold-Units) - Beispiel ww ee TEST:Choose an e in F - || F + If (e in F + ) && (w.e – S > 0) goTo TEST If (e in F + ) && (w.e - S <= 0) goTo ADD If (e in F - ) && (w.e – S < 0) goTo TEST If (e in F - ) && (w.e – S >=0) goTo SUB ADD:w := w + e goTo TEST SUB: w := w – e goTo TEST w

16 Schwellwerteinheiten (Threshhold-Units) - Beispiel TEST:Choose an e in F - || F + If (e in F + ) && (w.e – S > 0) goTo TEST If (e in F + ) && (w.e - S <= 0) goTo ADD If (e in F - ) && (w.e – S < 0) goTo TEST If (e in F - ) && (w.e – S >=0) goTo SUB ADD:w := w + e goTo TEST SUB: w := w – e goTo TEST ww e w Schwellwert w w

17 Beweis über Konvergenz Zu zeigen: Falls eine Lösung existiert, so findet sie der Lernalgorithmus in endlicher Zeit Ziel: finde obere Schranke für n (n Anzahl updates) Vorbedingungen: W* ist der Optimal-Gewichtsvektor der Länge 1 W ist unser zufällig gewählter Gewichtsvektor Alle Pattern-Vektoren sind normiert Es gilt: w* 1 δ

18 Beweis über Konvergenz Betrachte Zähler und Nenner getrennt: Zähler: Nach n-maliger Anwendung:

19 Beweis über Konvergenz (2) Nenner: Nach n-maliger Anwendung:

20 Beweis über Konvergenz (3) Mit Damit ist gezeigt, daß eine obere Schranke für die Updates des Gewichtsvektors mit endlicher Anzahl von Schritten gefunden wird.

21 Diskriminante D Es gibt eine Möglichkeit die Lösbarkeit von Problemen zu prognostizieren: D < 0 nicht mit einfachen Perzeptron lösbar D > 0 lösbar max(D) optimales Perzeptron

22 Simple Perceptrons Lineare Einheiten - linear Units -

23 Linear Units g ist eine lineare, kontinuierliche und differenzierbare Funktion Ansonsten bleibt alles gleich ;-)

24 Linear Units - Explizite Lösung Errechnen der exakten Werte; keine sukzessive Verbesserung Nur bei linear unabhängigen !!!

25 Linear Units - Lernen mit absteigenden Gradienten Definiere eine Kostenfunktion Im Minimum der Kostenfunktion ist die Ausgabe = gewünschte Ausgabe suche nach Min

26 Linear Units – Lernen mit absteigenden Gradienten (2) Ein kleiner Schritt in Richtung des Minimums : Wenn man das für jede Eingabe extra macht:

27 Zusammenfassung Simple Perceptrons können viele, sehr komplexe Probleme effizient lösen. D.h. aber NICHT, dass sie deshalb auch alle einfachen Probleme lösen können. Wenn es eine Lösung gibt (das Problem ist linear Separierbar), dann findet der Lernalgorithmus des Perceptrons sie mit endlicher Anzahl von Schritten.

28 Simple Perceptrons Danke …


Herunterladen ppt "Artificial Neurons Perceptrons and the perceptron learning rule Sebastian Frühling – 29.04.2004."

Ähnliche Präsentationen


Google-Anzeigen