Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Radiale Basis- funktionen AS1-5 - 2 - Lernen in RBF-Netzen Approximation & Klassifikation mit RBF Anwendung RBF-Netze Rüdiger Brause: Adaptive Systeme,

Ähnliche Präsentationen


Präsentation zum Thema: "Radiale Basis- funktionen AS1-5 - 2 - Lernen in RBF-Netzen Approximation & Klassifikation mit RBF Anwendung RBF-Netze Rüdiger Brause: Adaptive Systeme,"—  Präsentation transkript:

1

2 Radiale Basis- funktionen AS1-5

3 - 2 - Lernen in RBF-Netzen Approximation & Klassifikation mit RBF Anwendung RBF-Netze Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14

4 - 3 - Biologische rezeptive Felder Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14

5 - 4 - Biologische rezeptive Felder Modellierung: Überlagerung radialer Basisfunktionen mexikan. Hut Gaußfunktion S G (a i,x) = exp(–(a i –x) 2 ) radiale Basisfunktion : S(r) monoton in r fallend mit r = |x–a i |

6 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Multilayer-Klassifikation Separierung von Klassen 1.Neuron 2.Neuron 3.Neuron - 5 -

7 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Klassifikation und RBF Motivation: lokale Cluster-Klassenbildung i = { x | S(|x–x i |) > w 0 } wowo xixi

8 normiert Klassifikation f i ( x ) = wy kk k m 1 = wS S kk k m j j m () () x x 1 1 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ RBF-Netze Typisch: 2-Schichten Netzwerk Aktivität nicht normiert Approximation f i ( x ) = wy kk k m 1 = wS kk k m ()x 1 mit S k ( c k, x ) = e k () cx S (x)=

9 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ RBF-Netze Aktivität Normiertes RBF-Netzwerk y (x) = f(x) = i w i (x,c i ) mit Schicht 1 Schicht 2 · · · Normierung · · · X 1 x n S 1 ( X ) S n ( X ) y( X ) S i / /

10 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Klassifikation mit RBF-Netzen Beste Klassifizierung Suche Klasse i so, daß p( k |x) = max i p( i |x) Bayes-Klassifizierung Wir wissen: p( i |x) = Annahme: Gaußverteilte Abweichungen der x von den Klassenprototypen c i, alsop(c i,x) = A =: S(c i,x) Bayes-Klassifizierung mit NN: Suche Klasse k so, daß mit y i = y k = max i y i winner take all RBFSuche Maximum

11 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Klassifikation mit winner-take- all Zwei-Schichten-Netzwerk Suche Klasse k so, dass mit f i = i w i y i f i = max k f k x 1 x 2 x n y 1 y 2 y n f 1 f 2 Suche Maximum der Aktivität Ein-Schicht-Netzwerk Suche Klasse k so, dass mit y i = S(c i,x) / j S(c j,x) y k = max i y i x 1 x 2 x n y 1 y 2 y n Lernen nur der Gewichte für y i bzw. f i

12 Frage Was ist das Ziel der Bayes-Klassifikation? Antwort 1. Die minimale Fehlerwahrscheinlichkeit 2. Die maximale bedingte Wahrscheinlichkeit für eine Entscheidung 3. Die minimale Abweichung vom korrekten Wert 4. Die maximale Korrelation mit dem korrekten Wert Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/

13 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 Lernen in RBF-Netzen Approximation & Klassifikation mit RBF Anwendung RBF-Netze

14 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Lernverfahren Ansätze Schichtweise Einzelanpassung Anpassen der ersten Schicht (Zentrum +Breite) Anpassen der zweiten Schicht (Gewichte) Gesamtanpassung, z.B. durch Backpropagation

15 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Anpassung der ersten Schicht Mechanismen initiale Verteilung (Anzahl, Lage und Form) der Glockenfunktionen iterative Adaption der RBF-Parameter an die Trainingsdaten (1)Bekannte Trainingsdaten Clustersuche; RBF-Zentren = Clusterzentren RBF-Breite = Clusterstreuung (2)Unbekannte Trainingsdaten a) Überdeckung durch Vorwissen b) Überdeckung durch regelmäßiges Raster c) Sukzessive, fehlerorientierte Überdeckung d) Clusteranalyse durch Kohonen-Netze

16 Erste Schicht: Initiale Verteilung Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ a) Überdeckung durch Vorwissen

17 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Erste Schicht: Initiale Verteilung b) Überdeckung durch regelmäßiges Raster c 1 c 2 c 3 c 4 c 5 S(x 1 ) x 1 x 2 x 1

18 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Erste Schicht: Initiale Verteilung c) Sukzessiver, fehlerorientierter Netzaufbau Start mit einem Neuron Füge ein neues Neuron hinzu für jedes Beispiel mit hohem Fehler (Abweichung vom gewünschten Netz- Ausgabewert) Verändere die Parameter bei den Nachbarn so, daß der Fehler verringert wird (Einpassen des neuen Neurons) Das Netzwerk wächst solange, bis der Approximationsfehler auf das gewünschte Maß zurückgegangen ist.

19 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Erste Schicht: Initiale Verteilung Beispiel Adaptiver und sukzessiver Netzaufbau für Abdeckung einer Testverteilung

20 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Erste Schicht: Initiale Verteilung Blutdruck pH exitus not exitus RBF-Neuron Neuronen ohne Aktivierung Nach jeder Epoche werden sie gestrichen. Beispieldaten Beispiel: Klassifikation medizinischer Daten fürs Überleben Überdeckung durch Fehlerminimierung und regelmäßiges Raster

21 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14Rüdiger Brause: Adaptive Systeme, Institut für Informatik Erste Schicht: Initiale Verteilung Blutdruck pH Neuronen mit unterschiedlicher Aktivierung

22 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Blutdruck pH Erste Schicht: Initiale Verteilung Nach jeder Epoche werden die geringen Aktivitäten geteilt.

23 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Blutdruck pH Erste Schicht: Initiale Verteilung Nicht kritisch kritisch Ergebnis:angepasste Klassengrenzen

24 Erste Schicht: Initiale Verteilung Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ d) Clusterung durch Kohonen-Maps

25 Erste Schicht: Initiale Verteilung Clusterung mit Kohonen-Map | x – c k | = min j | x – c j | Auswahl des Gewinners Kohonen map mit RBF c i (t+1) = c i (t) + h(c i,c k,t) (x-c i ) für alle i aus Nachbarschaft (k) c j (t+1) = c j (t) sonst Rival-Penalty mit RBF c k (t+1) = c k (t) + (x-c k ) für k c i (t+1) = c i (t) – (x-c i ) für zweitnächsten Nachbarn(k) c j (t+1) = c j (t) sonst Soft Winner-take-all mit RBF |x| = |c| = const c i (t+1) = c i (t) + h(c i ) (x-c i ) für h(c i ) = exp(z i )/SUM(exp(z j )) Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/

26 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Anpassung der zweiten Schicht Normiertes RBF-Netz y (x) = (x) = i w i v i mit v i = (x,c i ) Schicht 1 Schicht 2 · · · Normierung · · · X 1 x n S 1 ( X ) S n ( X ) y( X ) S i / / w (t) = w (t–1) – (t) (w T v– (x) ) Widrow-Hoff Lernregel

27 Frage Was sind die Vorteile und Nachteile des gemeinsamen Trainings mehrerer Schichten ? Antwort Vorteil: Bessere Gesamtanpassung durch Koordination mehrerer Schichten Nachteil: lang dauernde bis nicht mögliche Konvergenz aller Schichtparameter Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/

28 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ RBF Code := 0.1; (* Lernrate festlegen *) REPEAT Read( PatternFile,x,L) (* Eingabe *) (* Aktivität bilden im Netz *) Sum:= 0.0; FOR i:=1 TO m DO (* Für alle Neuronen der 1. Schicht *) v[i] : = S rbf (x–x0[i]) (* Nicht-lin. Ausgabe*) Sum : = Sum+v[i]; (* Gesamtaktivität bilden *) END; f := Z(w,v); (* Aktivität 2.Schicht: f(x)=w T v *) f := f/Sum; (* und normieren*) (* Lernen der Gewichte der 2.Schicht *) v2:= Z(v,v) (* |v| 2 einmal ausrechnen *) FOR i:=1 TO m DO (* Für alle Dimensionen *) w[i]:= w[i] – *(f–L)*v[i]/v2 (* Gewichte verändern:Widrow-Hoff *) END; UNTIL EndOf(PatternFile)

29 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ RBF Code Glockenfunktion als Lookup-Tabelle CONST sigma2 = 1.0 (* 2 *); s = 100 (* Anzahl der Tabellenwerte von e–x 2 *); r = (* RBF-Reichweitenschwelle *) VAR e : ARRAY[1..s] OF REAL; (* RBF Funktionstabelle e[.] einmal erstellen *) a := 0.0; da := –ln(r)/s; FOR i:=1 TO s DO e[i]:=exp(–a); a:=a+da; END; PROCEDURE S rbf (x:VEKTOR):REAL; BEGIN index := TRUNC((Z(x,x)/sigma2)/da); IF index < s THEN RETURN e[index] ELSE RETURN 0.0 END END Srbf;

30 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Lernen in RBF-Netzen Approximation & Klassifikation mit RBF Anwendung RBF-Netze

31 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 Profilextrusion Aufgabe Erstellung von Metallschablonen (Profilwerkzeuge) für die Extrusion von Laufflächen-Profilbändern bei der Reifenherstellung Übliches Verfahren: Trial and error, da schwarze Kunst. Gummiprofil-Extruder

32 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 Profilextrusion Probleme: Betriebswirtschaftliche Nachteile durch "trial-and-error" Verzögerter Fertigungsbeginn Geringere Produktqualität: nur grobe Schätzung möglich Höhere Einrichtungskosten der Fertigung: o umständliche, ressourcenintensive Suche nach dem gewünschten Prozeßkenndaten (Masken-profil). o zusätzliche Belastung der Fertigungsplaner o Unterbrechung der Produktion (Umrüstung und Probebetrieb) o finanzieller und personeller Aufwand, jeweils die Metallmaske neu zu erstellen oder nachzuarbeiten

33 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 Profilextrusion Probleme bei Mitarbeitern Unzufriedene Mitarbeiter: langweilige, nicht-kreative Arbeit; Wechsel problematisch Nicht verfügbare Wissensdokumentation Wissen bei Mitarbeiterkrankheit oder Wechsel nicht übertragbar und nicht akkumulierbar

34 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 Lösung: Adaptive Parameterschätzung Parameter = Quellfaktoren entlang des Maskenprofils Maske = unbekannte Funktion r(x) r(x i ) = r(y i -s,..,y i,..,y i +s,i,E,G) Gummimischung Extrudertyp Sollwerte des Gummiprofils i.d. Nachbarschaft Quellverhalten lokale Abhängigkeit von der Nachbarschaft Profilextrusion

35 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 Profilextrusion Lösung: Adaptive Formale Neuronale Netze hier: RBF-Netzx = (x 1,..,x n ) F(x) Funktionsapproximation (Aktivit ä t) y i = S i (x,c i ) = exp(-d 2 ) i=1..m Radiale Basisfunktionen mit d 2 = M(x-c) 2 = (x-c) T M T M (x-c) und M, c Parameter F( x) = F(y(x)) = = w T y y 0 1, w 0 Mittelwert

36 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 Profilextrusion Training: Nur 5 Profile gleicher Gummimischung und Extrudertyps

37 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 Profilextrusion Lernalgorithmus Wachsendes Netz Einf ü gen am Ort des gr öß ten Fehlers Einmalige Anpassung eines Neurons zur maximalen Fehlerkompensation Abbruch bei Fehlerunterschreitung Minimales Netz f ü r gew ü nschte Leistung

38 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 Test: 1 Profil, Parameterabhängigkeit der Approximation n = Zahl der Nachbarpunkte d = Abstand der Punkte Erwart. abs. Fehler (in mm) Gewünschtes und geschätztes Profil für n=9, d=4 (10x vergrößert) Profilextrusion

39 Konvergenzgeschwindigkeit Vergleich 2-Schichten-Training (Gradientenabstieg) vs. Wachsende Netze 10 Neuronen, 50 Trainingsbeispiele, gleiche Genauigkeit Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/ Beste Laufzeit mit uniformen, wachsenden RBF-Netzen

40 Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2013/14 Profilextrusion Produktionsplanung Produktion NC-Fräsdaten Metallmaske Anforderung Spezifikation Neuro-Netz Laser scan


Herunterladen ppt "Radiale Basis- funktionen AS1-5 - 2 - Lernen in RBF-Netzen Approximation & Klassifikation mit RBF Anwendung RBF-Netze Rüdiger Brause: Adaptive Systeme,"

Ähnliche Präsentationen


Google-Anzeigen