Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Lernen und Klassifizieren AS-1 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 Lernen in Multilayer-Netzen Assoziatives Lernen Lernen linearer Klassifikation.

Ähnliche Präsentationen


Präsentation zum Thema: "Lernen und Klassifizieren AS-1 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 Lernen in Multilayer-Netzen Assoziatives Lernen Lernen linearer Klassifikation."—  Präsentation transkript:

1

2 Lernen und Klassifizieren AS-1

3 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 Lernen in Multilayer-Netzen Assoziatives Lernen Lernen linearer Klassifikation Anwendungen

4 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 3 - Informationssystem: Speichern und Abrufen von Information RAM-Speicher Speichern: Adresse A Speicherinhalt Abrufen: Adresse A Speicherinhalt Assoziativspeicher Speichern: (Adresse A, Speicherinhalt) Assoziatives Lernen Abrufen:( ?, Speicherinhalt) Assoziatives Lernen Text11000 Text11001 Text21002 Daten1003 Text31004 Adresse Inhalt

5 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 4 - Konventionelle Assoziativspeicher Eingabe : Suchwort, Ausgabe: Treffer in Daten (auch mehrere!) Problem : Teile des Suchworts unbekannt oder falsch (unbekannte Maske)

6 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 5 - Neuro-Modell des Assoziativspeichers Funktion: Jede Komp.ist lin. Summe z i = w i x Nichtlin. Ausgabe: y i = S B (z i ) = Lernen von W ?

7 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009Rüdiger Brause: Adaptive Systeme, Institut für Informatik, WS 2007 - 6 - Lernen: Hebbsche Regel Beobachtung des Physiologen Hebb (1949): "Wenn ein Axon der Zelle A nahe genug ist, um eine Zelle B zu erregen und wiederholt oder dauerhaft sich am Feuern beteiligt, geschieht ein Wachstumsprozess oder metabolische Änderung in einer oder beiden Zellen dergestalt, dass A's Effizienz, als eine der auf B feuernden Zellen, anwächst." Also: w AB (t) – w AB (t-1) =: w ~ x A y B oder w i (t) = w i (t-1) + i (t) y i x Iterative Hebb'sche Lernregel W (t) = W (t-1) + (t) yx T Speichern eines Musters

8 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 7 - Lernen im Assoziativspeicher Speichern aller N Muster Auslesen eines Musters r y = Wx r = z = r L r (x r ) T x r + assoziierte Antwort + Übersprechen von anderen Mustern Orthogonale Muster x r : Übersprechen = 0, exakte Reproduktion. Nicht-orthogonale Muster: Schwellwerte nötig zum Unterdrücken des Übersprechens.

9 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 8 - Code eines Assoziativspeichers AMEM: (* Implementiert einen Korrelationsspeicher *) V AR (* Datenstrukturen *) x: ARRAY[1..n] OF REAL; (* Eingabe *) y,L: ARRAY[1..m] OF REAL; (* Ausgaben *) w: ARRAY[1..m,1..n] OF REAL; (* Gewichte *) : REAL; (* Lernrate *); Auslesen : BOOLEAN; BEGIN := 0.1; (* Lernrate festlegen: |x| 2 =10 *) initWeights( w,0.0); (* Gewichte initialisieren *) AlleMusterSpeichern(); SpeicherAuslesen(); END AMEM.

10 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 9 - Code eines Assoziativspeichers REPEATAlle Muster speichern Read(PatternFile, x, L) (* Eingabeschlüssel, gewünschte Ausgabe *) FOR i:=1 TO m DO (* Für alle Neuronen *) FOR j:=1 TO n DO (* ihre Gewichte verändern *) w[i,j] := w[i,j]+ *L[i]*x[j] ENDFOR ; UNTIL EndOf( PatternFile) Speicher auslesen (* zu Schlüssel x das gespeicherte y assoziieren *) Input (x) FOR i:=1 TO m DO (* Ausgabe für alle Neuronen *) y[i] := S(z(w[i],x)) ENDFOR ; Print (y)

11 Heteroassoziativer Speicher Inhalt L (Lehrervorgabe) Schlüssel = x Assoziation (Adresse) y = L Autoassoziativer Speicher Inhalt L = x Schlüssel = x Assoziation y = x Speicherarten Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 10 - W W

12 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 11 - Beispiel Autoassoziative Ergänzung Beispiel: N = 3 gespeicherte, orthogonale Muster Ausgabe bei Eingabe der Muster =?=?

13 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 12 - Beispiel Autoassoziative Ergänzung Mit der Hebbschen Regel wird die Gewichtsmatrix W = = x 1 x 1T + x 2 x 2T + x 3 x 3T und die Ausgabe z = = x 1 (x 1T x) + x 2 (x 2T x) + x 3 (x 3T x) 1001 1011 1111 1010 0000 0003 0033 0030 0002 0020 0200 2000 Testmuster 3: = x 1 1 + x 2 1 + x 3 1 Testmuster 2: = x 1 0 + x 2 0 + x 3 3 Testmuster 1: = x 1 0 + x 2 2 + x 3 0 Ergänzung Korrektur Grenzbereich

14 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 13 - Beispiel Autoassoziative Ergänzung Setze L(x) = x, lerne alle Muster ( symm. Matrix W). Beispiel: Buchstaben, kodiert mit 0 und 1 x A = (0 0 0 0 0 0 0 0 0 0 0 1 1 1 0 0 0 0 0 0 1 0 0 0 1 0 0 0 0 0....)

15 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 14 - Beispiel Autoassoziative Ergänzung Gebe Teilmuster von x ein erhalte Gesamtmuster L=x Teil von A G

16 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 15 - Beispiel Autoassoziative Ergänzung Gebe Teilmuster von x ein erhalte Gesamtmuster L=x Gebe gestörtes Muster von x ein erhalte Gesamtmuster L=x Kohonen et al. 1977 3024 pixel je 3 Bit, 100 Prototypen, orthogonali- siert

17 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 Multilayer-Netze Assoziatives Lernen Lernen linearer Klassifikation Anwendungen

18 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 17 - Das Perzeptron Idee: Reize wiedererkennen Rosenblatt 1958 Künstliche Retina Assoziations-Schicht Response-Schicht · · · · · · S A R X y Verbindungen zu A fix (zufällig): x = (x 1,...,x n ) T = ( 1 (S),..., n (S)) T Stärke der Verbindungen zu R veränderbar: w = (w 1,...,w n ) T

19 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 18 - Das Perzeptron Entscheiden := {x} alle Muster, = 1 + 2 1 : Menge aller x aus Klasse 1 2 : Menge aller x aus Klasse 2 DEF Log. Prädikat Mit den Erweiterungen x = (x 1,...,x n,1 ) T w = (w 1,..., w n,s ) T wird Schwelle

20 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 19 - Das Perzeptron Lernen Ziel: Wähle w so, dass für alle x gilt Methode: Für alle x aus 1 und w T x < 0 w(t) = w(t–1) + x Perzeptron-Lernregel Erhöhung von w T x !

21 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 20 - Das Perzeptron: Pseudo-code 1 PERCEPT1 : Wähle zufällige Gewichte w zum Zeitpunkt t:=0. REPEAT Wähle zufällig ein Muster x aus 1 2 ; t:= t+1; IF (x aus Klasse 1 ) THEN IF w T x < 0 THEN w = w + x ELSE w = w END ELSE IF w T x > 0 THEN w = w - x ELSE w = w END ENDIF UNTIL ( alle x richtig klassifiziert )

22 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 21 - Das Perzeptron: Pseudo-code 2 PERCEPT2 : Wähle zufällige Gewichte w zum Zeitpunkt t:=0. REPEAT Wähle zufällig ein Muster x aus 1 U – ; t:= t+1; IF w T x 0 THEN w(t) = w(t–1) + x ELSE w(t) = w(t–1) END UNTIL ( alle x richtig klassifiziert ) DEF –- := {x | –x aus Klasse 2 } statt w T x 0

23 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 22 - Das Perzeptron: Pseudo-code 3 PERCEPT3 : Wähle zufällige Gewichte w zum Zeitpunkt t:=0. REPEAT t:= t+1; w (t) = w (t–1) + (L(x (t) ) – y) x (t) Fehler-Lernregel UNTIL ( alle x richtig klassifiziert ) DEF numerische Werte

24 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 23 - Adaline ADAptive LINear ElementWidrow und Hoff (1960) Diskrete Ler n maschi n e aus Widerständen und Leitungen TGFTGF EingabeGewichte Fehlerangabe

25 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 24 - Fehleranzeige Adaline: Aktivität Schalterfeld für Eingabemuster Regler Summierer Schwellwert- regler w 0 Quantisierer S(z) Lehrer-Schalter für gewünschte Ausgabe Ausgabe y

26 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 25 - Adaline: Aktivität Verlauf des Klassifizierungsfehlers bei Präsentation der T,G,F und Nachregelung

27 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 26 - Adaline: Lernalgorithmus Minimierung des erwarteten Fehlers durch Anpassung der Parameter (Drehwiderstände): Wenn der Fehler größer wird, drehe Knopf zurück und in die entgegengesetzte Richtung Wenn der Fehler kleiner wird, wende dich nächstem Knopf zu w (t) = w (t–1) – (t) (w T x–L (x) ) Widrow-Hoff Lernregel Automatische Anpassung:Lerngleichung

28 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 27 - Adaline: Pseudocode VAR (* Datenstrukturen *) x : ARRAY [1..n] OF REAL ; (* Eingabe *) z,y,L : ARRAY [1..m] OF REAL ; (* IST und SOLL-Ausgaben *) w : ARRAY [1..m,1..n] OF REAL ; (* Gewichte *) : REAL (* Lernrate *); x2 : REAL ; BEGIN := 0.1; (* Lernrate festlegen *) initWeights(w,0.0); (* Gewichte initialisieren *)

29 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 28 - Adaline: Pseudocode REPEAT Read( PatternFile,x,L) (* Eingabe *) x2 := Z(x x) (* |x| 2 *) (* Aktivität bilden im Netz *) FOR i:=1 TO m DO (* Ausgabe für alle Neuronen *) z [i] := Z(w [i],x) (* Aktivität errech n e n *) y [i] := S(z [i] ) (* Nicht-lin. Ausgabe *) END ; (* Lernen der Gewichte *) FOR i:=1 TO m DO (* Für alle Neuronen *) FOR j:=1 TO n DO (* und alle Dimensionen *) w [i,j] := w [i,j] - *(z [i] -L [i] )*x [j] /x2 (* Gewichte verändern *) END ; UNTIL EndOf(PatternFile)

30 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 29 - Adaline: Anwendung w3w3 w2w2 w1w1 Verzöger ung verbessertes Signal verzerr tes Signal Lernen gewünsch- tes Signal y(t) x(t) – + Aufgabe: Korrektur des Signalechos bei Transatlantik-Kommunikation Erfolg: Fehler von 10% auf 0,0001% reduziert bzw. 4-fache Geschwindigkeit möglich

31 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 30 - Lernen durch Iteration Gradientenabstieg w := (w (t-1) – w (t) ) ~ – w R(w (t–1) ) w (t) = w (t–1) – (t) w R(w (t–1) ) R(w) R(w) W (t w(t-1)w w* w)

32 Problem: stochastischer Gradientenabstieg Zielfunktion abhängig von stochastischer Beobachtung x(t) Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 31 - Lernen durch Iteration R(w) R(w) W (t w(t-1)w w* w)

33 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 32 - Stochastisches Lernen Lernen mit Zielfunktion R(w) = r(w,x) x w(t) = w(t-1) - (t) w R ( w(t-1) ) wird ersetzt durch Lernen mit stochast. Zielfunktion r(w,x) w(t) = w(t-1) - (t) w r ( w(t-1),x(t) ) stochastisches Lernen

34 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 33 - Stochastisches Lernen Beispiel Klassentrennung r(w,x) := ½(w-x) 2, (t) := 1/ t Klassifizierung r(w 1,x) < r(w 2,x) x aus Klasse 1 r(w 1,x) > r(w 2,x) x aus Klasse 2 Lernen für x aus Klasse i w i ( t ) = w i ( t-1 ) - (t) ( w i (t-1) -x (t) ) Klassengrenze {x*} r(w 1,x*) = r(w 2,x*) |w 1 -x*| = d 1 = d 2 = |w 2 -x*| w 1 w 2 x d 1 d 2 { x* }

35 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 34 - Codebeispiel Klassentrennung VARw: ARRAY[1..2, 1..2] OF REAL; x: ARRAY[1..2] OF REAL; : REAL; t,k,i:INTEGER; BEGIN t:=1;(* erster Zeitschritt *) REPEAT (* Eingabe oder Generation des Trainingsmusters *) Read(PatternFile, x); := 1/t;(* zeitabh. Lernrate *) (*suche Klasse mit minimalem Abstand *) IF Abstand(x,w[1]) > Abstand(x,w[2]) THEN k:=2ELSE k:= 1 ENDIF; (* verändere den Gewichtsvektor *) FOR i:=1 TO 2 DO (* Approximation des Mittelwerts *) w[k,i]:= w[k,i] - *(w[k,i]-x[i]); ENDFOR; t:= t+1;(* nächster Zeitschritt und Muster *) UNTIL EndOf (PatternFile);

36 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 Lernen in Multilayer-Netzen Assoziatives Lernen Lernen linearer Klassifikation Anwendungen

37 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 36 - Das XOR-Problem Aufgabe Trennung zweier Klassen durch eine Gerade – wie ? x 1 x 2 0 1 0 1 0 = { } = {(0,0), (1,1)} 1 = { } = {(1,0), (0,1)} Klassen nicht linear separierbar! x 1 x 2 000 011 101 110

38 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 37 - Das XOR-Problem Lösung Trennung durch zwei Schichten x 1 x 2 0 1 0 1 K = x 1 x 2 = x 1 AND x 2 OR x 1 AND x 2 y 1 := x 1 AND 2 _ x y 2 := 1 _ x AND x 2 y XOR := y 1 OR y 2 w 1 =w 4 5 6 = 1/2 w 2 = w 3 =-1/2 s 1 = s 2 = 1/3 s = 1/3 z.B.

39 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 38 - Multilayer-Klassifikation Separierung von Klassen 1.Neuron 2.Neuron 3.Neuron

40 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 39 - Multilayer-Klassifikation weiche Separierung von Klassen Veränderung der sigmoidalen Ausgabefunktion z - S F (z) S F (z) := K > 0 K < 0 0,5 2-dim Sigmoidale Ausgabefunktion x2x2 x1x1 S(w 1,w 2,w 3,x 1,x 2 ) z = x T w x = (x 1,x 2,1) w = (w 1,w 2,w 3 )

41 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 40 - Multilayer-Klassifikation weiche Separierung von Klassen 1 Sigmoidale Ausgabefunktion 2 überlagerte sigm.Ausgaben 4 Sigmoidale Ausgaben mit Schwelle

42 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 41 - Lernen von Klassifikation Daten bekannt: Erstellen von Entscheidungsbäumen Klassentrennung durch Hyperbenen Klassentrennung durch Entscheidungsbaum

43 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 42 - Lernen von Klassifikation Daten unbekannt: Sequentielle Netzerstellung Vorschlag 1 ohne Training Ordne Muster x(t) ein. Falsche Klasse: Erzeuge neues Neuron so, dass richtig klassifiziert wird. Sind gleiche Klassen benachbart, verschmelze sie. Vorschlag 2 mit Einzeltraining Trainiere Neuron 1 mit 1. Bilde 1 /{x| x wurde für Klasse 1 erkannt} Trainiere Neuron 2 mit 1. Bilde 1 /{x| x wurde für Klasse 1 erkannt}... bis 1 leer. Trainiere Neuron n 1 +1 mit 2. Bilde 2 /{x| x wurde für Klasse 2 erkannt}... bis 2 leer, usw. Identifiziere y der Ausgabe mit x der nächsten Schicht. STOP, wenn für jede Klasse nur noch ein Neuron ex.

44 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 43 - Backpropagation Netzarchitektur und Aktivität Eingabe hidden units Ausgabe x Gesamtaktivität

45 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 44 - Backpropagation-Grundidee Schichtweise Verbesserung durch Rückführung des Fehlers Netzarchitektur und Lernen Eingabe 1.Schicht 2.Schicht Ausgabe x (1) y = x (2) y (2) (1) hidden units Ausgabe units L - y (2)

46 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 45 - Online vs Offline-Lernen ONLINE-Learning: WHILE NOT Abbruchbedingung erfüllt: Delta := 0 FORALL Trainingsmuster x berechne Delta(W(x)) W(t) := W(t-1) + Delta // Lernen mit jedem Muster END FOR END WHILE

47 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 46 - Online vs Offline-Lernen OFFLINE-Learning: WHILE NOT Abbruchbedingung erfüllt: GesamtDelta := 0 FORALL Trainingsmuster x berechne Delta(W(x)) GesamtDelta := GesamtDelta + Delta(W(x)) END FOR W(t) := W(t-1) + GesamtDelta // Lernen am Schluss! END WHILE

48 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 47 - Online vs Offline-Lernen Beispiel Buchstabenerkennung Überwachtes Lernen Eingabe Gewichte On-line learning (Training)..., H,... Testmenge off-line learning Trainings- menge A, B, C, D, E, F,..., Z. Lernziel (Zielfunktion) Lernziel (Zielfunktion) Lehrer Neuronales System A, B, C, D, E, F,..., Z. W W H !H ! E ?E ? E Ergebnis Fehler ?

49 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 48 - Anwendung BP Gegeben DECtalk Ausgabe Text Sprache der Fa. Digital Eq. (DEC) Aufwand 20 PJ für 95% Genauigkeit Beispiel NetTalk Sejnowsky, Rosenberg 1986 16 CPU-Stunden BP-Training für 98% Genauigkeit Adaptives Programm statt neu programmieren!

50 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 49 - NetTalk: Kodierung Ausgabekodierung Binäre Kodierung der 26 Laute Lauffenster der Trainingsbuchstaben Eingabekodierung Binäre Kodierung der 29 Buchstaben 23 Laute +(cont,Wortgrenze, stop) 26 Buchstaben +(cont,Wortgrenze, stop)

51 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 50 - NetTalk: Training Ergebnis Trennung der Konsonanten von Vokalen (Babbeln) Entwicklung der Wortgrenzen (Pseudoworte) Verständliche Sprache (10xTraining pro Wort) Training transkribiertes Wörterbuch 20.000 Einträge Protokollierte Kindersätze Exponentieller Lernerfolg

52 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 51 - NetTalk: gestörte Gewichte Störung durch normalverteiltes Rauschen

53 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 52 - Neulernen der Gewichte Schnelleres Lernen verlernter Inhalte

54 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 53 - Verbesserungen des BP-Algorithmus Problem Trotz guter Trainingsleistung zeigt der Test schlechte Ergebnisse f(x) x testsamples trainingsamples Überanpassung (overfitting) !

55 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 54 - Verbesserungen des BP-Algorithmus Lösung:Stopped Training

56 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 Lernen in Multilayer-Netzen Assoziatives Lernen Lernen linearer Klassifikation Anwendungen

57 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 56 - Anwendung BP Binäre Kodierung Ziel: n Zustände in ld(n) Bits kodieren n p = ld(n) n.................. 1 0 0 0 0 0 0 00,5 0 01 0 0 0 0 0 0 0 0 1 0 0 0 0 0 00 1 00 1 0 0 0 0 0 0 0 0 1 0 0 0 0 01 1 00 0 1 0 0 0 0 0 0 0 0 1 0 0 0 01 1 10 0 0 1 0 0 0 0 0 0 0 0 1 0 0 00 1 10 0 0 0 1 0 0 0 0 0 0 0 0 1 0 00,5 0 10 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 1 0 0,50 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0,50 0 0 0 0 0 0 1 Ergebnis :

58 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 57 - Analyse der Neuronengewichte Hauptkomponentenanalyse Lin. Approximation (1. Glied Taylorentwicklung) Beispiel: n-p-n Netz Kodierer y = B pxn A nxp x Min. quadr. Fehler bei globalem Minimum A, B B besteht aus Eigenvektoren der Kovarianzmatrix.................. n p n A B C xx = ( x- x ) (x- x ) T ( C ij ) = globales Minimum Sattelpunkte R(w) w w*

59 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 58 - SNOOPE System for Nuclear On-line Observation of Potential Explosives, Science Appl. Int. Corp SAIC, 1989 Entdeckung von Plastiksprengstoff in Fluggepäck Eingabe: Gepäckstück Ausgabe: Diagnose gefährlich oder ungefährlich

60 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 59 - SNOOPE Funktionsprinzip gefährlich / nicht gefährlich Thermische Neutronen: ungefährlich für Filme und Magnetmedien, aber regt Stickstoff an. Training + Test eines BP-Netzwerks mit Gepäckstücken Keine menschl. Interpretation nötig

61 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 60 - SNOOPE Ergebnisse Leistung des BP-NN vs. Diskriminantenanalyse NN Diskrimin. Prob. Fehlalarm % = 1-Sensitivität Prob. Entdeckung (Spezifität) Problembereich: Sehr kleiner % Fehlalarme (sehr kleine Aktivitätsfunktion)

62 Roboter- fahrzeuge Backprop- Anwendung

63 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 62 - ALVINN Autonomous Land Vehicle in a Neural Network NAVLAB Touretzky, Pomerleau 1989 Team: Carnegie-Mellon University, Pittburgh, USA Methode: 2-Schicht BP Resultat: Automatisches Fahren auf Uni-Gelände mit ca. 5 km/h (3,5 mph), besser als tradit. Methoden (3 mph)

64 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 63 - ALVINN Training/Testschema Training auf stationärem Supercomputer mit Aufzeichnungen Test in der Realität (SUN- 3/160

65 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 64 - ALVINN Training 1200 simulierte Strassenbilder, 40x präsentiert Training auf Supercomputer (100M FLOPS) 20 Mill. connection updates per second CUPS Videobild Abstandsradar Lenkung

66 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 65 - ALVINN Analyse der hidden units Visualisierung der Gewichte einer unit Einprägung der Fahrbahnmarkierung Einprägung der Hindernisse vom Rand

67 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 66 - Roboterwettbewerb DARPA Grand Challenge 2005: 2M$ Autonome Fahrt 211,1km (Mojave-Wüste, Las Vegas, Nevada) durch Tunnel, über Sandwege, Serpentinen, Gleise, Kuhpassagen, an fahrenden Autos vorbei....

68 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 67 - Hauptkonkurrenten Team : Red Team Carnegie-Mellon-University, Pittsburgh, Hummer-Geländewagen 7:04 Std. Technik : 75m Laser-scan Kohlenfaserkuppel, gekühlt, 6 Scanner, 7 Pentium-M+3 PC/104- Module für 300MB/min Daten, 80 Module, 1,5M.Codezeilen (Linux). Finanzen : 12 M$: Boing, Caterpillar, Science Int.SAIC, etc., 20 Angestellte (50P), http://www.redteamracing.org/ Methode : Sensordaten des Terrain für 3200km registriert + GPS verwendet.

69 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 - 68 - Sieger Team: Stanford Racing Team Stanford University, VW Touareg 6:53 Std. Technik : 5 Sick-Sensoren, GPS, 2 Radarsensoren + 1 Dach- kamera, 6 Pentium-M Systeme für 4MB/Min Daten. 31 Module, (Linux), 0,1M Codezeilen Finanzen : 0,5M$ VW, Intel,... http://www.stanfordracing.org/ Methode : Route: GPS-Punkte + Realtime-Daten dazwischen. Adapt.Prob. Modell für Fahrtechnik: trainiert an einem menschl. Fahrer. 12%Fehler ->0,02%


Herunterladen ppt "Lernen und Klassifizieren AS-1 Rüdiger Brause: Adaptive Systeme AS-1, WS 2009 Lernen in Multilayer-Netzen Assoziatives Lernen Lernen linearer Klassifikation."

Ähnliche Präsentationen


Google-Anzeigen