Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Neuronale Netze - Wettbewerbslernen Folie 1 Wissensextraktion mittels künstlicher neuronaler Netze Wettbewerbslernen Uwe Lämmel Wismar Business School.

Ähnliche Präsentationen


Präsentation zum Thema: "Neuronale Netze - Wettbewerbslernen Folie 1 Wissensextraktion mittels künstlicher neuronaler Netze Wettbewerbslernen Uwe Lämmel Wismar Business School."—  Präsentation transkript:

1 Neuronale Netze - Wettbewerbslernen Folie 1 Wissensextraktion mittels künstlicher neuronaler Netze Wettbewerbslernen Uwe Lämmel Wismar Business School

2 Neuronale Netze - Wettbewerbslernen Folie 2 Inhalt Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie

3 Neuronale Netze - Wettbewerbslernen Folie 3 Wettbewerbslernen Aktivierung eines Neurons nicht nur von Eingabe abhängig Vergleich mehrere Neuronen notwendig Netzausgabe durch ein Gewinner-Neuron Architektur: Ziel: ähnliche Eingabe auf benachbarte Neuronen abbilden k-dim. Eingabevektor x N Neuronen, Gewinnerneuro n n x

4 Neuronale Netze - Wettbewerbslernen Folie 4 Wettbewerbslernen: Voronoi-Mosaik Voronoi-Tesselation Voronoi-Mengen eines Neurons s: Menge aller Punkte, für die das Neuron s das Gewinner-Neuron ist Referenzvektor Ähnliche Eingaben auf benachbarte Neuronen abbilden

5 Neuronale Netze - Wettbewerbslernen Folie 5 Netze und Verfahren fest –SOM –Neuronales Gas –LBG variabel –Wachsende Neuronale Gase –Wachsende Zellstrukturen Lernverfahren hart – nur Gewinner–Neuron wird adaptiert: –LBG weich – auch andere Neuronen modifizieren: –SOM, –Neuronale Gase, –wachsende Zellstrukturen Architektur

6 Neuronale Netze - Wettbewerbslernen Folie 6 Inhalt Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie

7 Neuronale Netze - Wettbewerbslernen Folie 7 Selbstorganisierende Karten (SOM) Fähigkeit des Gehirns zur Selbstorganisation nachbilden räumliche Lage eines Neurons im Kopf bedeutend (wurde bisher vernachlässigt) existieren Beziehungen räumlicher Art zur Umgebung Kohonen Feature Map zweischichtiger Muster-Assoziator Eingabe-Schicht voll vernetzt mit Karten-Schicht Neuronen der Karten-Schicht untereinander voll vernetzt (virtuell)

8 Neuronale Netze - Wettbewerbslernen Folie 8 Clusterung Ziel : Alle Eingaben einer Klasse werden auf genau ein Neuron abgebildet f Eingabemenge A Ausgabe B aiai Problem : Klassifikation im Eingaberaum allgemein nicht bekannt. Netz nimmt eine Clusterung vor.

9 Neuronale Netze - Wettbewerbslernen Folie 9 Gewinner-Neuron Kohonen- Layer Input- Layer Winner Neuron

10 Neuronale Netze - Wettbewerbslernen Folie 10 Lernen in SOM 1.Wahl einer Eingabe k zufällig aus dem Problemraum 2.Das Neuron z mit maximaler Erregung wird bestimmt 3.Anpassung der Gewichtsvektoren in der Nachbarschaft von z: Neuronen i innerhalb eines Radius r von z. 4.Stopp – falls gewünschte Zahl von Lernzyklen erreicht, Sonst – Lernfaktor und Radius verkleinern und mit 1. fortfahren.

11 Neuronale Netze - Wettbewerbslernen Folie 11 Erregungszentrum Prinzip : Neuronen (-gruppe) mit starker Erregung hemmen Gruppen in der Umgebung, um eigene Wirksamkeit zu erhöhen! Problem : Finden des Erregungszentrums – 2 Möglichkeiten: Neuron j mit maximalen Nettoinput Neuron j, dessen Gewichtsvektor w j der Eingabe am ähnlichsten ist (euklidischer Abstand): z: x - w z = min j x - w j

12 Neuronale Netze - Wettbewerbslernen Folie 12 Anpassen der Gewichte Gewichte zu Neuronen innerhalb eines Radius r werden erhöht: Grad der Beeinflussung durch den räumlichen Abstand zum Erregungszentrum? Lernrate (t) sowie Radius r(t) laufen gegen null Kohonen benutzt Funktion : Mexican-Hat-Annäherung 0 0,

13 Neuronale Netze - Wettbewerbslernen Folie 13 SOM Training – Summary find the winner neuron z for an input pattern p (minimal Euclidian distance) adapt weights of connections input – neurons to –winner neuron –neighbours Kohonen layer input pattern m p WjWj Reduce and r(see parameter (H) and (R) in JavaNNS – Kohonen Randomize training patterns

14 Neuronale Netze - Wettbewerbslernen Folie 14 A1: Kredit Geschichte A2: Schulden A3: Sicherheiten A4: Einkommen Beispiel Bankkunde Klassifikation bleibt unbeachtet SOM nimmt Clusterung vor

15 Neuronale Netze - Wettbewerbslernen Folie 15 Bank-Kunde gut = {5,6,9,10,12} normal = {3, 8, 13} schlecht= {1,2,4,7,11,14}

16 Neuronale Netze - Wettbewerbslernen Folie 16 Credit Scoring Pascal tool box (1991) 10x10 neurons 32,000 training steps

17 Neuronale Netze - Wettbewerbslernen Folie 17 Visualisation of a SOM Colour reflects Euclidian distance to input NetDemo TSPDemo Weights used as coordinates of a neuron Colour reflects cluster ColorDemo

18 Neuronale Netze - Wettbewerbslernen Folie 18 Das Rundreiseproblem Travelling Salesman Problem (TSP): Es sind mehrere Orte zu besuchen und danach ist zum Ausgangsort zurückzukehren. Welches ist der kürzeste (schnellste) Weg für eine derartige Rundreise?

19 Neuronale Netze - Wettbewerbslernen Folie 19 Komplexität des Rundreiseproblems Aufwand zum Durchsuchen aller Möglichkeiten: Wismar Schwerin Rostock Stralsund Greifswald Neubrandenburg (Pascal-Programm, PC Technik, Stand ca. 1998) 18 Kreis- und kreisfreie Städte in MV !

20 Neuronale Netze - Wettbewerbslernen Folie 20 SOM solves TSP input Kohonen layer w 1i = si x w 2i = si y Draw a neuron at position: (x,y)=(w 1i,w 2i ) X Y

21 Neuronale Netze - Wettbewerbslernen Folie 21 SOM löst TSP Initialer Kreis expandiert zu Rundkurs Lösungen für mehrere hundert Orte in kurzer Zeit möglich Rundkurs muss nicht optimal sein

22 Neuronale Netze - Wettbewerbslernen Folie 22 Beispiele –Probieren sie die Clusterung von Tieren (Kruse) aus. Verändern Sie den Trainingssatz (Austausch eines Tieres) und vergleichen Sie die entstehende Clusterung. –Machen Sie sich mit der Lösung des Rundreiseproblems mittels einer SOM vertraut. –Greifen Sie auf das Beispiel Wetter-Spiel zurück und clustern Sie diese Daten. Vergleichen Sie das Ergebnis mit der gegebenen Klassifikation

23 Neuronale Netze - Wettbewerbslernen Folie 23 Inhalt Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie

24 Neuronale Netze - Wettbewerbslernen Folie 24 Neuronales Gas für Eingabesignal werden alle Neuronen nach ihrem Abstand zur Eingabe geordnet Adaption entspricht dem Rang des Neurons Adaption gemäß Zeit- und Reichweiten-Faktor Wachsende Gase: –Einfügen eines neuen Neurons zwischen Neuron mit größtem Fehler und einem Nachbarn

25 Neuronale Netze - Wettbewerbslernen Folie 25 Hebbsches Wettbewerbslernen Zwischen Gewinner-Neuron und zweitem Gewinner wird neue Verbindung eingefügt: Wird in Zusammenhang mit anderen Verfahren verwendet, z.B. Neuronalen Gasen,

26 Neuronale Netze - Wettbewerbslernen Folie 26 Wachsende Zellstrukturen/Gitter Zellstrukturen: –Verbindungen bilden Simplex, z.B. Dreieck Gitter: –rechteckige Gitterstruktur

27 Neuronale Netze - Wettbewerbslernen Folie 27 LBG - Linde, Bozo, Gray (1980) Batch-Verfahren Referenzvektor wird in Richtung des Schwerpunktes der Voronoi-Menge bewegt hartes Lernverfahren

28 Neuronale Netze - Wettbewerbslernen Folie 28 Inhalt Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie

29 Neuronale Netze - Wettbewerbslernen Folie 29 Adaptive Resonance Theory (ART) Bisher : Training eines neuen Musters kann Gewichte so zerstören, dass alte Muster nicht mehr erkannt werden Stabilität sproblem Wie neue Muster und deren Klassifizierungen lernen, ohne dass vorhandene Klassifizierungen verlernt werden? Plastizität sproblem ART : (entwickelt von Grossberg und G. Carpenter) zufällige Folge von Eingaben (Vektoren) unüberwacht klassifizieren (ohne äußere Einwirkung) Annäherung an biologisches Verhalten Familie hybrider neuronaler Netze; hier: ART1: binäre Eingabevektoren

30 Neuronale Netze - Wettbewerbslernen Folie 30 ART - Modell w1w1 w2w2 Klassifikationsraum Winkel p: Aufmerksamkeitsabstand

31 Neuronale Netze - Wettbewerbslernen Folie 31 ART - Arbeitsweise Arbeitsweise : Netz versucht Eingabevektor in vorhandene Kategorie zu klassifizieren; Falls KEINE Ähnlichkeit mit gespeicherten Kategorien neue Kategorie; Falls Kategorie gefunden, wird gespeichertes Muster leicht korrigiert, um Ähnlichkeit mit neuer Eingabe zu erreichen; Muster ohne Ähnlichkeit zur Eingabe bleiben unverändert

32 Neuronale Netze - Wettbewerbslernen Folie 32 ART - Architektur j i Erkennungsschicht F2 Vergleichssschicht F1 Eingabe I Binärvektor Matrix W ij R Matrix W ji (binär) S T U V v g2g2 g1g1

33 Neuronale Netze - Wettbewerbslernen Folie 33 ART - Architektur - Arbeitsweise Komponenten: Vergleichschicht (Comparison layer) F 1 Erkennungsschicht (recognition layer) F 2 zwei Verstärkungsfaktoren (je ein Neuron), gain (Gewinn) Reset-Komponente (ein Neuron) Vigilance (Wachsamkeit) Arbeitsweise: (1) Erkennungsphase(3) Suchphase (2) Vergleichsphase(4) Adaption der Gewichte j i W ij R W ji (binä r) S T U V v g2g2 g1g1

34 Neuronale Netze - Wettbewerbslernen Folie 34 ART - Initialisierung i,j : w ij 1, oft L=2 j,i : w ji = 1(von F 2 nach F 1 ) Toleranzparameter: 0 p 1 ; nahe 1: feine Unterschiede; nahe 0 grobe Klassifizierung j i W ij R W ji (binä r) S T U V v g2g2 g1g1

35 Neuronale Netze - Wettbewerbslernen Folie 35 ART - Erkennungsphase Eingabe=Nullvektor Verstärkung g 2 =0 und alle j abgeschaltet, V=Nullvektor Anlegen einer Eingabe I Nullvektor g 1 =1, g 2 =1 alle Neuronen i, deren Eingabe I i =1 ist feuern (nach 2/3-Regel) S ist Duplikat von I Bilden aller Skalarprodukte W j S (drückt Ähnlichkeit aus) J mit max. W j S gewinnt! und feuert( o J =1 ), alle anderen gebremst( o j =0 für j J ) u J =1 alle anderen Komponenten von U sind 0 nur ein Neuron der Erkennungsschicht feuert j i W ij R W ji (binä r) S T U V v g2g2 g1g1

36 Neuronale Netze - Wettbewerbslernen Folie 36 ART - Vergleichsphase jedes Neuron der Vergleichsschicht erhält v i =w Ji (0 oder 1) v i = u j w ji = w Ji da nun U Nullvektor: g 1 =0, nun feuern nur Neuronen i mit I i =1 und v i =1, damit werden Komponenten von S auf 0 gestellt, wo Speichermuster und Eingabe unterschiedlich sind; S = V I = W J I enthält S viele Nullen und I an diesen Positionen 1 dann ex. kein zur Eingabe ähnliches Muster Reset-Komponente feuert Neuron J (lieferte einzige 1) wird auf 0 gesetzt | S|/|T| = |W J I | / | I | p Reset erfolgt für |S|/|T|


37 Neuronale Netze - Wettbewerbslernen Folie 37 ART - Suchphase Falls Reset=1 (keine Ähnlichkeiten entdeckt) U=(0,..,0) und g 1 =1 und S wird wieder zur Kopie von I Suche nach neuem Gewinner-Neuron Prozess wird wiederholt bis: a) gespeichertes Muster gefunden, welches I genügend ähnlich ist b) kein gespeichertes Muster ähnlich neues Neuron j benutzt und W J entsprechend Eingabe I gesetzt j i W ij R W ji (binä r) S T U V v g2g2 g1g1

38 Neuronale Netze - Wettbewerbslernen Folie 38 ART - Adaption der Gewichte Fast training: Eingabe solange angelegt, bis Gewichte stabil werden: W J - Gewichtsmatrix von F (wandelt S in T um: von F 1 nach F 2 ) w iJ = Ls i / (L s k ) s i - Komponente des Ausgabevektrors von F 1 J - Nummer des Gewinnerneurons von F 2 L - Konstant s.o. L=2 w Ji = s i Der sogenannte top-down-Vektor W j = (w j1,...,w jm ) ist binäres Abbild des reellwertigen bottom-up Vektors W j = (w 1j,...,w mj ) j i W ij R W ji (binä r) S T U V v g2g2 g1g1

39 Neuronale Netze - Wettbewerbslernen Folie 39 ART - Theorem und Beispiele Nachdem Training stabilisiert ist, aktiviert ein Trainingsvektor das korrekte Neuron der Erkennungsschicht ohne Suche. Der Suchprozess ist stabil; Das Training ist stabil; Der Trainingsprozess terminiert. ART1 Beispiele aus SNNS: Buchstaben lernen: art1_letters.* Aufgabe: Bilden Sie das ART1-Neuronale Netz neu, benutzen Sie dazu die Option BigNet. Achten Sie auf korrekte Bias-Werte. Trainieren Sie das Netz. Entwickeln Sie ein ART1-Netz zur Klassifikation von Würfelzahlen.

40 Neuronale Netze - Wettbewerbslernen Folie 40 ART-Netz im SNNS

41 Neuronale Netze - Wettbewerbslernen Folie 41 Ende


Herunterladen ppt "Neuronale Netze - Wettbewerbslernen Folie 1 Wissensextraktion mittels künstlicher neuronaler Netze Wettbewerbslernen Uwe Lämmel Wismar Business School."

Ähnliche Präsentationen


Google-Anzeigen