Präsentation herunterladen
1
Wismar Business School
Wissensextraktion mittels künstlicher neuronaler Netze Wettbewerbslernen Uwe Lämmel
2
Inhalt Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase
Adaptive Resonanz Theorie
3
Wettbewerbslernen Aktivierung eines Neurons nicht nur von Eingabe abhängig Vergleich mehrere Neuronen notwendig Netzausgabe durch ein Gewinner-Neuron Architektur: Ziel: ähnliche Eingabe auf benachbarte Neuronen abbilden k-dim. Eingabevektor x N Neuronen, Gewinnerneuron nx
4
Wettbewerbslernen: Voronoi-Mosaik
Voronoi-Tesselation Voronoi-Mengen eines Neurons s: Menge aller Punkte, für die das Neuron s das Gewinner-Neuron ist Referenzvektor Ähnliche Eingaben auf benachbarte Neuronen abbilden
5
Netze und Verfahren Architektur fest SOM Neuronales Gas LBG variabel
Wachsende Neuronale Gase Wachsende Zellstrukturen Lernverfahren hart – nur Gewinner–Neuron wird adaptiert: LBG weich – auch andere Neuronen modifizieren: SOM, Neuronale Gase, wachsende Zellstrukturen
6
Inhalt Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase
Adaptive Resonanz Theorie
7
Selbstorganisierende Karten (SOM)
Fähigkeit des Gehirns zur Selbstorganisation nachbilden räumliche Lage eines Neurons im Kopf bedeutend (wurde bisher vernachlässigt) existieren Beziehungen räumlicher Art zur Umgebung Kohonen Feature Map zweischichtiger Muster-Assoziator Eingabe-Schicht voll vernetzt mit Karten-Schicht Neuronen der Karten-Schicht untereinander voll vernetzt (virtuell)
8
Clusterung Ziel: Alle Eingaben einer Klasse werden auf genau ein Neuron abgebildet f Eingabemenge A Ausgabe B ai Problem: Klassifikation im Eingaberaum allgemein nicht bekannt. Netz nimmt eine Clusterung vor.
9
Gewinner-Neuron Kohonen- Layer Input- Layer Winner Neuron
10
Lernen in SOM Wahl einer Eingabe k zufällig aus dem Problemraum
Das Neuron z mit maximaler Erregung wird bestimmt Anpassung der Gewichtsvektoren in der Nachbarschaft von z: Neuronen i innerhalb eines Radius r von z. Stopp – falls gewünschte Zahl von Lernzyklen erreicht, Sonst – Lernfaktor und Radius verkleinern und mit 1. fortfahren.
11
Erregungszentrum Prinzip: Neuronen (-gruppe) mit starker Erregung hemmen Gruppen in der Umgebung, um eigene Wirksamkeit zu erhöhen! Problem: Finden des Erregungszentrums – 2 Möglichkeiten: Neuron j mit maximalen Nettoinput Neuron j, dessen Gewichtsvektor wj der Eingabe am ähnlichsten ist (euklidischer Abstand): z: x - wz = minj x - wj
12
Anpassen der Gewichte Gewichte zu Neuronen innerhalb eines Radius r werden erhöht: Grad der Beeinflussung durch den räumlichen Abstand zum Erregungszentrum? Lernrate (t) sowie Radius r(t) laufen gegen null Kohonen benutzt Funktion : Mexican-Hat-Annäherung 0,5 1 -3 -2 -1 2 3
13
SOM Training – Summary Kohonen layer input pattern mp Wj find the winner neuron z for an input pattern p (minimal Euclidian distance) adapt weights of connections input – neurons to winner neuron neighbours Reduce and r (see parameter (H) and (R) in JavaNNS – Kohonen Randomize training patterns
14
Beispiel Bankkunde A1: Kredit Geschichte A2: Schulden A3: Sicherheiten
A4: Einkommen Klassifikation bleibt unbeachtet SOM nimmt Clusterung vor
15
Bank-Kunde gut = {5,6,9,10,12} normal = {3, 8, 13}
schlecht = {1,2,4,7,11,14}
16
Credit Scoring Pascal tool box (1991) 10x10 neurons
32,000 training steps
17
Visualisation of a SOM Colour reflects Euclidian distance to input
Weights used as coordinates of a neuron Colour reflects cluster NetDemo ColorDemo TSPDemo
18
Das Rundreiseproblem Travelling Salesman Problem (TSP):
Es sind mehrere Orte zu besuchen und danach ist zum Ausgangsort zurückzukehren. Welches ist der kürzeste (schnellste) Weg für eine derartige Rundreise?
19
Komplexität des Rundreiseproblems
Wismar Schwerin Rostock Stralsund Greifswald Neubrandenburg Aufwand zum Durchsuchen aller Möglichkeiten: (Pascal-Programm, PC Technik, Stand ca. 1998) 18 Kreis- und kreisfreie Städte in MV !
20
Draw a neuron at position:
SOM solves TSP Kohonen layer input Draw a neuron at position: (x,y)=(w1i,w2i) w1i= six X w2i= siy Y
21
SOM löst TSP Initialer Kreis expandiert zu Rundkurs
Lösungen für mehrere hundert Orte in kurzer Zeit möglich Rundkurs muss nicht optimal sein
22
Beispiele Probieren sie die Clusterung von Tieren (Kruse) aus. Verändern Sie den Trainingssatz (Austausch eines Tieres) und vergleichen Sie die entstehende Clusterung. Machen Sie sich mit der Lösung des Rundreiseproblems mittels einer SOM vertraut. Greifen Sie auf das Beispiel Wetter-Spiel zurück und clustern Sie diese Daten. Vergleichen Sie das Ergebnis mit der gegebenen Klassifikation
23
Inhalt Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase
Adaptive Resonanz Theorie
24
Neuronales Gas für Eingabesignal werden alle Neuronen nach ihrem Abstand zur Eingabe geordnet Adaption entspricht dem Rang des Neurons Adaption gemäß Zeit- und Reichweiten-Faktor Wachsende Gase: Einfügen eines neuen Neurons zwischen Neuron mit größtem Fehler und einem Nachbarn
25
Hebb‘sches Wettbewerbslernen
Zwischen Gewinner-Neuron und „zweitem“ Gewinner wird neue Verbindung eingefügt: Wird in Zusammenhang mit anderen Verfahren verwendet, z.B. Neuronalen Gasen,
26
Wachsende Zellstrukturen/Gitter
Verbindungen bilden Simplex, z.B. Dreieck Gitter: rechteckige Gitterstruktur
27
LBG - Linde, Bozo, Gray (1980) Batch-Verfahren
Referenzvektor wird in Richtung des Schwerpunktes der Voronoi-Menge bewegt hartes Lernverfahren
28
Inhalt Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase
Adaptive Resonanz Theorie
29
Adaptive Resonance Theory (ART)
Bisher: Training eines neuen Musters kann Gewichte so zerstören, dass alte Muster nicht mehr erkannt werden Stabilitätsproblem Wie neue Muster und deren Klassifizierungen lernen, ohne dass vorhandene Klassifizierungen verlernt werden? Plastizitätsproblem ART: (entwickelt von Grossberg und G. Carpenter) zufällige Folge von Eingaben (Vektoren) unüberwacht klassifizieren (ohne äußere Einwirkung) Annäherung an biologisches Verhalten Familie hybrider neuronaler Netze; hier: ART1: binäre Eingabevektoren
30
ART - Modell w1 Winkel p: Aufmerksamkeitsabstand Klassifikationsraum
31
ART - Arbeitsweise Arbeitsweise:
Netz versucht Eingabevektor in vorhandene Kategorie zu klassifizieren; Falls KEINE Ähnlichkeit mit gespeicherten Kategorien neue Kategorie; Falls Kategorie gefunden, wird gespeichertes Muster leicht korrigiert, um Ähnlichkeit mit neuer Eingabe zu erreichen; Muster ohne Ähnlichkeit zur Eingabe bleiben unverändert
32
ART - Architektur Erkennungsschicht F2 j g2 U T Matrix WijR
Vergleichssschicht F1 Eingabe I Binärvektor Matrix WijR Wji (binär) S T U V + - ... v g2 g1
33
ART - Architektur - Arbeitsweise
j i WijR Wji (binär) S T U V + - ... v g2 g1 Komponenten: Vergleichschicht (Comparison layer) F1 Erkennungsschicht (recognition layer) F2 zwei Verstärkungsfaktoren (je ein Neuron), gain (Gewinn) Reset-Komponente (ein Neuron) Vigilance (Wachsamkeit) Arbeitsweise: (1) Erkennungsphase (3) Suchphase (2) Vergleichsphase (4) Adaption der Gewichte
34
ART - Initialisierung j i WijR Wji (binär) S T U V + - ... v g2 g1 i,j : wij < L/(L-1+m) (von F1 nach F2) iF1, jF2 , m=length( I ), L - Konstante L>1, oft L=2 j,i : wji = 1 (von F2 nach F1) Toleranzparameter: 0p1 ; nahe 1: feine Unterschiede; nahe 0 grobe Klassifizierung
35
ART - Erkennungsphase j i WijR Wji (binär) S T U V + - ... v g2 g1 Eingabe=Nullvektor Verstärkung g2=0 und alle j abgeschaltet, V=Nullvektor Anlegen einer Eingabe I Nullvektor g1=1, g2=1 alle Neuronen i , deren Eingabe Ii=1 ist feuern (nach 2/3-Regel) S ist Duplikat von I Bilden aller Skalarprodukte WjS (drückt Ähnlichkeit aus) J mit max. WjS “gewinnt”! und feuert(oJ=1), alle anderen gebremst(oj =0 für jJ) uJ=1 alle anderen Komponenten von U sind 0 nur ein Neuron der Erkennungsschicht feuert
36
ART - Vergleichsphase j i WijR Wji (binär) S T U V + - ... v g2 g1 jedes Neuron der Vergleichsschicht erhält vi=wJi (0 oder 1) vi = ujwji = wJi da nun UNullvektor: g1=0, nun feuern nur Neuronen i mit Ii=1 und vi=1, damit werden Komponenten von S auf 0 gestellt, wo Speichermuster und Eingabe unterschiedlich sind; S = V I = WJ I enthält S viele Nullen und I an diesen Positionen 1 dann ex. kein zur Eingabe ähnliches Muster Reset-Komponente feuert Neuron J (lieferte einzige 1) wird auf 0 gesetzt |S|/|T| = |WJ I | / | I | p Reset erfolgt für |S|/|T|<p p=1 totale Übereinstimmung, p=0 nur eine Klasse üblich: 0.7p0.99
37
ART - Suchphase j i WijR Wji (binär) S T U V + - ... v g2 g1 Falls Reset=1 (keine Ähnlichkeiten entdeckt) U=(0,..,0) und g1=1 und S wird wieder zur Kopie von I Suche nach neuem Gewinner-Neuron Prozess wird wiederholt bis: a) gespeichertes Muster gefunden, welches I genügend ähnlich ist b) kein gespeichertes Muster ähnlich neues Neuron j benutzt und WJ entsprechend Eingabe I gesetzt
38
ART - Adaption der Gewichte
j i WijR Wji (binär) S T U V + - ... v g2 g1 Fast training: Eingabe solange angelegt, bis Gewichte stabil werden: WJ - Gewichtsmatrix von F (wandelt S in T um: von F1 nach F2 ) wiJ= Lsi / (L sk) si- Komponente des Ausgabevektrors von F1 J- Nummer des Gewinnerneurons von F2 L- Konstant s.o. L=2 wJi = si Der sogenannte top-down-Vektor Wj = (wj1,...,wjm) ist binäres Abbild des reellwertigen bottom-up Vektors Wj = (w1j,...,wmj)
39
ART - Theorem und Beispiele
Nachdem Training stabilisiert ist, aktiviert ein Trainingsvektor das korrekte Neuron der Erkennungsschicht ohne Suche. Der Suchprozess ist stabil; Das Training ist stabil; Der Trainingsprozess terminiert. ART1 Beispiele aus SNNS: Buchstaben lernen: art1_letters.* Aufgabe: Bilden Sie das ART1-Neuronale Netz neu, benutzen Sie dazu die Option BigNet. Achten Sie auf korrekte Bias-Werte. Trainieren Sie das Netz. Entwickeln Sie ein ART1-Netz zur Klassifikation von Würfelzahlen.
40
ART-Netz im SNNS
41
Ende
Ähnliche Präsentationen
© 2024 SlidePlayer.org Inc.
All rights reserved.