Wismar Business School Wissensextraktion mittels künstlicher neuronaler Netze Wettbewerbslernen Uwe Lämmel www.wi.hs-wismar.de/~laemmel Uwe.Laemmel@hs-wismar.de

Inhalt Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie

Wettbewerbslernen Aktivierung eines Neurons nicht nur von Eingabe abhängig Vergleich mehrere Neuronen notwendig Netzausgabe durch ein Gewinner-Neuron Architektur: Ziel: ähnliche Eingabe auf benachbarte Neuronen abbilden k-dim. Eingabevektor x N Neuronen, Gewinnerneuron nx

Wettbewerbslernen: Voronoi-Mosaik Voronoi-Tesselation Voronoi-Mengen eines Neurons s: Menge aller Punkte, für die das Neuron s das Gewinner-Neuron ist Referenzvektor Ähnliche Eingaben auf benachbarte Neuronen abbilden

Netze und Verfahren Architektur fest SOM Neuronales Gas LBG variabel Wachsende Neuronale Gase Wachsende Zellstrukturen Lernverfahren hart – nur Gewinner–Neuron wird adaptiert: LBG weich – auch andere Neuronen modifizieren: SOM, Neuronale Gase, wachsende Zellstrukturen

Inhalt Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie

Selbstorganisierende Karten (SOM) Fähigkeit des Gehirns zur Selbstorganisation nachbilden räumliche Lage eines Neurons im Kopf bedeutend (wurde bisher vernachlässigt) existieren Beziehungen räumlicher Art zur Umgebung Kohonen Feature Map  zweischichtiger Muster-Assoziator Eingabe-Schicht voll vernetzt mit Karten-Schicht Neuronen der Karten-Schicht untereinander voll vernetzt (virtuell)

Clusterung Ziel: Alle Eingaben einer Klasse werden auf genau ein Neuron abgebildet f Eingabemenge A Ausgabe B ai Problem: Klassifikation im Eingaberaum allgemein nicht bekannt. Netz nimmt eine Clusterung vor.

Gewinner-Neuron Kohonen- Layer Input- Layer Winner Neuron

Lernen in SOM Wahl einer Eingabe k zufällig aus dem Problemraum Das Neuron z mit maximaler Erregung wird bestimmt Anpassung der Gewichtsvektoren in der Nachbarschaft von z: Neuronen i innerhalb eines Radius r von z. Stopp – falls gewünschte Zahl von Lernzyklen erreicht, Sonst – Lernfaktor und Radius verkleinern und mit 1. fortfahren.

Erregungszentrum Prinzip: Neuronen (-gruppe) mit starker Erregung hemmen Gruppen in der Umgebung, um eigene Wirksamkeit zu erhöhen! Problem: Finden des Erregungszentrums – 2 Möglichkeiten: Neuron j mit maximalen Nettoinput Neuron j, dessen Gewichtsvektor wj der Eingabe am ähnlichsten ist (euklidischer Abstand): z:  x - wz  = minj  x - wj 

Anpassen der Gewichte Gewichte zu Neuronen innerhalb eines Radius r werden erhöht: Grad der Beeinflussung durch den räumlichen Abstand zum Erregungszentrum? Lernrate (t) sowie Radius r(t) laufen gegen null Kohonen benutzt Funktion : Mexican-Hat-Annäherung 0,5 1 -3 -2 -1 2 3

SOM Training – Summary Kohonen layer input pattern mp Wj find the winner neuron z for an input pattern p (minimal Euclidian distance) adapt weights of connections input – neurons to winner neuron neighbours Reduce  and r (see parameter (H) and (R) in JavaNNS – Kohonen Randomize training patterns

Beispiel Bankkunde A1: Kredit Geschichte A2: Schulden A3: Sicherheiten A4: Einkommen Klassifikation bleibt unbeachtet SOM nimmt Clusterung vor

Bank-Kunde gut = {5,6,9,10,12} normal = {3, 8, 13} schlecht = {1,2,4,7,11,14}

Credit Scoring Pascal tool box (1991) 10x10 neurons 32,000 training steps

Visualisation of a SOM Colour reflects Euclidian distance to input Weights used as coordinates of a neuron Colour reflects cluster NetDemo ColorDemo TSPDemo

Das Rundreiseproblem Travelling Salesman Problem (TSP): Es sind mehrere Orte zu besuchen und danach ist zum Ausgangsort zurückzukehren. Welches ist der kürzeste (schnellste) Weg für eine derartige Rundreise?

Komplexität des Rundreiseproblems Wismar Schwerin Rostock Stralsund Greifswald Neubrandenburg Aufwand zum Durchsuchen aller Möglichkeiten: (Pascal-Programm, PC Technik, Stand ca. 1998) 18 Kreis- und kreisfreie Städte in MV !

Draw a neuron at position: SOM solves TSP Kohonen layer input Draw a neuron at position: (x,y)=(w1i,w2i) w1i= six X w2i= siy Y

SOM löst TSP Initialer Kreis expandiert zu Rundkurs Lösungen für mehrere hundert Orte in kurzer Zeit möglich Rundkurs muss nicht optimal sein

Beispiele Probieren sie die Clusterung von Tieren (Kruse) aus. Verändern Sie den Trainingssatz (Austausch eines Tieres) und vergleichen Sie die entstehende Clusterung. Machen Sie sich mit der Lösung des Rundreiseproblems mittels einer SOM vertraut. Greifen Sie auf das Beispiel Wetter-Spiel zurück und clustern Sie diese Daten. Vergleichen Sie das Ergebnis mit der gegebenen Klassifikation

Inhalt Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie

Neuronales Gas für Eingabesignal werden alle Neuronen nach ihrem Abstand zur Eingabe geordnet Adaption entspricht dem Rang des Neurons Adaption gemäß Zeit- und Reichweiten-Faktor Wachsende Gase: Einfügen eines neuen Neurons zwischen Neuron mit größtem Fehler und einem Nachbarn

Hebb‘sches Wettbewerbslernen Zwischen Gewinner-Neuron und „zweitem“ Gewinner wird neue Verbindung eingefügt: Wird in Zusammenhang mit anderen Verfahren verwendet, z.B. Neuronalen Gasen,

Wachsende Zellstrukturen/Gitter Verbindungen bilden Simplex, z.B. Dreieck Gitter: rechteckige Gitterstruktur

LBG - Linde, Bozo, Gray (1980) Batch-Verfahren Referenzvektor wird in Richtung des Schwerpunktes der Voronoi-Menge bewegt hartes Lernverfahren

Inhalt Wettbewerbslernen Selbstorganisierende Karte Neuronale Gase Adaptive Resonanz Theorie

Adaptive Resonance Theory (ART) Bisher: Training eines neuen Musters kann Gewichte so zerstören, dass alte Muster nicht mehr erkannt werden  Stabilitätsproblem Wie neue Muster und deren Klassifizierungen lernen, ohne dass vorhandene Klassifizierungen verlernt werden?  Plastizitätsproblem ART: (entwickelt von Grossberg und G. Carpenter) zufällige Folge von Eingaben (Vektoren) unüberwacht klassifizieren (ohne äußere Einwirkung) Annäherung an biologisches Verhalten Familie hybrider neuronaler Netze; hier: ART1: binäre Eingabevektoren

ART - Modell w1 Winkel p: Aufmerksamkeitsabstand Klassifikationsraum

ART - Arbeitsweise Arbeitsweise: Netz versucht Eingabevektor in vorhandene Kategorie zu klassifizieren; Falls KEINE Ähnlichkeit mit gespeicherten Kategorien neue Kategorie; Falls Kategorie gefunden, wird gespeichertes Muster leicht korrigiert, um Ähnlichkeit mit neuer Eingabe zu erreichen; Muster ohne Ähnlichkeit zur Eingabe bleiben unverändert

ART - Architektur Erkennungsschicht F2 j g2 U T Matrix WijR Vergleichssschicht F1 Eingabe I Binärvektor Matrix WijR Wji (binär) S T U V + - ... v g2 g1

ART - Architektur - Arbeitsweise j i WijR Wji (binär) S T U V + - ... v g2 g1 Komponenten: Vergleichschicht (Comparison layer) F1 Erkennungsschicht (recognition layer) F2 zwei Verstärkungsfaktoren (je ein Neuron), gain (Gewinn) Reset-Komponente (ein Neuron) Vigilance (Wachsamkeit) Arbeitsweise: (1) Erkennungsphase (3) Suchphase (2) Vergleichsphase (4) Adaption der Gewichte

ART - Initialisierung j i WijR Wji (binär) S T U V + - ... v g2 g1 i,j : wij < L/(L-1+m) (von F1 nach F2) iF1, jF2 , m=length( I ), L - Konstante L>1, oft L=2 j,i : wji = 1 (von F2 nach F1) Toleranzparameter: 0p1 ; nahe 1: feine Unterschiede; nahe 0 grobe Klassifizierung

ART - Erkennungsphase j i WijR Wji (binär) S T U V + - ... v g2 g1 Eingabe=Nullvektor  Verstärkung g2=0 und alle j abgeschaltet,  V=Nullvektor Anlegen einer Eingabe I Nullvektor  g1=1, g2=1  alle Neuronen i , deren Eingabe Ii=1 ist feuern (nach 2/3-Regel)  S ist Duplikat von I  Bilden aller Skalarprodukte WjS (drückt Ähnlichkeit aus)  J mit max. WjS “gewinnt”! und feuert(oJ=1), alle anderen gebremst(oj =0 für jJ)  uJ=1 alle anderen Komponenten von U sind 0 nur ein Neuron der Erkennungsschicht feuert

ART - Vergleichsphase j i WijR Wji (binär) S T U V + - ... v g2 g1 jedes Neuron der Vergleichsschicht erhält vi=wJi (0 oder 1) vi =  ujwji = wJi da nun UNullvektor: g1=0, nun feuern nur Neuronen i mit Ii=1 und vi=1, damit werden Komponenten von S auf 0 gestellt, wo Speichermuster und Eingabe unterschiedlich sind; S = V  I = WJ  I enthält S viele Nullen und I an diesen Positionen 1 dann ex. kein zur Eingabe ähnliches Muster  Reset-Komponente feuert  Neuron J (lieferte einzige 1) wird auf 0 gesetzt |S|/|T| = |WJ  I | / | I |  p Reset erfolgt für |S|/|T|<p p=1  totale Übereinstimmung, p=0  nur eine Klasse  üblich: 0.7p0.99

ART - Suchphase j i WijR Wji (binär) S T U V + - ... v g2 g1 Falls Reset=1 (keine Ähnlichkeiten entdeckt) U=(0,..,0) und g1=1 und S wird wieder zur Kopie von I  Suche nach neuem Gewinner-Neuron Prozess wird wiederholt bis: a) gespeichertes Muster gefunden, welches I genügend ähnlich ist b) kein gespeichertes Muster ähnlich neues Neuron j benutzt und WJ entsprechend Eingabe I gesetzt

ART - Adaption der Gewichte j i WijR Wji (binär) S T U V + - ... v g2 g1 Fast training: Eingabe solange angelegt, bis Gewichte stabil werden: WJ - Gewichtsmatrix von F (wandelt S in T um: von F1 nach F2 ) wiJ= Lsi / (L - 1 + sk) si- Komponente des Ausgabevektrors von F1 J- Nummer des Gewinnerneurons von F2 L- Konstant s.o. L=2 wJi = si Der sogenannte top-down-Vektor Wj = (wj1,...,wjm) ist binäres Abbild des reellwertigen bottom-up Vektors Wj = (w1j,...,wmj)

ART - Theorem und Beispiele Nachdem Training stabilisiert ist, aktiviert ein Trainingsvektor das korrekte Neuron der Erkennungsschicht ohne Suche. Der Suchprozess ist stabil; Das Training ist stabil; Der Trainingsprozess terminiert. ART1 Beispiele aus SNNS: Buchstaben lernen: art1_letters.* Aufgabe: Bilden Sie das ART1-Neuronale Netz neu, benutzen Sie dazu die Option BigNet. Achten Sie auf korrekte Bias-Werte. Trainieren Sie das Netz. Entwickeln Sie ein ART1-Netz zur Klassifikation von Würfelzahlen.

ART-Netz im SNNS

Ende