Kohonen-Feature-Map Selbstorganisierende Neuronale Netze Achtung: Wir machen viele Vereinfachungen! NeuroLab Martin Reiche 2014

Leistung des Nervensystems Das menschliche Gehirn empfängt Nervenimpulse. (mit 100 MB/s) Aus den eingehenden Impulsen erzeugt unser Gehirn die gesamte Wahrnehmung der Welt. (mit Hilfe des Gedächtnisses) UND Das Gehirn sendet Nervenimpulse. (mit 50 MB/sec) Die ausgehenden Impulse steuern unseren Körper inklusive der Sprache. Input: 2,5 Mio Fasern Neuronen im Gehirn: 10 E10 (10 Mrd). Ein Neuron feuert mit maximal 300 Hz Output: 1,5 Mio Fasern Quelle: Spitzer – Lernen S.53f. NeuroLab Martin Reiche 2014

Wirkungskreislauf bei der Verhaltenssteuerung Auge Neuronen Welt Gehirn Dieses Bild kennen wir aus der Präsentation zu EvoLab. Die physikalischen Reize der Umwelt werden von den Sinnesorganen aufgenommen (Auge nur Beispiel!) Von dort werden sie durch Nervenzellen weiter geleitet Das Gehirn „verarbeitet“ die Impulse (mehr als diese empfängt es nicht -> universeller Code) Das Gehirn gibt „Befehle“ in Form von Nervenimpulsen an die Muskeln. Diese wirken auf den Körper bzw. die Welt. Der Kreislauf ist geschlossen. Beine NeuroLab Martin Reiche 2014

Wichtige Leistung des Gehirns Das Gehirn kann wiedererkennen d.h. einen Sinneseindruck einem Gedächtnisinhalt zuordnen. Dazu ist es bei Geburt natürlich nicht in der Lage. (Simpler Grund: Die Beschaffenheit der Umwelt ist vor der Geburt ja nicht bekannt.) Also muss das Gehirn diese Fähigkeit erwerben. Ausnahmen von dieser Regel: Angeborenes Verhalten (Instinkte). Das Erkennen einer tödlichen Gefahr lässt sich nicht immer erlernen! Da muss die Selektion eingreifen und ein Fluchverhalten von Geburt an ermöglichen.  „Angeborener Gedächtnisinhalt“: Wie seiht mein Fressfeind aus? NeuroLab Martin Reiche 2014

Konsequenz Diese Fragen wollen wir an einem Modell untersuchen. Wiedererkennen setzt Lernen voraus. Das wirft zwei Fragen auf: Wie wird Gelerntes im Gehirn gespeichert? Wie vollzieht sich der Lernvorgang? Diese Fragen wollen wir an einem Modell untersuchen. NeuroLab Martin Reiche 2014

Natürliches Neuron (schematisch) Dendriten, Synapsen, Axon -> Input, Synapsengewicht, Output Bei geringer (großer) Aktivierung kleine (große) Depolarisationsfrequenz. Unser Gehirn enthält etwa 100 Milliarden Neuronen. Jede ist über ihre Dendriten mit bis zu 10000 anderen verbunden. Axone können sich verzweigen und ihre Signale an viele andere Neurone weiter leiten. NeuroLab Martin Reiche 2014

Vom Aktionspotenzial zur Erregung 1 t 0,5 Wichtiger Abstraktionsschritt t t Impulsfrequenz NeuroLab Martin Reiche 2014

Modell eines Neurons Σ Synapsengewichte W2 W1 W3 Output an andere Neuronen Input von anderen Neuronen Die Synapsengewichte w können prinzipiell erregend oder hemmend sein! Summation Schwellwertfunktion NeuroLab Martin Reiche 2014

Beispiel: Auge mit 3 Sehzellen NeuroLab Martin Reiche 2014

Netzwerk zur Erkennung „Netzhaut“ „Gehirn“ Schwellwert- funktion ? 0,8 Die Erregung eines Ouput Neurons berechnet sich wie folgt: Jedes Signal auf einer eingehenden Leitung wird mit dem Synapsengewicht (im Bild: ?) multipliziert Alle diese Werte (hier immer 3) werden addiert. Die Erregung des Output-Neurons ist 1, falls die Summe > 0,8 ist. Ansonsten ist sie 0. Lösung (von oben nach unten): 0,5 -0,5 0,5 0,3 0,3 0,3 -0,3 1 -0,3 Input-Neurone Output-Neurone NeuroLab Martin Reiche 2014

Bedeutsame Bilder A, B, C Die Schwärzung der Neuronen bedeutet eine Erregung von 1. Weiße Neuronen sind nicht erregt. Die Verhaltensweisen eines Tiers mit diesem Netzwerk könnten lauten: Wegspringen (Strecken des Beinmuskels) Aufessen (Betätigen des Kaumuskels) Nichtstun / Verdauen (Sekretion von Magensaft)  Die Erkennungsleistung ist also in der Form von Synapsengewichten kodiert. Wie müssen die Synapsengewichte gewählt werden, damit das Netzwerk die gewünschte Reaktion zeigt? (Bei allen anderen Mustern soll kein Output erfolgen) NeuroLab Martin Reiche 2014

Lösung „Netzhaut“ „Gehirn“ 0,5 0,8 -0,5 0,5 0,3 0,8 0,3 0,3 -0,3 1 0,8 Schwellen- funktion 0,5 0,8 -0,5 0,5 0,3 0,8 0,3 0,3 Die Erregung eines Ouput Neurons berechnet sich wie folgt: Jedes Signal auf einer eingehenden Leitung wird mit dem Synapsengewicht (im Bild: ?) multipliziert Alle diese Werte (hier immer 3) werden addiert. Die Erregung des Output-Neurons ist 1, falls die Summe > 0,8 ist. Ansonsten ist sie 0. Lösung (von oben nach unten): 0,5 -0,5 0,5 0,3 0,3 0,3 -0,3 1 -0,3 -0,3 1 0,8 -0,3 Input-Neurone Output-Neurone NeuroLab Martin Reiche 2014

Modell des Gedächtnisses Die Frage: Wie wird Gelerntes im Gehirn gespeichert? Beantworten wir: Das Gelernte steckt in den Synapsengewichten! Nächste Frage: Wie kommt es dahin? NeuroLab Martin Reiche 2014

Lernregel nach Hebb (1949) „Sind zwei miteinander verbundene Neuronen gleichzeitig aktiv, so verstärkt sich die synaptische Verbindung zwischen ihnen.“ Wie werden nun die Synapsengewichte verändert? Diese Regel konnte an natürlichen Neuronen experimentell nachgewiesen werden! NeuroLab Martin Reiche 2014

Kohonen-Netzwerk NeuroLab Martin Reiche 2014 Teuvo Kohonen, finnischer Ingenieur hat dieses Modell in den frühen 1980er Jahren entwickelt. Neuronen der Eingangsschicht erregen die Neuronen der Kohonen-Schicht. An diesem Netzwerk soll der Erkennungs- und Lernvorgang gezeigt werden. Es hat dieselbe Struktur wie unser Beispielnetzwerk! NeuroLab Martin Reiche 2014

Kohonen-Netzwerk Kohonen-Schicht (rot) Eingangsschicht (blau) NeuroLab Jedes Eingangsneuron ist mit jedem Neuron der Kohonen-Schicht verbunden. Bei 15 Eingangsneuronen und 25 Kohonen-Neuronen ergibt dies 15*25 = 375 Synapsengewichte. Eingangsschicht (blau) NeuroLab Martin Reiche 2014

Lernen im Kohonen-Netzwerk Man definiert Trainingsmuster, die wiedererkannt werden sollen. Diese Muster werden wiederholt auf die Eingangsschicht gelegt. Nach jedem Schritt wird die Hebb‘sche Lernregel angewendet. NeuroLab Martin Reiche 2014

Lernen in NeuroLab Start Synapsengewichte auf Zufallswerte setzen Ein Trainingsmuster zufällig wählen Neuron mit maximaler Erregung = gewinnendes Neuron (GN) finden Synapsengewichte des GN sowie seiner Nachbarn gemäß der Hebb‘schen Regel etwas an das Trainingsmuster anpassen Lernrate und Kopplungsradius verringern Das „etwas“ entspricht der Lernrate NeuroLab Martin Reiche 2014

Kohonen-Netzwerk Die Eingangsneuronen stehen in keinem Nachbarschaftsverhältnis zueinander. Ihre Anordnung ist bedeutungslos. Benachbarte Neuronen der Kohonen-Schicht dagegen erregen sich gegenseitig. Diese Erregung nimmt mit der Entfernung ab. („Mexican Hat“) Modellvereinfachung: Letztere 2 Punkte treffen nur für den Lernvorgang zu. (Der erste Punkt gilt immer) NeuroLab Martin Reiche 2014

Lernen in NeuroLab C# Quellcode Für alle Neuronen der Kohonenschicht und alle Eingabeneuronen i,j: w[i,j] += hat * eps * (iL.eNorm[i,j] - w[i,j]); Wirkung: Die Synapsengewichte w des Neurons werden ein Stück in Richtung des Eingabemusters iL.eNorm verschoben. NeuroLab Martin Reiche 2014

Lernen in NeuroNet Die Neuronen der Kohonenschicht organisieren sich: Einzelne Neuronen werden durch bestimmte Eingangsmuster erregt, sie repräsentieren diese. Ähnliche Eingangsmuster erregen benachbarte Bereiche. Es entstehen Karten. NeuroLab Martin Reiche 2014

Lernen in NeuroNet: somatotopische Karte (1) Eingangsversuch: Beschreibe den Handteller deines Nachbarn - der die Augen geschlossen hält - mit den Buchstaben eines Wortes. Er wird dir das Wort sagen können. Was muss da funktioniert haben? Im Kopf muss eine Abbildung des Handtellers existieren, von der das Gehirn die Buchstaben ablesen kann. Diese Abbildung kann aber von Geburt an nicht existieren, denn dazu müsste eine exakte „Verdrahtung“ der afferenten Neurone erfolgen. Die gibt es nicht. NeuroLab Martin Reiche 2014

Lernen in NeuroNet: somatotopische Karte (2) Aber was man nicht kann, kann man ja lernen! Das Gehirn macht sich die Tatsachen zunutze, dass typischerweise immer mehrere Sensoren zeitgleich aktiviert werden. Das dient dem Gehirn als Hinweis auf Nachbarschaft. So puzzelt sich das Gehirn im Laufe tausender Berührungen an der Körper- oberfläche eine Karte zusammen, die sogenannte somatotopische Karte. Ähnliches geschieht auch beim Sehen und Hören (retinotopische und tonotopische Karten) NeuroLab Martin Reiche 2014

Lernen in NeuroNet: somatotopische Karte (3) Eine 5x5 Eingangsschicht wird mit einer 10x10 Kohonenschicht verbunden. Die Neuronen der Eingangsschicht sollen den Tastsinn von 5x5 benachbarten Hautbereichen, z.B. des Handtellers darstellen. Nun „berühren“ wir den „Handteller“ mit bestimmten Mustern und erwarten, dass sich in der Kohonenschicht eine somatotopische Karte einstellt. NeuroLab Martin Reiche 2014

Lernen in NeuroNet: somatotopische Karte (4) Der Eingangsschicht werden tausende Male folgende Muster präsentiert: NeuroLab Martin Reiche 2014

Lernen in NeuroNet: somatotopische Karte (5) Nach der Lernphase werden die Eingangsneuronen wie folgt abgebildet: y e a e Perfekt! In der Kohonenschicht sind die gewinnenden Neuronen (GN) rot bezeichnet. Beispiel: Wird nur das Neuron „a“ in der Eingangsschicht erregt, gewinnt das korrespondierende Neuron „a“ in der Kohonenschicht. D.h. die Abbildung ist zwar um eine Diagonale gespiegelt (warum?), aber ansonsten liegen alle GN am richtigen Platz. Siehe auch http://de.wikipedia.org/wiki/Self-Organizing_Maps : „Training einer SOM im Beispiel“ u y u a NeuroLab Martin Reiche 2014