Konnektionismus: Pattern Association Simulationsumgebung tlearn Projektseminar Konnektionistische Sprachverarbeitung WS 2009/2010

Pattern Association McLeod, Plunkett & Rolls (1998) Kapitel 3: Pattern association Assoziation eines Stimulus mit einem anderen Projektseminar Konnektionistische Sprachverarbeitung + ‚Geschmack von Schokolade‘

Klassisches Konditionieren Pavlov (1903): Bedingte Reflexe Konditionierter Speichelfluss beim Hund 1.UCS→ UCR 2.CS + UCS→ UCR 3.CS→ CR Projektseminar Konnektionistische Sprachverarbeitung 3 I. P. Pavlow UCS: Geruch des Futters UCR: erhöhte Speichelabsonderung CS: Glockenton (kurz vor Fütterung) CR: schwach erhöhtes Speichern

Hebb‘sches Lernen Hebb (1949): Langzeitpotenzierung – Dauerhafte Veränderung synaptischer Leitfähigkeit – Entsteht durch gleichzeitige prä- und postsynaptische Aktivität… „fire together, wire together!“ Projektseminar Konnektionistische Sprachverarbeitung 4 D.O. Hebb Im Beispiel: Assoziation von Pattern 1 ( ) undPattern 2 ( )

Hebb‘sches Lernen If there is an activity on input axon j when neuron i is active then the strength of the connection w ij between axon j and dendrite i is increased Hebb‘sche Regel der Gewichtsveränderung: Δw ij = ε a i a j Δ: Gewichtsanpassung w ij : Gewicht zwischen den Neuronen j und i a i : Aktivität des Neurons i (in Pattern 1) a j : Aktivität des Neurons j (in Pattern 2) ε: Lernrate (= Stärke der Gewichtsanpassung) Projektseminar Konnektionistische Sprachverarbeitung 5

Hebb‘sches Lernen Projektseminar Konnektionistische Sprachverarbeitung 6 Δw ij = ε a i a j ε = 1.0

Recall/Retrieval Abruf/Erinnern gelernter Muster netinput i = ∑ j a j w ij Aktivationsfunktion: – Schwellenwertfunktion – Schwellenwert = Projektseminar Konnektionistische Sprachverarbeitung 7 ++ = ***

Lernen mehrerer Assoziationen Verschiedene Assoziationen: Kombinierte Gewichtsmatrizen Projektseminar Konnektionistische Sprachverarbeitung 8 Aber: Limit möglicher Speicherung durch Inferenzen/ Überlagerung!

Abruf verschiedener Assoziationen Projektseminar Konnektionistische Sprachverarbeitung = = = = = = =

Repräsentationen als Vektoren Mentale Strukturen und Prozesse als Zustände im n-dimensionalen Raum Input-Muster ≈ Vektor Gewichte ≈ Matrix Gewichte eines (Output-)Neurons ≈ Vektor Ähnlichkeit zweier Vektoren: Skalarprodukt = Summe der übereinstimmenden Vektorenpositionen Projektseminar Konnektionistische Sprachverarbeitung 10 Inputvektor j ( ) Gewichtsvektor zu Neuron i ( ) Kreuzprodukt = (1*1 + 0*0 + 1*0 + 1*1 + 0*1 + 1*0 + 0*0 + 0*1) = ( ) = 2

Ähnlichkeit von Vektoren Ähnlichkeit/Unterschiedlichkeit von Abrufmustern lässt sich an der Größe des Skalarprodukts aus Hinweisreiz und Gewichten zu einem Neuron ablesen Je größer das Skalarprodukt, desto ähnlicher Je kleiner das Skalarprodukt, desto unähnlicher Im Extrem (= 0) orthogonal! Neuronenaktivität als Ähnlichkeitsmessung zwischen gelernter Gewichtsmatrix und Hinweisreiz Projektseminar Konnektionistische Sprachverarbeitung 11

Eigenschaften: Generalisierung Übertragung des Kategorisierungswissens für gelernte Stimuli auf neue (noch nie gesehene) Stimuli auf Grund ihrer Ähnlichkeitszugehörigkeit Projektseminar Konnektionistische Sprachverarbeitung 12 Aprikose: ( ) verschrumpelte Aprikose: ( )

Eigenschaften: Prototypenextraktion Prototypentheorie Graduelle Zugehörigkeit von Mitgliedern zur Klasse Prototyp = bestes Exemplar/zentraler Vertreter Unscharfe Kategoriengrenzen …im Vergleich zur aristotelischen Klassifikation (Definition nach notwendigen und hinreichenden Merkmalen) psychologisch orientiertes Modell menschlicher Kategorisierung Prototypenextraktion in KNN Ähnliche Inputmuster einer Kategorie bilden eine Gewichtsmatrix heraus, die ein optimales Erinnerungsverhalten gegenüber einem durchschnittlichen Input-Vektor erzeugen Durchschnittlichen Input-Vektor = Prototyp (evtl. nie gesehen!) Projektseminar Konnektionistische Sprachverarbeitung 13 E. Rosch

Auch bei Zerstörung von Neuronen oder Synapsen kann die Kategorisierung weiterhin funktionieren – Bleibt die Anzahl der Axone groß genug, wird die Korrelation zwischen dem Inputvektor und dem Gewichtsvektor nicht entscheidend beeinflusst Eigenschaften: Fehlertoleranz Projektseminar Konnektionistische Sprachverarbeitung

…Eigenschaften Geschwindigkeit durch Parallelverarbeitung Rauschunterdrückung (Korrelation + Überlagerung) …Nützliche und valide Interferenzen Projektseminar Konnektionistische Sprachverarbeitung 15

Repräsentation Verteilte Repräsentation Die Aktivitätsverteilung über alle Einheiten einer Neuronenschicht enkodieren einen bestimmten Stimulus » Schokolade = ( ) » Aprikose = ( ) Lokalistische Repräsentation Alle Information über einen bestimmten Stimulus ist durch die Aktivation einer einzelnen Einheit enkodiert » Schokolade = ( ) » Aprikose = ( )…Großmutterzellen Generalisierung/Graceful Degradation funktionieren nur bei verteilter Repräsentation (sonst diskrete Kreuzprodukte)! Projektseminar Konnektionistische Sprachverarbeitung 16

Übung mit tlearn …training a pattern associator with tlearn Files pa pa.cf pa.teach pa.data Training Test/Evaluation Läsionierung Projektseminar Konnektionistische Sprachverarbeitung 17

Projektseminar Konnektionistische Sprachverarbeitung N + D