Konnektionismus: Pattern Association Simulationsumgebung tlearn Projektseminar Konnektionistische Sprachverarbeitung WS 2009/2010.

Präsentation zum Thema: "Konnektionismus: Pattern Association Simulationsumgebung tlearn Projektseminar Konnektionistische Sprachverarbeitung WS 2009/2010."—  Präsentation transkript:

1 Konnektionismus: Pattern Association Simulationsumgebung tlearn Projektseminar Konnektionistische Sprachverarbeitung WS 2009/2010

2 Pattern Association McLeod, Plunkett & Rolls (1998) Kapitel 3: Pattern association Assoziation eines Stimulus mit einem anderen 21.06.20162 Projektseminar Konnektionistische Sprachverarbeitung + ‚Geschmack von Schokolade‘

3 Klassisches Konditionieren Pavlov (1903): Bedingte Reflexe Konditionierter Speichelfluss beim Hund 1.UCS→ UCR 2.CS + UCS→ UCR 3.CS→ CR 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 3 I. P. Pavlow UCS: Geruch des Futters UCR: erhöhte Speichelabsonderung CS: Glockenton (kurz vor Fütterung) CR: schwach erhöhtes Speichern

4 Hebb‘sches Lernen Hebb (1949): Langzeitpotenzierung – Dauerhafte Veränderung synaptischer Leitfähigkeit – Entsteht durch gleichzeitige prä- und postsynaptische Aktivität… „fire together, wire together!“ 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 4 D.O. Hebb Im Beispiel: Assoziation von Pattern 1 (1 1 0 0) undPattern 2 (1 0 1 0 1 0)

5 Hebb‘sches Lernen If there is an activity on input axon j when neuron i is active then the strength of the connection w ij between axon j and dendrite i is increased Hebb‘sche Regel der Gewichtsveränderung: Δw ij = ε a i a j Δ: Gewichtsanpassung w ij : Gewicht zwischen den Neuronen j und i a i : Aktivität des Neurons i (in Pattern 1) a j : Aktivität des Neurons j (in Pattern 2) ε: Lernrate (= Stärke der Gewichtsanpassung) 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 5

6 Hebb‘sches Lernen 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 6 Δw ij = ε a i a j ε = 1.0

7 Recall/Retrieval Abruf/Erinnern gelernter Muster netinput i = ∑ j a j w ij Aktivationsfunktion: – Schwellenwertfunktion – Schwellenwert = 2 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 7 ++ = *** 2222 11001100

8 Lernen mehrerer Assoziationen Verschiedene Assoziationen: Kombinierte Gewichtsmatrizen 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 8 Aber: Limit möglicher Speicherung durch Inferenzen/ Überlagerung!

9 Abruf verschiedener Assoziationen 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 9 1 + 0 + 1 + 0 + 1 + 0 = 3 2 + 0 + 1 + 0 + 1 + 0 = 4 0 + 0 + 0 + 0 + 0 + 0 = 0 1 + 0 + 0 + 0 + 0 + 0 = 1 11001100 2 + 1 + 0 + 0 + 0 + 1 = 4 0 + 0 + 0 + 0 + 0 + 0 = 1 1 + 1 + 0 + 0 + 0 + 1 = 3 01010101

10 Repräsentationen als Vektoren Mentale Strukturen und Prozesse als Zustände im n-dimensionalen Raum Input-Muster ≈ Vektor Gewichte ≈ Matrix Gewichte eines (Output-)Neurons ≈ Vektor Ähnlichkeit zweier Vektoren: Skalarprodukt = Summe der übereinstimmenden Vektorenpositionen 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 10 Inputvektor j (1 0 1 1 0 1 0 0) Gewichtsvektor zu Neuron i (1 0 0 1 1 0 0 1) Kreuzprodukt = (1*1 + 0*0 + 1*0 + 1*1 + 0*1 + 1*0 + 0*0 + 0*1) = (1 + 0 + 0 + 1 + 0 + 0 + 0 + 0) = 2

11 Ähnlichkeit von Vektoren Ähnlichkeit/Unterschiedlichkeit von Abrufmustern lässt sich an der Größe des Skalarprodukts aus Hinweisreiz und Gewichten zu einem Neuron ablesen Je größer das Skalarprodukt, desto ähnlicher Je kleiner das Skalarprodukt, desto unähnlicher Im Extrem (= 0) orthogonal! Neuronenaktivität als Ähnlichkeitsmessung zwischen gelernter Gewichtsmatrix und Hinweisreiz 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 11

12 Eigenschaften: Generalisierung Übertragung des Kategorisierungswissens für gelernte Stimuli auf neue (noch nie gesehene) Stimuli auf Grund ihrer Ähnlichkeitszugehörigkeit 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 12 Aprikose: (1 1 0 0 0 1) verschrumpelte Aprikose: (1 1 0 1 0 0) 01010101

13 Eigenschaften: Prototypenextraktion Prototypentheorie Graduelle Zugehörigkeit von Mitgliedern zur Klasse Prototyp = bestes Exemplar/zentraler Vertreter Unscharfe Kategoriengrenzen …im Vergleich zur aristotelischen Klassifikation (Definition nach notwendigen und hinreichenden Merkmalen) psychologisch orientiertes Modell menschlicher Kategorisierung Prototypenextraktion in KNN Ähnliche Inputmuster einer Kategorie bilden eine Gewichtsmatrix heraus, die ein optimales Erinnerungsverhalten gegenüber einem durchschnittlichen Input-Vektor erzeugen Durchschnittlichen Input-Vektor = Prototyp (evtl. nie gesehen!) 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 13 E. Rosch

14 Auch bei Zerstörung von Neuronen oder Synapsen kann die Kategorisierung weiterhin funktionieren – Bleibt die Anzahl der Axone groß genug, wird die Korrelation zwischen dem Inputvektor und dem Gewichtsvektor nicht entscheidend beeinflusst Eigenschaften: Fehlertoleranz 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 14 01010101

15 …Eigenschaften Geschwindigkeit durch Parallelverarbeitung Rauschunterdrückung (Korrelation + Überlagerung) …Nützliche und valide Interferenzen 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 15

16 Repräsentation Verteilte Repräsentation Die Aktivitätsverteilung über alle Einheiten einer Neuronenschicht enkodieren einen bestimmten Stimulus » Schokolade = (1 0 1 0 1 0 1) » Aprikose = (1 1 0 0 0 0 1) Lokalistische Repräsentation Alle Information über einen bestimmten Stimulus ist durch die Aktivation einer einzelnen Einheit enkodiert » Schokolade = (0 1 0 0 0 0 0) » Aprikose = (0 0 0 0 0 0 1)…Großmutterzellen Generalisierung/Graceful Degradation funktionieren nur bei verteilter Repräsentation (sonst diskrete Kreuzprodukte)! 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 16

17 Übung mit tlearn …training a pattern associator with tlearn Files pa pa.cf pa.teach pa.data Training Test/Evaluation Läsionierung 21.06.2016 Projektseminar Konnektionistische Sprachverarbeitung 17

18 21.06.201618 Projektseminar Konnektionistische Sprachverarbeitung N + D