Konnektionismus: Autoassoziation Übung mit tlearn

Präsentation zum Thema: "Konnektionismus: Autoassoziation Übung mit tlearn"—  Präsentation transkript:

1 Konnektionismus: Autoassoziation Übung mit tlearn
Projektseminar Konnektionistische Sprachverarbeitung WS 2009/2010

2 Projektseminar Konnektionistische Sprachverarbeitung
Autoassoziation McLeod, Plunkett & Rolls (1998): Kapitel 4 Projektseminar Konnektionistische Sprachverarbeitung

3 Projektseminar Konnektionistische Sprachverarbeitung
Letztes Mal… Patternassociator Lernregel: Hebb Rule („fire together – wire together“) Eigenschaften: Generalisierung Fehlertoleranz Prototypen Noise removal Interferenz verschiedener Muster Projektseminar Konnektionistische Sprachverarbeitung

4 Projektseminar Konnektionistische Sprachverarbeitung
Heute Teil 1 : Theorie Was ist ein Autoassoziativspeicher? Wie funktionierts? Welche Eigenschaften haben Aas? Teil 2 : Praxis Beispiele in Tlearn (die aus dem Buch) Projektseminar Konnektionistische Sprachverarbeitung

5 Projektseminar Konnektionistische Sprachverarbeitung
Aufgabe/Ziel Patternassociator Assoziiert Muster A mit Muster B Input: Muster A, Output: Muster B Autoassociator Assoziiert ein Muster mit sich selbst Input: Muster A, Output: Muster A  was bringt's??? Projektseminar Konnektionistische Sprachverarbeitung

6 Architektur eines Autoassoziativspeichers
Einschichtiges Netzwerk (Input schicht/Outputschicht) Neu: Jeder Knoten (der Outputschicht) ist wiederum mit allen anderen Knoten (außer sich selbst) verknüpft  rekurrente Verbindungen  Jeder Knoten erhält Inputsignal sowohl von außen (externer Input) als auch von allen anderen Knoten des Netztwerks (interner Input/feedback) Projektseminar Konnektionistische Sprachverarbeitung

7 Projektseminar Konnektionistische Sprachverarbeitung
Wie funktioniert‘s? Ziel: Reproduzieren des Inputmusters Wird dadurch erreicht, dass die Gewichte so angepasst werden, so dass extinputi = intinputi  Lernregel: Delta-Regel Projektseminar Konnektionistische Sprachverarbeitung

8 Projektseminar Konnektionistische Sprachverarbeitung
Ausgangslage Aktivierungsfunktion: activity(a)i -1 netinputi Projektseminar Konnektionistische Sprachverarbeitung

9 Projektseminar Konnektionistische Sprachverarbeitung
Initalgewichte: alle 0 Anpassung der Gewichte für Muster 1 (Delta-Rule) Anpassung der Gewichte für Muster 2 Unit 1 2 3 4 5 6 7 8 Ext. Input 1 Aktivierung +1 +0,5 -1 -0,5 Ext. Input 1 Akt. nach Training +1 +0,7 -1 -0,7 Ext. Input 2 Akt. nach Training +1 +0,7 -1 -0,7 Projektseminar Konnektionistische Sprachverarbeitung

10 Projektseminar Konnektionistische Sprachverarbeitung
1 2 3 4 5 6 7 8 Int Out +1 - + -1 Projektseminar Konnektionistische Sprachverarbeitung

11 Gewichtsmatrix Überlagerung der Gewichtsmatrizen
Gewicht in GM3 repräsentiert: wahr für beide Muster Jedes Gewicht repäsentiert die Korrelation zwischen den Zuständen der verbundenen Units in den gelernten Mustern: + für pos. Korrelation, - für neg. Korrelation

12 Pattern Completion & Noise Removal
Unit Ext. Input Unit Activity 1 +1 +0,7 +0,6 2 -1 -0,7 -0,6 3 4 5 +0,4 6 7 -0,4 8 +0,1 Projektseminar Konnektionistische Sprachverarbeitung

13 Kategoriebildung: Ein Beispiel aus den wahren Leben
Aua! Beine weg von Herbert Aua! Beine weg von Bello ??? Beine weg von Hunden! Projektseminar Konnektionistische Sprachverarbeitung

14 Projektseminar Konnektionistische Sprachverarbeitung
Prototypenbildung McClelland & Rumelhart 1985 Katergorienbildung anhand individueller Erfahrungen Viele Hunde, die grob ähnlich sind. Arbiträre Namen Projektseminar Konnektionistische Sprachverarbeitung

15 Projektseminar Konnektionistische Sprachverarbeitung
Projektseminar Konnektionistische Sprachverarbeitung

16 Hunde, Katzen und Lochbrötchen: Lernen verschiedener Prototypen
Bisher: Extraktion eines Protoyps aus verschiedenen individuellen Mustern Sollte natürlich auch möglich sein, verschiedene Prototypen im gleichen Netzwerk zu lernen Projektseminar Konnektionistische Sprachverarbeitung

17 Projektseminar Konnektionistische Sprachverarbeitung
Delta rule Projektseminar Konnektionistische Sprachverarbeitung

18 Projektseminar Konnektionistische Sprachverarbeitung
Beispiel Projektseminar Konnektionistische Sprachverarbeitung

19 Projektseminar Konnektionistische Sprachverarbeitung
Übung mit tlearn Files aa aa.cf aa.dataa aa.teach … Projektseminar Konnektionistische Sprachverarbeitung

20 Projektseminar Konnektionistische Sprachverarbeitung
N D Projektseminar Konnektionistische Sprachverarbeitung