Konnektionismus: Autoassoziation Übung mit tlearn Projektseminar Konnektionistische Sprachverarbeitung WS 2009/2010

Projektseminar Konnektionistische Sprachverarbeitung Autoassoziation McLeod, Plunkett & Rolls (1998): Kapitel 4 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung Letztes Mal… Patternassociator Lernregel: Hebb Rule („fire together – wire together“) Eigenschaften: Generalisierung Fehlertoleranz Prototypen Noise removal Interferenz verschiedener Muster 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung Heute Teil 1 : Theorie Was ist ein Autoassoziativspeicher? Wie funktionierts? Welche Eigenschaften haben Aas? Teil 2 : Praxis Beispiele in Tlearn (die aus dem Buch) 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung Aufgabe/Ziel Patternassociator Assoziiert Muster A mit Muster B Input: Muster A, Output: Muster B Autoassociator Assoziiert ein Muster mit sich selbst Input: Muster A, Output: Muster A  was bringt's??? 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Architektur eines Autoassoziativspeichers Einschichtiges Netzwerk (Input schicht/Outputschicht) Neu: Jeder Knoten (der Outputschicht) ist wiederum mit allen anderen Knoten (außer sich selbst) verknüpft  rekurrente Verbindungen  Jeder Knoten erhält Inputsignal sowohl von außen (externer Input) als auch von allen anderen Knoten des Netztwerks (interner Input/feedback) 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung Wie funktioniert‘s? Ziel: Reproduzieren des Inputmusters Wird dadurch erreicht, dass die Gewichte so angepasst werden, so dass extinputi = intinputi  Lernregel: Delta-Regel 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung Ausgangslage Aktivierungsfunktion: activity(a)i -1 netinputi 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung Initalgewichte: alle 0 Anpassung der Gewichte für Muster 1 (Delta-Rule) Anpassung der Gewichte für Muster 2 Unit 1 2 3 4 5 6 7 8 Ext. Input 1 Aktivierung +1 +0,5 -1 -0,5 Ext. Input 1 Akt. nach Training +1 +0,7 -1 -0,7 Ext. Input 2 Akt. nach Training +1 +0,7 -1 -0,7 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung 1 2 3 4 5 6 7 8 Int Out +1 - + -1 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Gewichtsmatrix Überlagerung der Gewichtsmatrizen Gewicht in GM3 repräsentiert: wahr für beide Muster Jedes Gewicht repäsentiert die Korrelation zwischen den Zuständen der verbundenen Units in den gelernten Mustern: + für pos. Korrelation, - für neg. Korrelation

Pattern Completion & Noise Removal Unit Ext. Input Unit Activity 1 +1 +0,7 +0,6 2 -1 -0,7 -0,6 3 4 5 +0,4 6 7 -0,4 8 +0,1 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Kategoriebildung: Ein Beispiel aus den wahren Leben Aua! Beine weg von Herbert Aua! Beine weg von Bello ??? Beine weg von Hunden! 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung Prototypenbildung McClelland & Rumelhart 1985 Katergorienbildung anhand individueller Erfahrungen Viele Hunde, die grob ähnlich sind. Arbiträre Namen 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Hunde, Katzen und Lochbrötchen: Lernen verschiedener Prototypen Bisher: Extraktion eines Protoyps aus verschiedenen individuellen Mustern Sollte natürlich auch möglich sein, verschiedene Prototypen im gleichen Netzwerk zu lernen 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung Delta rule 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung Beispiel 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung Übung mit tlearn Files aa aa.cf aa.dataa aa.teach … 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung

Projektseminar Konnektionistische Sprachverarbeitung N D 30.04.2019 Projektseminar Konnektionistische Sprachverarbeitung