Projektseminar WS 09/10 Lars Konieczny Daniel Müller Helmut Weldle Konnektionistische Sprachverarbeitung Konnektionismus die zweite November 2009Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung

Organisation Referate Dritter Termin: Freitag 12-14h Simulator: Erstmal Tlearn, dann Lens –Übungsfiles im Materialeinordner 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 2

…beim (vor-)letzten Mal Grundprinzipien Konnektionismus – neuronal inspirierte Informationsverarbeitung Kurze Geschichte Formale Grundprinzipien: Begriffe, Symbole und Formeln –Aktivation Netinput Aktivierungsfunktionen –Lernen (Delta-Regel) 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 3

Tagesthemen Wiederholung Aktivation und Delta-Regel Repräsentation in KNNs Am Beispiel: Das Jets & Sharks Modell Distributed processing Prototypen Constraint satisfaction Fazit 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 4

Wiederholung Aktivierung 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 5 Input Output a i : Aktivation(activation) des Knoten i w ij : Verbindungsstärke/- gewicht(connection weight) von Knoten j zu Knoten i Unit i netinput i ajaj W ij aiai aiai netinput i input ij = a j w j a j w ij netinput i = a i =F(netinput ij ) Knoten/Neuron/Node j Knoten/Neuron/Node i Aktivierungsfunktion F

Wiederholung Lernen 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 6 Input Output neue Verbindungen entwickelt, vorhandene Verbindungen löschen Verbindungsgewichte verändern Schwellenwerte von Neuronen verändern Neuronenfunktionen verändern (Aktivierungs-, Propagierungs- und Ausgabefunktion) neue Neurone entwickeln vorhandene Neurone löschen

Wiederholung Delta- Regel Δw ij = [a i (soll) - a i (ist)] a j ε Δw ij: Gewichtsveränderung der Verbindung a j : Aktivation des Quellknotens ε : Lernrate 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 7

Wie ist Wissen gespeichert? 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 8 DOG[dog] "DOG", [dog] "CAT", [cat] "BAGEL", [bagel] Diskrete Wissenseinheiten (Chunks) Zugriff über Adresse Beispiele: Datenbank, Zettelkasten, Lexikon … Eigenschaften: Schnell, wenn Adresse bekannt, langsam(er), wenn über Inhalt zugegriffen wird Wenn Speicheort zersört wird, ist das Wissen weg Funktioniert menschliches Gedächtnis/Zugriff so?

Kognitive Verarbeitung beim Menschen Inhaltsadressierbar Fehlertolerant 'Zerstörungstolerant' Neuronale Signale selbst sind verrauscht  Ein gutes Modell sollte diese Eigenschaften auch haben 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 9

Ein Beispiel: Jets und Sharks (McClelland 1981) AdresseWerte/Inhalt GangAlterAusbildungFam. standBeruf AlanJets30erJunior HighVerh.Burglar ArtJets40erJunior HighLedigPusher ClydeJets40erJunior HighLedigBookie DaveSharks30erHigh SchoolGesch.Pusher DonSharks30erCollegeVerh.Burglar DougJets30erHigh SchoolLedigBookie FredSharks40erHigh SchoolVerh.Burglar GeneJets20erHigh SchoolLedigPusher ……………… 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 10 "Ist Fred ein Pusher?" "Kennst du den Namen eines Pushers?"

Jets & Sharks 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 11 Name Art Dave Fred Beruf Pusher Bookie Burglar Alter 20er 30er 40er Fam. stand ledig verheiratet geschieden Gang Sharks Jets Ausbildung Highschool College Junior High Person 1 Person 2

Wie funktioniert's? Gewichte w (fix): –Excitatorisch: +1 –Inhibitorisch: -1 Anfangsaktivation a aller Nodes: -0.1 Anfrage: –"Kennst du einen Pusher?": Aktivierung des 'Pusher' Knotens Läuft über mehrere Zyklen, bis stabiler Zustand erreicht ist (Nodes haben konstantes Aktivationsniveau) 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 12

Kennst du den Namen eines Pushers? 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 13 Name Art Dave Fred Beruf Pusher Bookie Burglar Alter 20er 30er 40er Fam. stand ledig verheiratet geschieden Gang Sharks Jets Ausbildung Highschool College Junior High Zyklus 1 Zyklus 2 Zyklus 3 … stabil

Do you know the name of a pusher? 3.November 2009 Wechselseitige Hemmung (mutual Inhibition): "winner takes all": Knoten hemmen sich gegenseitig, aber sobald einer die Überhand gewinnt, hemmt er die anderen, diese in damit weniger usw. usw. 14 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung

Der kleine Unterschied Initiale Aktivation: Nick: Fred: -0.1  Empfindlich (bzw. sensitiv) für Rauschen Kann passieren, das beim nächsten Mal Fragen eine andere Antwort erzeugt wird. ? Ist das wünschenswert? Grundlegende Eigenschaft dynamischer Systeme (Butterflyeffekt) 3.November Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung

Schreib einen Vogel auf 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 16

Prototypen "Nenn mir irgendeinen Vogel"  Nicht irgendein Vogel wird genannt, sondern ein 'typischer': (Amsel…….Strauß) Das gleiche passiert auch im J&S Modell 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 17

Der prototypische Pusher 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 18  Derjenige Knoten (Namen) wird aktiviert, der am meisten Eigenschaften mit dem Prototypen teilt  Prototypen/Typikalität ist automatisch repräsentiert durch die Anzahl (und evtl. das Gewicht) der Verbindungen  Ermöglicht auch Einordnung (am ehesten ein …) u.ä.

Constraint Satisfaction Jeder Knoten beeinfusst alle, mit denen er verbunden: –Exc: Versuch, anderen Knoten in gleichen Zustand zu versetzen –Inh: Versuch, anderen Knoten in entgegengesetzten Zustand zu versetzen  Constraints, die Zielzustand erfüllen soll Constraint Satisfaction 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 19

Constraint Satisfaction Idealzustand: Alle Constraints sind erfüllt – nichts passiert mehr Wir aber selten passieren… Aber: Stabiler Zustand, in dem möglichst viele Constraints erfüllt sind: Best Fit / Satisficing Menge der Möglichen Stabilen Zustände: "Erinnerungen" des Netzwerks 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 20

Modell von Kognition Entscheidung entsteht durch Konsens unterschiedlicher Evidenzen – keine exaktes Matching notwendig  Fehler/Rauschtoleranz –Notwendig angesichts der Eigenschaften des Gehirns –Und angesichts der realen Welt! –Notwendig ist nicht unbedingt die exakte Erinnerung an einen Stimulus (z.B. ein Wort, inklusive Fehler), sondern eine sinnvolle Interpretation! 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 21

Kennst du einen… Shark, 20er, High School, ledig, Einbrecher  …, Junior High,.. □…,Einbrecher, Dealer, Buchmacher… 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 22 Fehlertoleranz Sinnvolle Antwort, auch bei falschem oder unvollständigem Input

Fazit/Rekapitulation Keine Trennung von "Speichern" und "Prozess/Verarbeitung" Art der Modellierung: –Klassisch: Problem Mögl. Lösung  Programm Testen –Konnektionistisch Problem Simulation Analyse 3.November 2009 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 23

24 j e t z t E N D E ! 3.November 2009Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung