Organisation Referate Materialien Dritter Termin Workshop 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 1

Projektseminar WS 09/10 Lars Konieczny Daniel Müller Helmut Weldle Konnektionistische Sprachverarbeitung Konnektionismus in a nutshell

Ziel heute… Was ist, soll und kann konnektionistische Modellierung? Wo kommt das ganze her? Wie funktionierts? 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 3

TOPS Die "klassische" Sichtweise von Kognition Der Ansatz des Konnektionismus Die Grundidee: „neuronal inspirierte“ Modelle Geschichte: Aufstieg, Fall und Aufstieg... Terminologie und Grundlagen Architekturen Repräsentation Weiter im Seminar (Tlearn, Literatur) 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 4

Klassisch I: Grundannahmen Grundideen der (klassischen) Kognitionswissenschaft: –Kognition ist Symbolverarbeitung –Kognitive Prozesse sind Algorithmen über Repräsentationen –Hardwareunabhängigkeit: Implementierung der Prozesse ist unwesentlich –Modellierung auf verschiedenen "Levels of Explanation" Merkmale (vieler) symbolischer Architekturen: –Trennung von Regeln und (deklarativem) Wissen –Sequentiell / seriell 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 5

Das Vorbild aber… Menschen (und andere Lebewesen)… kommen relativ gut mit verrauschtem Input klar können generalisieren (Visuelle Wahrnehmung, Sprache…) Können komplexe Aufgaben schnell recht gut lösen (z.B. Waschmaschine aussuchen) Ihr Gehirn bzw. Nervensystem ist Selbstorganisierend relativ robust (z.B.: Vollrausch) Der größte Teil ihres Könnens und Wissens wird erworben 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 6

Grundprinzipien Orientierung an der „Wetware“: –Kleine, (relativ) gleichartige Einheiten (Neuronen) empfangen Signale von mehreren anderen und leiten damit zusammenhängende Signale weiter –Die Stärke der Verbindungen zwischen Neuronen verändert sich (Lernen!) –Berechnung findet parallel in vielen Neuronen statt –Information ist auf viele Neuronen verteilt 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 7

Ein kurze Geschichte des Konnektionismus: Aufstieg 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung : Donald O. Hebb formuliert die klassische Hebb’sche Lernregel. 1943: Warren McCulloch und Walter Pitts Frank Rosenblatt: Perceptron

Fall und Renaissance 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung Marvin Minsky und Seymour Papert: XOR und das Problem der linearen Separierbarkeit 1986: Rumelhart & McClelland, Parallel Distributed Processing. Backpropagation of Error (eigentlich von Werbos,1974) Keine Forschungsgelder – keine Publikationen … Konnektionismus als Sackgasse

Sonstige Bigshots (Auswahl) 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 10 Teuvo Kohonen: Kohonennetze, SelfOrganizingMaps (SOM) John Hopfield: Hopfieldnetze Jeff Elman: Simple Recurrent Networks (SRN)

Prinzipien neuronaler Informationsverarbeitung Neuronen integrieren Input-Signale Neuronen übermitteln Level des Inputs Mehrschichtige Architektur –Z.B. visuelle Verarbeitung Der Einfluss eines Neurons auf ein anderes ist abhängig von der Stärke der Verbindung zwischen beiden Lernen geschieht (u.a.) durch die Veränderung der Verbindungsstärken –Z.B. Hebb'sches Lernen 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 11

Echte und künstliche Neuronen 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 12

Mehrere Verarbeitungsschichten 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 13

Ein kleines Netzwerk 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 14 Input Output Input Layer Output Layer Hidden Layer Input Hidden Output0111

Verbindunen/Synapse n/connections 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 15 Inhibitorische Verbindung Recurrente Verbindung -Autoassoziative Netze -Simple Recurrent Networks… Excitatorische Verbindung

Ein paar Begriffe und Formeln 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 16 Input Output a i : Aktivation(activation) des Knoten i w ij : Verbindungsstärke/- gewicht(connection weight) von Knoten j zu Knoten i Unit i netinput i ajaj W ij aiai aiai netinput i input ij = a j w j a j w ij netinput ij = A i =F(netinput ij ) Knoten/Neuron/Node j Knoten/Neuron/Node i

Aktivierungsfunktionen 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 17 netinput i activity(a) i netinput i activity(a) i netinput i activity(a) i netinput i activity(a) i Linear Binärer Schwellenwert Linear mit Schwellenwert Sigmoid

Lernen Ausganssituation: Inputvektor Targetvektor (Zielzustand) Outputvektor 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 18

Lernen: Wie könnte es gehen? 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 19 Input Output neue Verbindungen entwickelt, vorhandene Verbindungen löschen Verbindungsgewichte verändern Schwellenwerte von Neuronen verändern Neuronenfunktionen verändern (Aktivierungs-, Propagierungs- und Ausgabefunktion) neue Neurone entwickeln vorhandene Neurone löschen

Lernen: Die Delta- Regel Δw ij = [a i (soll) - a i (ist)] a j ε Δw ij: Gewichtsveränderung der Verbindung a j : Aktivation des Quellknotens (?) ε : Lernrate 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 20

…das war nur der Anfang 27.Oktober Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung