Organisation Referate Materialien Dritter Termin Workshop 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 1.

Präsentation zum Thema: "Organisation Referate Materialien Dritter Termin Workshop 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 1."—  Präsentation transkript:

1 Organisation Referate Materialien Dritter Termin Workshop 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 1

2 Projektseminar WS 09/10 Lars Konieczny Daniel Müller Helmut Weldle Konnektionistische Sprachverarbeitung Konnektionismus in a nutshell 27.10.2009

3 Ziel heute… Was ist, soll und kann konnektionistische Modellierung? Wo kommt das ganze her? Wie funktionierts? 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 3

4 TOPS Die "klassische" Sichtweise von Kognition Der Ansatz des Konnektionismus Die Grundidee: „neuronal inspirierte“ Modelle Geschichte: Aufstieg, Fall und Aufstieg... Terminologie und Grundlagen Architekturen Repräsentation Weiter im Seminar (Tlearn, Literatur) 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 4

5 Klassisch I: Grundannahmen Grundideen der (klassischen) Kognitionswissenschaft: –Kognition ist Symbolverarbeitung –Kognitive Prozesse sind Algorithmen über Repräsentationen –Hardwareunabhängigkeit: Implementierung der Prozesse ist unwesentlich –Modellierung auf verschiedenen "Levels of Explanation" Merkmale (vieler) symbolischer Architekturen: –Trennung von Regeln und (deklarativem) Wissen –Sequentiell / seriell 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 5

6 Das Vorbild aber… Menschen (und andere Lebewesen)… kommen relativ gut mit verrauschtem Input klar können generalisieren (Visuelle Wahrnehmung, Sprache…) Können komplexe Aufgaben schnell recht gut lösen (z.B. Waschmaschine aussuchen) Ihr Gehirn bzw. Nervensystem ist Selbstorganisierend relativ robust (z.B.: Vollrausch) Der größte Teil ihres Könnens und Wissens wird erworben 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 6

7 Grundprinzipien Orientierung an der „Wetware“: –Kleine, (relativ) gleichartige Einheiten (Neuronen) empfangen Signale von mehreren anderen und leiten damit zusammenhängende Signale weiter –Die Stärke der Verbindungen zwischen Neuronen verändert sich (Lernen!) –Berechnung findet parallel in vielen Neuronen statt –Information ist auf viele Neuronen verteilt 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 7

8 Ein kurze Geschichte des Konnektionismus: Aufstieg 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 8 1949: Donald O. Hebb formuliert die klassische Hebb’sche Lernregel. 1943: Warren McCulloch und Walter Pitts 1957-1959 Frank Rosenblatt: Perceptron

9 Fall und Renaissance 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 9 1969 Marvin Minsky und Seymour Papert: XOR und das Problem der linearen Separierbarkeit 1986: Rumelhart & McClelland, Parallel Distributed Processing. Backpropagation of Error (eigentlich von Werbos,1974) Keine Forschungsgelder – keine Publikationen … Konnektionismus als Sackgasse

10 Sonstige Bigshots (Auswahl) 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 10 Teuvo Kohonen: Kohonennetze, SelfOrganizingMaps (SOM) John Hopfield: Hopfieldnetze Jeff Elman: Simple Recurrent Networks (SRN)

11 Prinzipien neuronaler Informationsverarbeitung Neuronen integrieren Input-Signale Neuronen übermitteln Level des Inputs Mehrschichtige Architektur –Z.B. visuelle Verarbeitung Der Einfluss eines Neurons auf ein anderes ist abhängig von der Stärke der Verbindung zwischen beiden Lernen geschieht (u.a.) durch die Veränderung der Verbindungsstärken –Z.B. Hebb'sches Lernen 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 11

12 Echte und künstliche Neuronen 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 12

13 Mehrere Verarbeitungsschichten 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 13

14 Ein kleines Netzwerk 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 14 Input Output Input Layer Output Layer Hidden Layer Input0 0 11 01 Hidden Output0111

15 Verbindunen/Synapse n/connections 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 15 Inhibitorische Verbindung Recurrente Verbindung -Autoassoziative Netze -Simple Recurrent Networks… Excitatorische Verbindung

16 Ein paar Begriffe und Formeln 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 16 Input Output a i : Aktivation(activation) des Knoten i w ij : Verbindungsstärke/- gewicht(connection weight) von Knoten j zu Knoten i Unit i netinput i ajaj W ij aiai aiai netinput i input ij = a j w j a j w ij netinput ij = A i =F(netinput ij ) Knoten/Neuron/Node j Knoten/Neuron/Node i

17 Aktivierungsfunktionen 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 17 netinput i activity(a) i netinput i activity(a) i netinput i activity(a) i netinput i activity(a) i Linear Binärer Schwellenwert Linear mit Schwellenwert Sigmoid

18 Lernen Ausganssituation: Inputvektor Targetvektor (Zielzustand) Outputvektor 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 18

19 Lernen: Wie könnte es gehen? 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 19 Input Output neue Verbindungen entwickelt, vorhandene Verbindungen löschen Verbindungsgewichte verändern Schwellenwerte von Neuronen verändern Neuronenfunktionen verändern (Aktivierungs-, Propagierungs- und Ausgabefunktion) neue Neurone entwickeln vorhandene Neurone löschen

20 Lernen: Die Delta- Regel Δw ij = [a i (soll) - a i (ist)] a j ε Δw ij: Gewichtsveränderung der Verbindung a j : Aktivation des Quellknotens (?) ε : Lernrate 27.Oktober 2010 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung 20

21 …das war nur der Anfang 27.Oktober 2010 21 Projektseminar WS 09/10 Konnektionistische Sprachverarbeitung