Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke.

Präsentation zum Thema: "Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke."—  Präsentation transkript:

1 Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke

2 ...bisher kennengelernt Supervised learning durch backpropagation Implementierung eines Langzeitgedächtnisses Problem: Verarbeitung von Phänomenen, die eine zeitlichen Charakter haben (bei denen der unmittelbare Kontext eine Rolle spielt)

3 Das Problem mit der Zeit Bei vielen kognitiven Prozessen spielt der Faktor Zeit eine wesentliche Rolle. Beispiel: Sprache – kontinuierliches sich über die Zeit veränderndes Schallsignal Extraktion diskreter Segmente? Lernen der Einheit Wort? Lernen grammatikalischer Kategorien? Richtiger Satzbau? usw.

4 Das Problem mit der Zeit Zeit kann in feed-forward-Netzen nur explizit über die Eingabe vermittelt werden Unbefriedigend, da: Input muss zwischengespeichert werden, um dem Netz in einem Rutsch präsentiert (und von diesem parallel verarbeitet) werden zu können Problem der Abgrenzung (Wo beginnt/endet mein Input) Inputs unterschiedlicher Länge (d.h. verschiedener zeitlicher Ausdehnung) vgl. Sätze Vektoren [011100000] & [000111000] gleiches Muster, zeitlich verschoben oder unterschiedliche Vektoren? Kurz: in vielen Fällen wäre eine implizite Darstellung von Zeit durch ein Kurzzeitgedächtnis wünschenswert

5 Das Problem mit der Zeit - Lösung Rekurrente Netzwerke Sonderfall: einfache rekurrente Netzwerke (Elman- Netze)

6 Elman-Netzwerke Partially recurrent networks Status der hidden units zum Zeitpunkt t wird unverändert in den context units gespeichert Zum Zeitpunkt t+1 des folgenden Inputs wirkt der Status der context units zusätzlich auf die hidden units ein Implizite Darstellung von Zeit durch die Auswirkungen auf die Verarbeitung des Inputs Kurzzeitgedächtnis

7 Elman-Netzwerke: Self- supervised learning Elman-Netzwerke lernen durch Autoassoziation Dem Netz wird eine Folge von Inputs gegeben & dabei die Aufgabe gestellt, den nächstfolgenden Input korrekt vorherzusagen nach vielen Trainingsdurchgänge mit vielen Trainingsdaten lernt das Netz bestimmte Regularitäten im Input zu erkennen bzw. abstrakte Kategorien zu bilden Fehlerrate & Aktivität der hidden unit als Nachweis des Lernerfolges

8 Leistungsfähigkeit von Elman- Netzwerken (1) Das XOR-Problem in temporaler Variante

9 Erkennen komplexer Regularitäten im Intput Dem Netz wird eine Sequenz von Buchstaben präsentiert Die Reihenfolge der Konsonanten darin ist zufällig; die Vokale durch die Konsonanten bedingt Ersetzungsregeln: b => ba; d => dii; g => guu Buchstaben werden dem Netz als 6-Bit Vektoren präsentiert Aufgabe: Vorhersage des nächstfolgenden Buchstabens Leistungsfähigkeit von Elman- Netzwerken (2)

10

11

12 Leistungsfähigkeit von Elman- Netzwerken (3) Erkennen von Wortgrenzen Lernen des Konzeptes Wort aus einem Lexikon mit 15 Wörtern wurden 200 Sätze generiert Die Buchstaben dieser Sätze wurden dem Netz (als 5- BitVektor codiert) in unmittelbarer Abfolge in mehreren Durchgängen präsentiert

13 Leistungsfähigkeit von Elman- Netzwerken

14 Leistungsfähigkeit von Elman- Netzwerken (3)

15 Lexikalische Klassen

16

17