Elman-Netzwerke Wintersemester 2004/05 Seminar Kindlicher Spracherwerb C. Friedrich & R. Assadollahi vorgestellt von Christian Scharinger & Guido Heinecke

...bisher kennengelernt Supervised learning durch backpropagation Implementierung eines Langzeitgedächtnisses Problem: Verarbeitung von Phänomenen, die eine zeitlichen Charakter haben (bei denen der unmittelbare Kontext eine Rolle spielt)

Das Problem mit der Zeit Bei vielen kognitiven Prozessen spielt der Faktor Zeit eine wesentliche Rolle. Beispiel: Sprache – kontinuierliches sich über die Zeit veränderndes Schallsignal Extraktion diskreter Segmente? Lernen der Einheit Wort? Lernen grammatikalischer Kategorien? Richtiger Satzbau? usw.

Das Problem mit der Zeit Zeit kann in feed-forward-Netzen nur explizit über die Eingabe vermittelt werden Unbefriedigend, da: Input muss zwischengespeichert werden, um dem Netz in einem Rutsch präsentiert (und von diesem parallel verarbeitet) werden zu können Problem der Abgrenzung (Wo beginnt/endet mein Input) Inputs unterschiedlicher Länge (d.h. verschiedener zeitlicher Ausdehnung) vgl. Sätze Vektoren [ ] & [ ] gleiches Muster, zeitlich verschoben oder unterschiedliche Vektoren? Kurz: in vielen Fällen wäre eine implizite Darstellung von Zeit durch ein Kurzzeitgedächtnis wünschenswert

Das Problem mit der Zeit - Lösung Rekurrente Netzwerke Sonderfall: einfache rekurrente Netzwerke (Elman- Netze)

Elman-Netzwerke Partially recurrent networks Status der hidden units zum Zeitpunkt t wird unverändert in den context units gespeichert Zum Zeitpunkt t+1 des folgenden Inputs wirkt der Status der context units zusätzlich auf die hidden units ein Implizite Darstellung von Zeit durch die Auswirkungen auf die Verarbeitung des Inputs Kurzzeitgedächtnis

Elman-Netzwerke: Self- supervised learning Elman-Netzwerke lernen durch Autoassoziation Dem Netz wird eine Folge von Inputs gegeben & dabei die Aufgabe gestellt, den nächstfolgenden Input korrekt vorherzusagen nach vielen Trainingsdurchgänge mit vielen Trainingsdaten lernt das Netz bestimmte Regularitäten im Input zu erkennen bzw. abstrakte Kategorien zu bilden Fehlerrate & Aktivität der hidden unit als Nachweis des Lernerfolges

Leistungsfähigkeit von Elman- Netzwerken (1) Das XOR-Problem in temporaler Variante

Erkennen komplexer Regularitäten im Intput Dem Netz wird eine Sequenz von Buchstaben präsentiert Die Reihenfolge der Konsonanten darin ist zufällig; die Vokale durch die Konsonanten bedingt Ersetzungsregeln: b => ba; d => dii; g => guu Buchstaben werden dem Netz als 6-Bit Vektoren präsentiert Aufgabe: Vorhersage des nächstfolgenden Buchstabens Leistungsfähigkeit von Elman- Netzwerken (2)

Leistungsfähigkeit von Elman- Netzwerken (3) Erkennen von Wortgrenzen Lernen des Konzeptes Wort aus einem Lexikon mit 15 Wörtern wurden 200 Sätze generiert Die Buchstaben dieser Sätze wurden dem Netz (als 5- BitVektor codiert) in unmittelbarer Abfolge in mehreren Durchgängen präsentiert

Leistungsfähigkeit von Elman- Netzwerken

Leistungsfähigkeit von Elman- Netzwerken (3)

Lexikalische Klassen