Simple Recurrent Networks

Präsentation zum Thema: "Simple Recurrent Networks"—  Präsentation transkript:

1 Simple Recurrent Networks
Philipp Blohm

2 Simple Recurrent Networks
time, time, time Simple Recurrent Networks Repräsentiere Zeit räumlich 1 2 5 4 Philipp Blohm

3 Simple Recurrent Networks
time, time, time Simple Recurrent Networks Repräsentiere Zeit räumlich 1 2 5 4 Probleme: Input sollte gleich lang und auf einmal vorhanden sein Philipp Blohm

4 Simple Recurrent Networks
Versteckte Kontexteinheiten Simple Recurrent Networks Hidden Units aktiviert von Eingabe und Kontext Philipp Blohm

5 Simple Recurrent Networks
Versteckte Kontexteinheiten Simple Recurrent Networks Hidden Units aktiviert von Eingabe und Kontext Lernen mit Backpropagation Rekurrente Verbindungen dabei fix Philipp Blohm

6 Simple Recurrent Networks
Exklusives Oder Eingaben und Ausgaben sequentiell präsentiert Simple Recurrent Networks Netz soll nächstes Bit vorhersagen Philipp Blohm

7 Simple Recurrent Networks
Exklusives Oder Eingaben und Ausgaben sequentiell präsentiert Simple Recurrent Networks Netz soll nächstes Bit vorhersagen Philipp Blohm

8 Simple Recurrent Networks
Exklusives Oder Eingaben und Ausgaben sequentiell präsentiert Simple Recurrent Networks Netz soll nächstes Bit vorhersagen Nur bei den Ausgabebits möglich Andere Lösung als bei klassischem XOR Philipp Blohm

9 Simple Recurrent Networks
Struktur in Buchstabenfolgen Buchstabe kodiert als 6-Bit-Vektor Simple Recurrent Networks Buchstabenfolgen mit Grammatik erzeugt Aufgabe: nächsten Buchstaben vorhersagen Philipp Blohm

10 Simple Recurrent Networks
Struktur in Buchstabenfolgen Ergebnis: Hoher Fehler bei Konsonanten Simple Recurrent Networks Niedriger Fehler bei Vokalen Philipp Blohm

11 Simple Recurrent Networks
Struktur in Buchstabenfolgen Erklärung: Netzwerk weiß, dass Konsonant kommt, aber nicht welcher Simple Recurrent Networks Philipp Blohm

12 Simple Recurrent Networks
Wörter lernen Eingabe: Buchstabenfolge Aufgabe: nächsten Buchstaben vorhersagen Simple Recurrent Networks Philipp Blohm

13 Simple Recurrent Networks
Wörter lernen Eingabe: Buchstabenfolge Aufgabe: nächsten Buchstaben vorhersagen Simple Recurrent Networks Philipp Blohm

14 Simple Recurrent Networks
Grammatik lernen Eingabe: Wortfolge Aufgabe: nächstes Wort vorhersagen Simple Recurrent Networks Philipp Blohm

15 Simple Recurrent Networks
Grammatik lernen Simple Recurrent Networks Philipp Blohm

16 Simple Recurrent Networks
Grammatik lernen Simple Recurrent Networks Philipp Blohm

17 Simple Recurrent Networks
Grammatik lernen Simple Recurrent Networks Philipp Blohm

18 Simple Recurrent Networks
Types / Tokens Netzwerke erzeugen kontextsensitive Repräsentation Simple Recurrent Networks Repräsentation beruht auf Bedeutung und grammatikalischer Kategorie des Wortes Types und Tokens können gleichzeitig gelernt und unterschieden werden Philipp Blohm

19 Simple Recurrent Networks
Philipp Blohm

20 Simple Recurrent Networks
Philipp Blohm

21 Philipp Blohm

22 Simple Recurrent Networks
Fazit Sehr mächtig für die einfache Architektur Simple Recurrent Networks Erfolgreich eingesetzt in verschiedenen Bereichen (Sprachverarbeitung, Satzverarbeitung, Sprachproduktion, Reading aloud) Offene Fragen: Scale-up zu komplexeren Problemen möglich? Wie weit können konnektionistische Modelle menschlichen Spracherwerb erklären? Wie lassen sich verschiedene Netze integrieren? Philipp Blohm