Simple Recurrent Networks Philipp Blohm

Simple Recurrent Networks time, time, time Simple Recurrent Networks Repräsentiere Zeit räumlich 1 2 5 4 Philipp Blohm

Simple Recurrent Networks time, time, time Simple Recurrent Networks Repräsentiere Zeit räumlich 1 2 5 4 Probleme: Input sollte gleich lang und auf einmal vorhanden sein Philipp Blohm

Simple Recurrent Networks Versteckte Kontexteinheiten Simple Recurrent Networks Hidden Units aktiviert von Eingabe und Kontext Philipp Blohm

Simple Recurrent Networks Versteckte Kontexteinheiten Simple Recurrent Networks Hidden Units aktiviert von Eingabe und Kontext Lernen mit Backpropagation Rekurrente Verbindungen dabei fix Philipp Blohm

Simple Recurrent Networks Exklusives Oder Eingaben und Ausgaben sequentiell präsentiert Simple Recurrent Networks Netz soll nächstes Bit vorhersagen Philipp Blohm

Simple Recurrent Networks Exklusives Oder Eingaben und Ausgaben sequentiell präsentiert Simple Recurrent Networks Netz soll nächstes Bit vorhersagen Philipp Blohm

Simple Recurrent Networks Exklusives Oder Eingaben und Ausgaben sequentiell präsentiert Simple Recurrent Networks Netz soll nächstes Bit vorhersagen Nur bei den Ausgabebits möglich Andere Lösung als bei klassischem XOR Philipp Blohm

Simple Recurrent Networks Struktur in Buchstabenfolgen Buchstabe kodiert als 6-Bit-Vektor Simple Recurrent Networks Buchstabenfolgen mit Grammatik erzeugt Aufgabe: nächsten Buchstaben vorhersagen Philipp Blohm

Simple Recurrent Networks Struktur in Buchstabenfolgen Ergebnis: Hoher Fehler bei Konsonanten Simple Recurrent Networks Niedriger Fehler bei Vokalen Philipp Blohm

Simple Recurrent Networks Struktur in Buchstabenfolgen Erklärung: Netzwerk weiß, dass Konsonant kommt, aber nicht welcher Simple Recurrent Networks Philipp Blohm

Simple Recurrent Networks Wörter lernen Eingabe: Buchstabenfolge Aufgabe: nächsten Buchstaben vorhersagen Simple Recurrent Networks Philipp Blohm

Simple Recurrent Networks Wörter lernen Eingabe: Buchstabenfolge Aufgabe: nächsten Buchstaben vorhersagen Simple Recurrent Networks Philipp Blohm

Simple Recurrent Networks Grammatik lernen Eingabe: Wortfolge Aufgabe: nächstes Wort vorhersagen Simple Recurrent Networks Philipp Blohm

Simple Recurrent Networks Grammatik lernen Simple Recurrent Networks Philipp Blohm

Simple Recurrent Networks Grammatik lernen Simple Recurrent Networks Philipp Blohm

Simple Recurrent Networks Grammatik lernen Simple Recurrent Networks Philipp Blohm

Simple Recurrent Networks Types / Tokens Netzwerke erzeugen kontextsensitive Repräsentation Simple Recurrent Networks Repräsentation beruht auf Bedeutung und grammatikalischer Kategorie des Wortes Types und Tokens können gleichzeitig gelernt und unterschieden werden Philipp Blohm

Simple Recurrent Networks Philipp Blohm

Simple Recurrent Networks Philipp Blohm

Philipp Blohm

Simple Recurrent Networks Fazit Sehr mächtig für die einfache Architektur Simple Recurrent Networks Erfolgreich eingesetzt in verschiedenen Bereichen (Sprachverarbeitung, Satzverarbeitung, Sprachproduktion, Reading aloud) Offene Fragen: Scale-up zu komplexeren Problemen möglich? Wie weit können konnektionistische Modelle menschlichen Spracherwerb erklären? Wie lassen sich verschiedene Netze integrieren? Philipp Blohm