DIPLOMARBEIT in Informatik Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze Rainer Schmoll Aufgabensteller: Prof. Dr. Jürgen Schmidhuber Betreuer: Dipl.-Inf. Georg Fette, Dipl.-Inf. Christian Osendorfer 11.05.06

Übersicht - Methodik 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Übersicht - Gliederung Datenrepräsentation Grundlagen zu neuronalen Netzen Datenbeschaffung Ergebnisse 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

1. Datenrepräsentation 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Ereignis-Parameter beim EVL-Format Ereignistyp Länge Deltazeit Notenwert Lautstärke „is_first_beat_event“ 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Interpretation.evl - Notentext.evl = Unterschiede.evl EDL-Berechnung Interpretation.evl - Notentext.evl = Unterschiede.evl betroffene EVL-Parameter: Länge Deltazeit Lautstärke 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

2. Grundlagen neuronaler Netze 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Schematische Netzarchitektur Neuron 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Netztraining mit Backpropagation 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Rekurrente Netze mit LSTM 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

3. Datenbeschaffung 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

von einem Pianisten eingespielt 3. Datenbeschaffung CD-Aufnahmen Internet-Recherche MIDI-Datei von einem Pianisten eingespielt von Hand erstellt 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Einspielen der Stücke 6 Walzer mit Klaus Ritzkowsky Fragmente von 5 Walzern mit Hans-Jörg Paliege 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Musikalische Analyse Variations-Klassen: 1. Motorisch bedingte oder unterbewusste Variationen 2. Notenbezogene Anschlagdynamik 3. Gesamtdynamik 4. Temposchwankungen 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Digitalisierung des Notentextes Original nach OCR 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Rückwärtsrechnung des Notentextes 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Rückwärtsrechnung des Notentextes nötige Änderungen: 1. Marker setzen 2. Quantisieren 3. Lautstärken 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

4. Ergebnisse 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Überanpassungstest 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Live-Berechnung mit Kindermelodien 10 monophone Melodien z.B. 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Spieltechnik eines Pianisten 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Spieltechnik eines Pianisten 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Wiederholungen lernen J Unmittelbare Wiederholung im Eingabestrom L Wiederholung von Eingabewerten L Phrasenwiederholungen in einem Musikstück 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Netztraining mit Klavierstücken Typischer Fehlerverlauf Ergebnis z.B. gelernte Interpretation Notentext Interpretation 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Phrasen lernen 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

gelernte Interpretation Phrasen lernen gelernte Interpretation Notentext Interpretation 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Ausblick Tests mit weniger komplexen Daten Mehr Trainingsdaten Erweiterungen der Datenrepräsentation Andere Musikstile Direkter Vergleich zu anderen Lernverfahren 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Ende 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze

Diskussion 11.05.06 Studien zur Imitation von Interpretationen klassischer Klavier-Musik durch neuronale Netze