Neuronale Netze und Musik

Präsentation zum Thema: "Neuronale Netze und Musik"—  Präsentation transkript:

1 Neuronale Netze und Musik
von M. Serhat Cinar (AI ) Ein Referat über die Doktorarbeit „Lernen musikalischer Strukturen und Stile mit neuronalen Netzen“ von Dominik Hörnel

2 Übersicht Das Thema Musikalische Grundlagen – Die Elemente der Musik
Technische Grundlage – Mehrstufige Neuronale Netze Improvisation von Melodieumspielungen Komposition von Melodien Harmonisierung Stilanalyse und Stilerkennung

3 Das Thema „Ziel der Arbeit ist die Modellierung musikalischer Strukturen und das Aufspüren stiltypischer Merkmale aus Musikbeispielen mit Hilfe neuronaler Netze, sowie deren Anwendung auf praxisrelevante musikalische Problemstellungen: das Erfinden melodischer Umspielungen nach Art barocker Choralvariationen [...] und Jazzimprovisationen [...], die Vervollständigung von Melodiefragmenten und die Harmonisierung von Choralmelodien [...].“

4 Übersicht Das Thema Musikalische Grundlagen – Die Elemente der Musik
Technische Grundlage – Mehrstufige Neuronale Netze Improvisation von Melodieumspielungen Komposition von Melodien Harmonisierung Stilanalyse und Stilerkennung

5 Musikalische Grundlagen – Der Ton 1
Der Ton – Regelmäßige Schwingung

6 Musikalische Grundlagen – Der Ton 2
Toneigenschaften Frequenz (Höhe) Stärke

7 Musikalische Grundlagen – Die Oktave

8 Musikalische Grundlagen – Das Tonsystem
Eine Oktave wird in 12 Töne unterteilt. Davon sind 7 ganze Töne (weiße Tasten) und 5 halbe Töne (schwarze Tasten).

9 Musikalische Grundlagen – Das Intervall 1
Der Abstand zwischen zwei benachbarten Noten heißt Sekunde (c-d). Gleichermaßen gibt es die Terz (c-e), die Quarte (c-f), die Quinte (c-g), die Sexte (c-a), die Septime (c-h) und die ganze Oktave (c-c‘).

10 Musikalische Grundlagen – Das Intervall 2
Diese Intervallbezeichnungen sind relativ zum Grundton und der benutzten Tonleiter. Im Beispiel eben war der Grundton das c und die Tonleiter die c-Dur Tonleiter. (c d e f g a h c) Für den Aufbau einer Tonleiter gibt es Regeln, die auf Intervallen basieren. Für die Dur Tonleiter gilt, ausgehend von einem Grundton: Der Abstand zwischen erster und zweiter Note, sowie zweiter und dritter Note der Tonleiter ist eine große Sekunde (mit einem Halbton dazwischen -> c-cis-d, d-dis-e) Der Abstand zwischen dritter und vierter Note ist eine kleine Sekunde (ohne einen Halbton dazwischen -> e-f) etc.

11 Musikalische Grundlagen – Das Intervall 3
Nach diesen Regeln kann eine Tonleiter mit einem anderen Grundton aufgebaut werden, z.B. die d-Dur Tonleiter. (d e fis g a h cis d) Hier werden die gleichen Intervalle für die Dur Tonleiter auf den Grundton d angewendet, wodurch hier auch Halbtöne in der Leiter auftauchen: Der Abstand zwischen erster und zweiter Note, sowie zweiter und dritter Note der Tonleiter ist eine große Sekunde (mit einem Halbton dazwischen -> d-dis-e, aber auch e-f-fis) etc.

12 Musikalische Grundlagen – Das Intervall 4
Es gibt auch andere Tonsysteme, wie die Moll- oder die Blues-Tonleitern, deren Intervallregeln bezüglich des Grundtones etwas anders aufgebaut sind.

13 Musikalische Grundlagen – Der Akkord 1
Unter Akkorden versteht man das gleichzeitige Spielen mehrerer Noten, die einen Gesamtklang erzeugen (harmonieren). Der einfachste Akkord ist der Dreiklang. Pro Tonleiter gibt es 3 Hauptdreiklänge:

14 Musikalische Grundlagen – Der Akkord 2
Erste Stufe (Tonika): Hierzu werden die erste, die dritte und die fünfte Note der Leiter gleichzeitig gespielt. Entsprechend ergibt dies für die c-Dur Tonleiter c-e-g und die d-Dur Tonleiter d-fis-a. (c d e f g a h c) (d e fis g a h cis d)

15 Musikalische Grundlagen – Der Akkord 3
Vierte Stufe (Subdominante): Hierzu werden die vierte, die sechste und die achte Note der Leiter gleichzeitig gespielt. Für c-Dur ist dies f-a-c, für d-Dur g-h-d. (c d e f g a h c) (d e fis g a h cis d)

16 Musikalische Grundlagen – Der Akkord 4
Fünfte Stufe (Dominante): Hierzu werden die fünfte, die siebte und die neunte Note der Tonleiter gleichzeitig gespielt. Für c-Dur ist dies g-h-d‘, für d-Dur a-cis-e‘. (c d e f g a h c d‘) (d e fis g a h cis d e‘)

17 Choral: Chorgesang bestehend aus:
Aufbau eines Chorals Choral: Chorgesang bestehend aus: Melodie aus einzelnen Tönen einer Tonleiter Zu jedem Melodieton eine Harmonie und einen entsprechenden Akkord Melodieumspielung um die Melodietöne herum Melodie Variation (Umspielung+Akkorde) Harmonik

18 Übergeordnete Strukturen: Motiv 1
Das Motiv ergibt sich aus dem relativen Unterschied benachbarter Melodietöne eines Taktes, vergleichbar einer „Steigung“ zwischen benachbarten Noten. Das Motiv ist unabhängig von der zugrunde liegenden Tonleiter.

19 Übergeordnete Strukturen: Motiv 2
Ein Motiv behält seine Grundstruktur, selbst wenn es gedreht oder gespiegelt wird. Man spricht von einer paradigmatischen Gruppe.

20 Übergeordnete Strukturen: Motivfolgen & Harmonik
Typisch für bestimmte Komponisten sind bestimmte Folgen von Motiven und Harmonisierungen. So benutzt z.B. Bach besonders ungewöhnliche Harmoniefolgen, während Pachelbel sich eher an Standardharmonien orientiert. Hieraus ergibt sich die Motivfolge als weitere übergeordnete Struktur.

21 Musikalische Grundlagen –Strukturen: Resümee
Ein Stück wird charakterisiert durch Noten, die einzeln gespielt werden (Melodie) gleichzeitig gespielt werden (Harmonik) einer zeitlichen Abfolge unterliegen (Motiv, Motivfolgen) Es gilt daher, geeignete Modelle mit neuronalen Netzen sowie Kodierungen für diese zu finden.

22 Übersicht Das Thema Musikalische Grundlagen – Die Elemente der Musik
Technische Grundlage – Mehrstufige Neuronale Netze Improvisation von Melodieumspielungen Komposition von Melodien Harmonisierung Stilanalyse und Stilerkennung

23 Mehrstufige Neuronale Netze 1
Um Zeitfolgen zu lernen, gibt es mehrere Möglichkeiten, als da wären Jordan oder Elman Netze, eigene Konstrukte mit Gedächtnisneuronen oder das Lernen mit Kontextfenster (aus NN1 bekannt). Hörnel benutzt in seiner Arbeit primär Neuronale Netze mit einem festen Kontext. Um ein Lied zu Analysieren, muss, wie bereits erklärt, sowohl ein aktueller Ausschnitt aus einem Lied sowie die übergeordnete Folge von Motiven betrachtet werden. (Blick auf Detail und Gesamt)

24 Mehrstufige Neuronale Netze 2
Dies wird durch das zusammenschließen mehrerer Netze erreicht. Mehrere Netze betrachtet einen kleinen, lokalen Abschnitt der Melodie und geben ihre „Erkenntnisse“ an ein Netz weiter, dass den Gesamtzusammenhang analysiert.

25 Übersicht Das Thema Musikalische Grundlagen – Die Elemente der Musik
Technische Grundlage – Mehrstufige Neuronale Netze Improvisation von Melodieumspielungen Komposition von Melodien Harmonisierung Stilanalyse und Stilerkennung

26 Improvisation von Melodieumspielungen - Vorgaben
Improvisieren: Normalerweise in „Echtzeit“ Linker Kontext (Vergangenheit) bezüglich Melodieumspielung bekannt (bereits improvisiert) Linker und rechter Kontext der Harmonik und der Melodie bekannt (Vorgabe) Ziel: Voraussage der nächsten Note in der Melodieumspielung

27 Aufbau Melonet Mi aktueller Melodieton (im Subnetz steht Mi+1 für den nächsten Referenzton) MCi:aktuelle Motivklasse Hi Harmonisches Feld Ni aktueller, zu bestimmen-der Motivton der Melodie-umspielung zi Position innerhalb des Taktes phri Position innerhalb der Phrase pi Position innerhalb des Motivs

28 Motivklassifikator Zuerst werden die Umspielungen Pachelbels durch ein modifiziertes Kohonen-Netz gelernt und klassifiziert. Dieses dient schließlich als Motivklassifikator.

29 Super- / Subnetz Das Supernetz wird auf das Lernen von abstrakten Motivfolgen trainiert und soll entscheiden, welches Motiv zu einem Melodieton, abhängig vom melodischen Kontext und den zuvor aufgetretenen Motiven, am besten passt. Das Subnetz erlernt die Umsetzung der Motivklassen in konkrete Umspielungstöne abhängig vom gegebenen harmonischen Kontext.

30 Kodierung 1 Intervallkodierung:
Jeder Ton wird durch seinen Abstand zum ersten Motivton (Referenzton) identifiziert und kodiert Unabhängig von der Tonleiter (transpositionsinvariant) Ergebnisse stammen immer aus der Tonleiter -> Noten „falscher“ Tonleitern können gar nicht entstehen (harmonisch invariant) Kodierung enthält bereits musikalisches Grundwissen

31 Kodierung 2 Bsp: Im Motiv von Beethovens 5. Symphonie war das Motiv g g g d. Der Referenzton wäre somit g (erster Ton des Motivs). Der zweite Ton ist dem ersten gleich, womit der Abstand eine Prim wäre (bei Noten-intervallen lautet der Abstand einer Note zu sich selbst Prim). In der Kodierung würde dies dem Datensatz entsprechen. Das Intervall zwischen dem dritten und dem vierten Ton (g-f-e-d) beträgt vier und ist damit eine absteigende Quarte. Die Kodierung lautet demnach

32 Improvisation von Melodieumspielungen – Ergebnis 1

33 Improvisation von Melodieumspielungen – Ergebnis 2
Fehlerraten für das Beispiel (Falsche Töne, Wiederholungen etc.): Das Netz mit 12 Motivklassen schneidet mit einer Fehlerrate von etwa 7% am besten ab gefolgt vom Netz mit 5 Motivklassen (8%) und dem Netz mit 20 Motivklassen (9,5%). Als Verbesserung schlägt Hörnel vor, ein Komitee aus mehreren Netzen mit verschiedenen Anzahlen von Motivklassen zu benutzen und jeweils den besten Motivvorschlag auszuwählen. Durch diese Verbesserung verringert sich der Fehler auf 0,9%, was einem unharmonischen Ton pro 100 Tönen entspricht.

34 Jazznet Vorgaben Jazznet soll Saxophonsolos im Stile von Charlie Parker generieren. Jazznet basiert auf Melonet, mit folgenden Unterschieden: Feinere rhythmische Aufteilung (Triolen als Abfolge von 8teln und 16teln) Keine Melodievorgabe mehr, nur Harmonien Größere Freiheit der Improvisation durch stochastische Komponente (damit gleiche Abschnitte unterschiedlich improvisiert werden) Statt ganzen Motiven werden nun Teilmotive benutzt (Jazz ist bewegter als Choräle)

35 Jazznet Ablauf Dem Gesamtnetz wird eine Teilphrase (ein Anfang) gegeben. Das Referenzton-Netz sagt den nächsten Referenzton (erster Ton des nächsten Motivs) voraus. Der Teilmotiv - Klassifikator klassifiziert die Teilphrase. Aus diesen Informationen wird von einem weiteren Netz eine Improvisationslinie erzeugt (Vervollständigung der Noten bis zum nächsten Referenzton). Schließlich werden Verzierungen der Improvisationslinie erzeugt.

36 Improvisation von Melodieumspielungen – Ergebnis 1
Jazznet wird mit Parker Originalen sowie Jazzrule (regelbasiert) verglichen. Der erster Vergleich ist die Improvisationsrichtung. Es wird nur die Richtung aufeinanderfolgender Töne betrachtet (+1 falls steigend, -1 falls fallend). Die Werte werden aufsummiert. Es zeigt sich, dass Parker hautsächlich in fallender Richtung improvisierte, was von Jazznet besser nachgeahmt wird. Dafür sind lokale Schwankungen von Jazzrule besser nachgeahmt.

37 Improvisation von Melodieumspielungen – Ergebnis 2
Der zweite Vergleich ordnet alle Noten einer von drei Klassen zu: inside (harmonieeigen), wenn der Ton im Akkord auftaucht, leading (Leitton), wenn der Ton einen Halbton unter einem harmonieeigenen Ton liegt, outside (harmoniefremd), sonst Auch diese Analyse ergab, das Jazznet dem Parker Original näher liegt, während Jazzrule zu viele Outside-Töne produziert.

38 Übersicht Das Thema Musikalische Grundlagen – Die Elemente der Musik
Technische Grundlage – Mehrstufige Neuronale Netze Improvisation von Melodieumspielungen Komposition von Melodien Harmonisierung Stilanalyse und Stilerkennung

39 Melodiekomposition – Melogenet Vorgabe
Komponieren: Nicht in „Echtzeit“ Linker UND rechter Kontext bezüglich Melodie bekannt (Grundgerüst der Melodie wird im Voraus festgelegt) Note kann revidiert werden (bei Improvisation nicht möglich) Linker und rechter Kontext der Harmonik bekannt (Vorgabe) Ziel: Melodie, die Optimal ist

40 Melodiekomposition – Melogenet Vorgehen
Hierzu wird eine Melodie erzeugt und durch genetische Algorithmen optimiert. Schwierigkeit: Fitnessfunktion zur Bewertung der Fitness einer Melodie Lösung: Mehrere Netze lernen Teilaspekte zu bewerten. Zur Bestimmung der Fitness wird zu einer gegebenen Melodie für jedes Netz die Differenz zwischen den durch das Netz vorhergesagten und den tatsächlich vorhandenen Elementen berechnet. Je kleiner diese Differenz ist, umso höher die Fitness der Melodie.

41 Melodiekomposition – Melogenet Aufbau 1

42 Melodiekomposition – Melogenet Aufbau 2
Melogenet besteht aus mehreren unabhängigen Teilnetzen. Das Teilnetz NNMotiv lernt eine Motivklasse in Abhängigkeit von benachbarten Motivklassen und Motivfolgen zu lernen. Dabei macht es gebrauch von einem Motivklassifikator. Das Teilnetz NNHarmonie lernt eine Harmonie aus benachbarten Harmonien, der Motivklasse und der Motivfolge. Die Teilnetze NNReferenzton und NNMotivton bestimmen die Töne aus benachbarten Tönen, der Harmonie und der Motivklasse.

43 Melodiekomposition – Melogenet Ergebnis 1
Melogenet wurde mit 32 Kinderliedern aus der Essener Liederdatenbank und mit 41 chinesischen Volksliedern im Shanxi-Stil getestet. Zur Vervollständigung wurden jeweils zwei Anfangstakte vorgegeben. Es zeigte sich, dass der Fitnesswert bis zu einem Wert von etwa 0,9 stetig verbesserte, danach aber trotz Fitnessverbesserung zu glatteren, weniger kreativen Melodien konvergierte. Außerdem setzten sich die Motive, die in der Trainingsmenge am häufigsten vorkamen, durch. Durch die Ergänzung der Fitnessfunktion um eine Bewertung für die Motivabwechslungen konnte das Netz jedoch verbessert werden.

44 Melodiekomposition – Melogenet Ergebnis 2
Schließlich wurde Melogenet zum bestimmen eines Stiles eingesetzt, indem Testlieder dem Shanxi-System und dem Kinderlieder-System vorgegeben wurden. Das Netz, das eine bessere Fitness lieferte, gab mit höherer Wahrscheinlichkeit an, dass die Eingabe zu seinem Stil passte.

45 Übersicht Das Thema Musikalische Grundlagen – Die Elemente der Musik
Technische Grundlage – Mehrstufige Neuronale Netze Improvisation von Melodieumspielungen Komposition von Melodien Harmonisierung Stilanalyse und Stilerkennung

46 Harmonisierung – Vorgaben
Bei der Choralharmonisierung gilt es für eine gegebene Melodie eine Harmoniefolge zu definieren, so dass begleitende Akkorde zur Melodie entstehen. Vorgegeben ist lediglich eine Melodie (linker und rechter Kontext). Es werden zwei Modelle vorgestellt: Harmonet und Harmogenet

47 Harmonisierung – Harmonet Aufbau 1
Drei Schritte: Mit Choralmelodie und evtl. bereits festgelegten Harmonien wird die nächste Harmonie festgelegt. Der ermittelten Harmonie wird ein Akkord zugewiesen. Achtelumspielungen hinzufügen.

48 Harmonisierung – Harmonet Aufbau 2
Schritt 1: Harmonische Funktion (Tonikas, Subdominanten und Dominanten bezüglich einer Tonart). Hierzu werden drei Netze eingesetzt, die jeweils mit verschiedenen Kontextlängen arbeiten. Die Töne werden über eine harmonische Kodierung kodiert, die angibt, in welchen von 12 harmonischen Funktionen der Ton vorkommt. Das Ergebnis ist die aktuelle Harmonie. Harmonische Umkehrung (Stellung des Basstones im Akkord). Ein weiteres Netz bestimmt anhand der Kontextinformation sowie der ermittelten Harmonie die Lage des Basstones. Charakteristische Dissonanzen (ergänzte Sexten, Septimen). Ein letztes Netz fügt Töne so hinzu, dass bestimmte Akkorde, die durch die Harmonischen Funktionen nicht berücksichtigt wurden aber durch ergänzen einer Note hergestellt werden können.

49 Harmonisierung – Harmonet Aufbau 3
Schritt 2: Im zweiten Schritt wird ein symbolischer Algorithmus (basierend auf Regeln) eingesetzt, um gemäß der Stimmführungsregeln und der zugrunde liegenden Harmonie einen Akkord auszuwählen. „Der fließende Verlauf der Stimmen wird durch globale Optimierung der Stimmführung unter Verwendung dynamischen Programmierens [...] gewährleistet.“ Schritt 3: Im dritten Schritt wird ein Netz trainiert, das die Umspielungen anhand der Harmonien und Melodietöne festlegt.

50 Harmonisierung – Harmonet Ergebnis
„Harmonet produziert in vielen Fällen interessante und stilechte Harmonisierungen und findet auch für Nicht-Choralmelodien oft überzeugende Lösungen [...]. Trotzdem zeigen sich einige Schwächen[...]: Fehlerhafte/Langweilige Harmonisierung bei zu kleiner/großer Trainingsmenge Probleme der Bassführung durch den sequentiellen Harmonisierungsprozess Stilunabhängige Aussetzung Tonale Zentren werden nicht modelliert“ Einige dieser Probleme werden im folgenden Harmogenet gelöst.

51 Harmonisierung – Harmogenet Aufbau
Der Aufbau ist äquivalent zu Harmonet, lediglich Schritt 1 (Harmoniebestimmung) wird durch genetische Algorithmen und weitere Teilnetze verbessert. Tonales Zentrum Bassführung Kontrolle Aussetzungen

52 Harmonisierung – Ergebnisse
Mit Hilfe der tonalen Zentren und dem rechten Kontext wird die Klassifikationsgüte des Systems auf den Testdaten um 10% auf 76,9% erhöht.

53 Übersicht Das Thema Musikalische Grundlagen – Die Elemente der Musik
Technische Grundlage – Mehrstufige Neuronale Netze Improvisation von Melodieumspielungen Komposition von Melodien Harmonisierung Stilanalyse und Stilerkennung

54 Stilanalyse und Stilerkennung 1
Wie bereits bei den Shanxi- und den Kinderliedern besteht die Stilerkennung aus einem Komitee von Stilexperten, die eine Klassifikation auf einem unbekannten Lied durchführen. Derjenige Stilexperte, der die höchste Klassifikationsgüte erreicht hat den Stil identifiziert. Dies wird auch vergleichende Stilanalyse bezeichnet.

55 Stilanalyse und Stilerkennung 2
Bsp.: Bach, Reger und Scheidt Stilexperten. Die Stilerkennungsrate des Bachnetzes auf Reger-Choräle ist auf die kleine Reger- Trainingsmenge sowie die Inhomogenität der Reger-Choräle im Vergleich zu denen von Bach oder Scheidt zurück zu führen. (Anzahl Datensätze)

56 Stilanalyse und Stilerkennung 3
Bei den Tests fällt Hörnel eine Anomalie auf: Im Bach-Choral „Du Lebensfürst, Herr Christ“ ist eine Passage, die von den Stilexperten eher Scheidt als Bach zugeordnet wird. (Scheidt lebte etwa 100 Jahre vor Bach). Nach Nachforschungen stellt Hörnel fest, dass es bereits fachliche Arbeiten gibt, die darauf hinweisen, dass diese Passage Bach unspezifisch ist und dass vermutet wird, Bach habe diese Passage aus unbekannten Gründen eins zu eins von Scheidt übernommen. Einen wirklichen Beweis für diese Behauptung gibt es zwar nicht, aber der Fall demonstriert die Güte der Systeme.

57 Stilanalyse und Stilerkennung 4

58 Stilanalyse und Stilerkennung 5

59 Stilanalyse und Stilerkennung 6

60 Ende Vielen Dank für euere Aufmerksamkeit.
Ich hoffe, es hat euch Spaß gemacht und ihr habt etwas gelernt ;-)