Beat- und Metrumsextraktion mit gaußifizierten Einsatzzeiten Musikwissenschaftliches Institut Hamburg WS 2005/06 Klaus Frieler

1. Motivation Ziel: Extrahiere Zeitbasis, Beat, Metrum und Phasenlage aus einer Liste von (nicht-quantisierten) Einsatzzeiten. Methode: Auto- und Kreuzkorrelation von gaussifizierten Einsatzpunkten, zusammen mit Heuristiken, die auf musikpsychologischen Rhythmusforschung fußen.

2. Algorithmus Überblick 1. Berechne Gaußifikation mit Akzentregeln aus einer Liste von Einsatzpunkten. 2. Berechne Autokorrelationsfunktion (AKF). 3. Bestimme Beat und Zeitbasis aus den Maxima der gewichteten AKF. 4. Bestimme Gewichte für mögliche Metren und Phase durch Mustervergleich mit Hilfe von Kreuzkorrelation (KKF).

2. Algorithmus Gaußifikation Zu einer Liste von Onsets {t i } ist eine Gaußifikation die Überlagerung von Gaußfunktionen mit Mittelwerten t i im Bereich ms (Zeitliche Ordnungsschwelle). Die Koeffizienten i werden mit einfachen (zeitlichen) Akzentregeln bestimmt.

2. Algorithmus Zeitliche Akzentregeln Seien t i = t i -t i-1, die IOIs und a min, a maj >0 zwei Akzentwerte. 1. Initialisierung: i = 1, 1 = a min, N =a min 2. (Regel 1) Folgender IOI länger: Falls (t i+1 -2)/t i >1 dann i = a min 3. (Regel 2) Folgender IOI mind. doppelt so lang: Falls ( t+1 +)/t i >2 dann i = a maj

2. Algorithmus Beispiel einer Gaussifikation Plauderei an der Linde xx|x.x.|x.xx|x.xx|x.x.|x.x.| (mit 120 bpm und zeitlichem Rauschen von = 50ms)

2. Algorithmus Autokorrelation Autokorrelation ist Standardmethode um Periodizitäten in einem Signal zu entdecken. Idee: Verschiebe das Signal jeweils um eine bestimmte Zeit und vergleiche das Signal mit sich selbst (Multiplikation und Integration). Wiederholt sich etwas periodisch in dem Signal, fallen bei der Periodenverschiebung Maxima auf Maxima => Höhere Korrelation.

2. Algorithmus Autokorrelation Korrelationen von Gaussifikationen können geschlossen integriert werden. AKF von Plauderei an der Linde:

2. Algorithmus Bestimmung von Beat und Zeitbasis Beatlevel ist am stabilsten-> Finde Beat zuerst. Seit w(t)=exp(-ld 2( t/t s )) eine Tempopräferenzfunktion. t s ~ 500ms (spontanes Tempo.) Die Beatzeit T B ist das argmax der mit w gewichteten AKF. (argmax AKF(t)*w(t)) Die Zeitbasis T ist das argmax der einfachen (binären/ternären) Unterteilungen des Beats.

2. Algorithmus Tempopräferenz Tempopräferenzfunktion w(t) (Nach Parncutt, 1984)

2. Algorithmus Bestimmung von Metrum und Phase Berechne Kreuzkorrelation mit Gaussifikationen von metrischen Schablonen für den bestimmten Beat, z.B. (2,0,0) für ¾, oder (2,0,1,0) für 4/4. Die Maximalpunkte der KKF sind Kandidaten für die Phase. Der entsprechende Wert der KKF ist der Passwert (match) dieser Phase. Das totale Gewicht für ein (Metrum, Phasen)- Paar ist das Produkt des Phasen-Passwerts mit dem AKF-Wert der Periode des Metrums.

2. Algorithmus Beispiel KKF - Plauderei an der Linde KKF für 2/4 Bester 2/4-Takt

2. Algorithmus Beispiel Plauderei an der Linde Beat: 516 ms Zeitbasis: 246 ms MetrumPhasePasswertGewicht 2/4545ms /4540ms /4545ms

3. Evaluation Das Modell wurde mit 586 Luxem- burgischen Volkslieder und ver- schiedenen Akzentwerten getestet. Alle Melodien hatten Tempo 120 bpm und das Metrum (2,3,4 oder 6) war bekannt. 80% der Stücke hatten einen Auftakt (1-3 Achtel) Beaterkennungsfehler war ~12% (auschließlich 2:3 und 2:1 Verwechs- lungen)

3. Evaluation Fehlerfunktionen: 1. c M1 = #Richtige Periode bis auf Vielfache/N 2. c M2 = # Richtige Periode /N 3. c M3 = # Richtige absolute Taktlänge/N 4. c = #Richtige absolute Phase/N

3. Evaluation Metrums/Phasenerkennungswerte (a min, a maj )c M1 c M2 c M3 C (1,1)78%41%48%32% (1,2)82%46%55%62% (2,1)80%43%50%27% (2,2)81%45%55%50% (2,3)80%47%58%64% (2,4)77%44%57%64% Zufall25%

4. Zusammenfassung Vielversprechende erste Resultate Beaterkennung ist recht stabil und verlässlich. Oktavfehler bei der Metrumserkennung (d.h. 2/4 - 4/4) sind das härtestes Problem. (Oder gar kein Problem?!?) Die Benutzung von Akzentregeln verbessern die Phasenfindung signifikant. Vorteil:Modell kann mit Audio- und symbolischen Daten arbeiten. Nachteil: KKF ist rechnerisch recht aufwändig.