Melodische Ähnlichkeit Klaus Frieler RMA Hamburg WS 05/06

Aufbau des Vortrags 1. Motivation/Hypothesen 2. Ähnlichkeitsmaße 3. Experimente 4. Modellierung 5. Anwendungen 6. Zusammenfassung

1. Motivation Melodische Ähnlichkeit ist ein Kernkonzept in Musik und Musikwissenschaft, z.B.: Musiktheorie, Musikanalyse Musikpsychologie, z.B. Musikgedächtnisforschung Datenbanksuche U.v.m. Quantifzierung von Ähnlichkeit: Ähnlichkeitsmaße Sehr große Anzahl von Ähnlichkeitsmaßen in der Literatur Frage: Gibt es objektive Ähnlichkeit? Kann man Ähnlichkeitsurteile algorithmisch modellieren?

1. Motivation (Fort.) Ziel: Bestimmung adäquater Ähnlichkeitsmaße Methode: Mathematische Systematisierung, algorithmische Implementierung und musikpsychologische Validierung Resultat: Software Simile (a.k.a. Antiplagiator)

1. Hypothesen Musikexperten bewerten melodische Ähnlichkeit sehr präzise und konsistent. Bewertungen können als korrekt definiert werden und als Referenz für algorithmische Maße dienen. Musikexperten benutzen verschiedene musikalische Dimensionen für ihre Bewertungen (z.B. Intervalle, Kontur, Rhythmus). Konstruktion von optimierten Maßen als Kombination verschiedener Einzelmaße.

2. Ähnlichkeitsmaße Definition Sei M = { (t i, p i ), t i <t i+1 } der Raum abstrakter Melodien von (Einsatzpunkt, Tonhöhe)-Paaren. Ein Ähnlichkeitsmaß ist eine Abbildung s: M x M -> [0,1] mit den folgenden Eigenschaften: Symmetrie s(m, n) = s(m, n) Selbstidentität: s(m, m) = 1 Invarianz unter Transposition, Zeit- verschiebung und -streckung (Tempowechsel)

2. Ähnlichkeitsmaße Überblick Daten Basistransformationen Haupttransformationen Numerischer Algorithmus Ähnlichkeitswert

2. Ähnlichkeitsmaße Basistransformationen Projektionen: Tonhöhen– und Rhythmus- projektionen Differenzierung: Tonhöhe Intervalle Einsatzpunkte Dauern (IOIs) Dauern Dauernverhältnisse Quantisierung

2. Ähnlichkeitsmaße Haupttransformationen Rhythmische Gewichtung Rangbildung Konturisierung: Interpolation von Tonhöhenwerten zwischen Extrema. (Steinbecks und eigener Algorithmus) Fouriertransformation Fuzzifizierung/Kategorisierung (Intervalle, Dauern) Gaussifizierung (Einsatzzeiten) Clusterung, z.B. Zuweisung harmonischer Vektoren zu einzelnen Abschnitten (Takten)

2. Ähnlichkeitsmaße Haupttransformationen - Beispiele Original Kontur (Steinbeck) Kontur (M&F) Rhythmisch gewichtet Intervalle: +4 – – Intervallkategorien: +T –S +S +S +S –T +S +T Intervallrichtung: U D U U U D U U Ränge: Implizite Tonalität: D - Moll

2. Ähnlichkeitsmaße Numerische Algorithmen Vektormaße: Melodien und Rhythmen als Elemente eines geeigneten reellen Vektorraums (z.B. Pearson-Bravais- Korrelation, Skalarprodukt) Symbolische Maße: Melodien und Rhythmen als Zeichenketten(z.B. Editierdistanz, N-Gramme)

2. Ähnlichkeitsmaße Editierdistanz - Definition Editierdistanz zwischen zwei Zeichenketten (Strings) sind die minimale Kosten für Operationen, die man braucht, um eine in die andere zu transformiern. Mögliche Operationen sind: Einfügen, Löschen, Ersetzen Jede Operation kann verschiedene Kosten haben. Einfachster Fall: Jede Operation kostet 1. Maximale Editierdistanz: Länge des längeren Strings (für die konstante Kostenfunktion)

2. Ähnlichkeitsmaße Editierdistanz - Beispiel Anthropology (Charlie Parker) Ornithology (Charlie Parker)

2. Ähnlichkeitsmaße Editierdistanz - Beispiel Ausrichtung von Anthropology und Ornithology 2 Einfügungen (Löschungen) und 4 Ersetzungen werden gebraucht = insgesamt 6 Operationen. Länge der längeren Melodie: 11 Noten. Editierdistanz (rawEd): 1-6/11 = 5/11 = 0,

2. Ähnlichkeitsmaße N-gramme - Definition N-gramme sind (Teil-)Strings der Länge N. Benutzte Zeichenalphabete: Intervalle, Intervallrichtungen, Dauernklassen etc. Maße werden gebildet durch den Vergleich von N- gramm-Verteilungen auf drei verschiedene Weisen: Häufigkeitsmaß: Summe der Häufigkeiten gemeinsamer N-gramme (sum common) Anzahlmaß: Anzahl gemeinsamer N-gramme (count distinct, coordinate matching) Ukkonenmaß: Differenz der Häufigkeiten aller N-gramme

2. Ähnlichkeitsmaße N-gramme – Beispiel Keine gemeinsamen Intervall-N-Gramme! Ähnlichkeit = 0 Intervallrichtungen (Parsonskode) von Anthropology: (U D U U U D U U ) Intervallrichtungen von Ornithology: (U U U U U D U U D D) 3-gramme Total: (UDU, 2:1), (DUU, 2:1), (UUD,1:2), (UUU, 1:3), (UDD, 0:1) Gemeinsame 3-gramme: (D U U), (U U D), (U U U) Summe Häufigkeiten: (2+1) + (1+2) +(1+3) = 11 nGrSumCo = 11/(9+11-2*(3-1)) =11/16 = nGrCoord = 3 / 4 = 0.75 nGrUkkon = 1 - 6/(9+11-2*(3-1)) = 1 –6/16 = 0.625

2. Ähnlichkeitsmaße Vollständige Liste VPN_MEAN RAWED RAWEDW RAWPC RAWPCST RAWPCW RAWPCWST RAWCC RAWCCW CONSED CONSPC CONSPCST CONSCC CONED CONPC CONPCST CONCC Mw. der Vpn.-urteile Tonhöhen Editierdistanz Tonh. Editierdistanz, gewichtet Tonh. Pearson-Korrelation Tonh. P.-Korr., 0-1 Tonh. P.-Korr., gew. Tonh. P.-Korr., gew., 0-1 Tonh. Korrelation Tonh. Korrelation, gew. Kontur (Steinbeck), Editierdist. Kontur (Steinbeck), P.-Korr. Kontur (Stein.), P.-Korr., 0-1 Kontur (Steinbeck), Korr. Kontur (M&F), Editierdistanz Kontur (M&F), P.-Korrelation Kontur (M&F), P.-Korr., 0-1 Kontur (M&F), Korrelation FOURR FOURRST FOURRW FOURRWST FOURRI DIFFED DIFF DIFFEXP DIFFFUZ DIFFFUZC Fourier (Ränge) Fourier (Ränge), gew., 0-1 Fourier (Ränge), gew., Fourier (Ränge), gew., 0-1 Fourier (Ränge, Intervalle) Intervalle (Editierdistanz) Intervalle (Mittl. Differenz) Intervalle (Mittl. Diff., exp.) Intervalle (Fuzzy), Ed.-dist. Intervals (Fuzzy, Kontur)

2. Ähnlichkeitsmaße Vollständige Liste NGRSUMCO NGRUKKON NGRCOORD NGRSUMCR NGRUKKOR NGRCOORR NGRSUMCF NGRUKKOF NGRCOORF NGRSUMFR NGRUKKFR NGRCOOFR N-gramme Häufigkeit (HM) N-gramme Ukkonnen (UM) N-gramme Anzahl (AM) N-gramme Intervallricht., HM N-gramme Intervallricht., UM N-gramme Intervallricht., AM N-gramme Intervallkat., HM N-gramme Intervallkat., UM N-gramme Intervallkat., AM N-gramme Dauerkat., HM N-gramme Dauerkat., UM N-gramme Dauerkat., AM RHYTGAUS RHYTFUZZ ESFMAX ESFMOD ESFMODK ESFSIGN HARMCORR HARMCORK HARMCORE HARMCORC JOINT52 Rhythmus (Gaussif. Korr) Dauernkat., Editierdistanz Selfridge-Field (Max.) Selfridge-Field (Modus I) Selfridge-Field (Modus II) Selfridge-F. (Vorzeichen) Harmonische Korrelation I Harmonische Korrelation II Harm. Korr. (Editierdist.) Harm. Korr. (Kreis) Akzente, (Editierdist. 2)

3. Experimente Paradigma 3 Experimente: Variation im experimentellen Material (Melodien), Vpn., Bewertungsskalen, Dauer Vorgehensweise: Einschätzung der Ähnlichkeiten von Paaren kurzer Melodien auf Bewertungsskala Kontext I: Variantenkontext Kontext II: Gemischter Kontext Test–Retest Design mit Kontrollitems Material: Popmusikmelodien und Varianten mit Manipulationen auf verschiedenen musikalischen Dimensionen zu verschiedenen Graden (eingebaute Fehler)

3. Experimente Resultate Insgesamt 108 MuWi-Studenten; 40 mit stabilen und reliablen Urteilen blieben in der Auswertung Resultat: Hypothesen bestätigt Sehr hohe Intersubjektkorrelation (Cronbachs alpha = 0.962; 0.978) Wahre melodische Ähnlichkeit Starker Einfluss von Zahl und Typ der Fehler

4. Modell ierung Vorgehen 1. Indicator of fit: Euklidische Distanzen zum Mw. der menschlichen Urteile 2. Auswahl der besten Maße von 5 Dimensionen (Tonhöhe/Intervalle, Kontur, Rhythmus, harmonischer gehalt, kurze Motive) 3. Lineare Regression mit den besten Maßen Optimierte Maße als gewichtete Kombination von Einzelmaßen

4. Modellierung Euklidische Distanz zu den Vpn.-Urteilen Experiment 1

4. Modellierung Optimierte Maße Verschiedene optimierte Maße für verschiedene Beurteilungskontexte Optimiertes Maß ( opti1 ) für Variantenkontext (Kontext I): s = * rawEdw * nGrCoord euklidische Distanz zum Vpn.-Urteilen: (28.5% besser als bestes Einzelmaß)

4. Modellierung Optimierte Maße

5. Anwendungen Volkslieduntersuchung Analyse von 585 Volkslieder aus Luxemburg und 435 aus Lothringen (ESAC Datenbank) mit dem opti3 -Maß. Verteilung von Ähnlichkeitswerten: Gutartig, aber Test auf Normalverteilung nicht signifikant.

5. Anwendungen Dubletten und Parodien Untersuchung von 19 Lieder (Luxemburg), die als Varianten gekennzeichnet waren 4 Lieder hatten denselben Text, aber alternative Melodien (Ähnlichkeiten<0.3) Ein Lied hatte kein Original (Fehler des Sammlers?) Von den 14 übrigen Lieder hatten 8 eine Ähnlichkeit >0.8, 2 zwischen 0.7 und 0.8 und 3 zwischen 0.6 und 0.7 zu ihrem Original. Untersuchung von 49 Paaren mit Ähnlichkeitswerten >0.6 Dubletten: 37 Paare Parodien: 10 Paare Psalme: 2 Paare

5. Anwendungen Ein Beispiel T0262 –Ist denn Liebe ein Verbechen? T0385 -Ehestandslehren

5. Anwendungen Ein Beispiel Struktur Zwei 4-taktige Phrasen Nur 2 verschiedene rhythmische Muster Die 1. Phrasen unterscheiden sich stark in der Kontur, die 2. Phrasen sind eher ähnlich. Ähnlichkeitswerte: opti nGrUkkon0.21 rhytFuzz0.84 harmCorE0.62 diffEd0.3

6. Zusammenfassung 1. Sehr hohe Korrelation zwischen den Ähnlichkeitsurteilen der Experten. 2. Optimierung als lineare Kombination von Einzelmaßen ist möglich signifikant bessere Resultate. 3. Maße und ihre Gewichte hängen vom Aufgabenkontext ab. 4. Anwendungen für opt. Ähnlichkeitsmaße: Automatische Strukturierung von großen Melodiesammlungen (z.B. Volkslieddatenbanken) Melodiesuche in Datenbanken (z.B. Qbh) Plagiatserkennung Etc.

Melodische Ähnlichkeit Klaus Frieler RMA Hamburg WS 05/06

Similarity measures Edit distance - Example ED ( ANTHROPOLOGY, ORNITHOLOGY) 1. Suffix OLOGY is same, no costs. Consider ANTHROP and ORNITH 2. Add ROP at end of ORNITH: ORNITHROP, costs 3 3. Delete R and I: ONTHROP, costs 2 4. Substitute O with A: Ready, costs 1 5. Total costs: 6 6. Normalization: Divide by length of longer strings: len(ANTHROPOLOGY) =12 7. Result: ED = 0.5

Similarity measures N-grams - Example Sum-Common-measure (4-grams) SC(s=ANTHROPOLOGY, t=ORNITHOLOGY) Only two common 4-grams : OLOG und LOGY, once each. Sum-Common(4-grams) = = 4 Normalization: len(s)+len(t)-2*(4-1)= =17 SC = 4/17~0.235

Similarity measures Accent similarity measures Idea: Accented notes are more important for similarity judgements Determine accent structures of 2 melodies and compare them True accents combine accents from different dimensions (pitch, rhythm, harmony etc.) Construction of joint accent measures: 1. Segment melodies in phrases 2. Give accents to melodies according to 25 rules from the literature (Thomassen, 1982; Povel & Essens, 1985; Boltz & Jones, 1986) 3. Compare output of rules to human similarity data and combine best rules to joint accent measures 4. Choose best comparision technique for accent structures

Accent similarity List of accent rules JUMPAFT3 JUMAFT4 JUMPAFT5 JUMPBEA3 JUMPBEA4 JUMPBEA5 JUMLOC SHORTPR PEXTREM PEXTRST PEXTRMF PEXTRA LONGPR LONG2PR ENDLOIOI BEATS13 BEAT1 After jump of 3 semitones After jump of 4 semitones After jump of 5 semitones Before and after jump of 3 semitones Before and after jump of 4 semitones Before and after jump of 5 semitones Aft. local jump (2 s.t. larger than pr. int) On 2nd note of 2-note-phrase Contour turning point Con. turning expt. change notes (Steinb.) Con. turning expt. change notes (M&F) After contour turning point Longer previous note 2x longer previous note Note ending long IOI (2x mod. of dur.) On beats 1 and 3 of 4/4 meter On beat 1 of 4/4 meter TRIAD TRIADPHE N PHRASBEG PHRASEND 1,3,5 of impl. tonality (Krumhansl) 1,3,5 of impl. ton. on phrase ends Note beginning phrase Note ending phrase

Accent similarity List of combined accent measures