Music Information Retrieval Eine Rundreise Klaus Frieler Universität Hamburg Musikwissenschaftliches Institut Seminar WS 07/08

Einleitung Sehr früh nach Erfindung des Computers wurden diese auch für musikalische Zwecke eingesetzt Man kann zwei große Bereiche unterscheiden: Musikproduktion und Musikanalyse Uns interessiert die Musikanalyse im weitesten Sinne und darunter der Bereich des Music Information Retrievals MIR: Eine Rundreise

Information Retrieval Das Auffinden von Dokumenten in Datensammlungen, wobei die Suchkriterien vage sein dürfen, und die Dokumente unsichere Inhalte haben können. Beispiel: Ich gebe bei Google „Infomation Retieval“ ein (mit Tippfehler!) und erhalte dennoch eine Menge Links aller Art, relevant oder nicht. Ich habe einen Melodie im Kopf (wahrscheihnlich mit „Fehlern“) und will die Titel der Stücke wissen, die diese Melodie enthalten. Ich suche (neue) Musikstücke die gerade gut zu meiner Stimmung passen. MIR: Eine Rundreise

Information Retrieval Information Retrieval entstand zuerst als Textretrieval. Das Internet hat den Bedarf nach IR explosionsartig anwachsen lassen. Z.B. basiert Googles Erfolg auf einer recht zufriedenstellenden Lösung des Retrieval Problems Musik ist Paradebeispiel: Vage Suchkriterien: Wie formuliere ich Suchanfragen nach Melodien, Harmonien, Klangfarben, Stimmungen, etc. ? Unsichere Daten: Wie repräsentiert man musikalischen Inhalt und wie kommt man ihn ran? MIR: Eine Rundreise

Music Information Retrieval Music Information Retrieval als solches enstand in den letzten 10-15 Jahren (parallel zum Internetboom). Erste ISMIR Konferenz 1999 Relativ junges Fach: Noch keine systematische Darstellung und wenig Lehrbücher vorhanden Sehr aktive Forschung Viele Artikel sind im Netz vorhanden MIR: Eine Rundreise

Music Information Retrieval Klassifikation nach Datenformaten: Audio, signalbasiert (Wav, mp3 etc) Symbolisch, Noten-basiert (MIDI, computerfähige Text-Codes) (Kon-)Text-basiert (textliche Metadaten) Hybrid (Mischung von einen oder mehreren der obigen) MIR: Eine Rundreise

Music Information Retrieval Klassifikation nach Aufgabenstellung: Information Retrieval im eigentlichen Sinne Erkennung musikalischer Inhalte Such/Retrievalmethoden Musikanalytische Tools Anwendungsorientiertes MIR Playlist-Erstellung Musikempfehlung Partiturverfolgung Optische Erkennung von Notentexten Sonstiges MIR: Eine Rundreise

Erkennung musikalischer Inhalte Tempo-, Beat-, Metrumserkennung, Beattracking Stimmtrennung, Stimmextraktion, Melodieerkennung Tonalitäts/Harmonieerkennung Instrumentenerkennung (Timbre classification) Erkennung und Bestimmung musikalischer Formen (Music Structure Discovery) Gesangstext-Extraktion Alles zusammen: Automatische Transkription (monophon, polyphon) Genre/Mood - Erkennung bzw. Klassifikation MIR: Eine Rundreise

Retrievalmethoden Suchmethoden zum Finden (ähnlicher) Melodien in Melodie-Datenbanken oder in polyphonen Stücken Methoden zum Finden (ähnlicher) Musikstücke in Musikdatenbanken (Music Similarity) Audio-Fingerprinting/Identification Gesamtsysteme: Query-by-(Humming/Whistling/Beatboxing/…/Example) MIR: Eine Rundreise

Anwendungsorientiertes MIR Playlisterstellung: Nach verschiedenen Kriterien und Algorithmen, z.B. (Un-)Ähnlicheit, Genre, Mood, etc. mit Audiofeaturen oder nach Metadaten (z.B. Pandora) Musikempfehlung: Im Prinzip dasselbe Spektrum wie Playlist-Erstellung. (Oft auch zusammen…) Partiturverfolgung, Partitur-zu-Audio-Ausrichtung. Synchronisation (online oder offline) von Audiodaten zu einer gegeben Partitur (z.B. für Interpretations-Analyse oder als Solistenbegleitung) Optische Erkennung von Notentexten: OMR. MIR: Eine Rundreise

Sonstiges Visualisierung von Musiksammlungen nach bestimmten Kirtieren Entwicklung von Tools (Marsyas, CLAM, MIR/MIDI Toolbox für Matlab…) Evaluation von MIR Systemen (Metriken, Testumgebungen, Testdaten, M2K, MIREX) Metadaten-Standards (MPEG-7, Music Ontology, Akkordbezeichnungen) Beschaffung von Metadaten (Ground Truth, Annotation) Anwenderforschung (Wer, was, wie, wann, warum) Design und Entwicklung von Anwenderschnittstellen MIR: Eine Rundreise

Methoden und Techniken Eine große Vielzahl von Techniken, oft aus anderen Anwendungsgebieten übertragen (vor allen Spracherkennung und Text Retrieval) Grundlegendes Konzept des Features: Musikalische Objekte werden durch ihre Attribute und Eigenschaften beschrieben, zur Datenreduktion und Datenabstraktion. Audiofeature, Symbolische Feature, Feature aus Metadaten MIR: Eine Rundreise

Methoden & Techniken Allg. Mathematik Allg. Informatik Mengen, Vektorräume Geometrie: Distanz/Ähnlichkeitsfunktionen Boolesche und Fuzzy Logik Allg. Informatik Programmierung (z.B. Java, C/C++, Matlab, Scriptsprachen) Tools (Matlab, Marsyas, CLAM, WEKA …) Musikwissenschaft Allgemeine Musiklehre Musikpsychologie Psychoakustik MIR: Eine Rundreise

Methoden & Techniken DSP Techniken Stochastik FFT, STFT, Spectogram, Autokorrelation, Wavelets, Filter, Mel-frequency Cepstral Coefficients (MFCCs), Chromavektoren ... Stochastik Allgemein: Wahrscheinlicheiten, Bayes‘sche Regel, Entropie Datenreduktion: PCA, ICA, SVD, Clustertechniken Machine Learning: Support Vector Machines (SVM), Neuronale Netze, Bayes Klassifier, k-NN… Decison Trees Modellierung: Gaussian Mixture Models, (Hidden) Markov Models, Bayes Rule… Zeitreihenanalyse MIR: Eine Rundreise

Methoden & Techniken String/Texttechniken Edit Distance, „Dynamic Programming“, Local/Global Alignment, Dynamic Time Warping N-grams, Suffixtrees, Textnormalisierung, TF-IDF… MIR: Eine Rundreise