Music Information Retrieval Eine Rundreise

Präsentation zum Thema: "Music Information Retrieval Eine Rundreise"—  Präsentation transkript:

1 Music Information Retrieval Eine Rundreise
Klaus Frieler Universität Hamburg Musikwissenschaftliches Institut Seminar WS 07/08

2 Einleitung Sehr früh nach Erfindung des Computers wurden diese auch für musikalische Zwecke eingesetzt Man kann zwei große Bereiche unterscheiden: Musikproduktion und Musikanalyse Uns interessiert die Musikanalyse im weitesten Sinne und darunter der Bereich des Music Information Retrievals MIR: Eine Rundreise

3 Information Retrieval
Das Auffinden von Dokumenten in Datensammlungen, wobei die Suchkriterien vage sein dürfen, und die Dokumente unsichere Inhalte haben können. Beispiel: Ich gebe bei Google „Infomation Retieval“ ein (mit Tippfehler!) und erhalte dennoch eine Menge Links aller Art, relevant oder nicht. Ich habe einen Melodie im Kopf (wahrscheihnlich mit „Fehlern“) und will die Titel der Stücke wissen, die diese Melodie enthalten. Ich suche (neue) Musikstücke die gerade gut zu meiner Stimmung passen. MIR: Eine Rundreise

4 Information Retrieval
Information Retrieval entstand zuerst als Textretrieval. Das Internet hat den Bedarf nach IR explosionsartig anwachsen lassen. Z.B. basiert Googles Erfolg auf einer recht zufriedenstellenden Lösung des Retrieval Problems Musik ist Paradebeispiel: Vage Suchkriterien: Wie formuliere ich Suchanfragen nach Melodien, Harmonien, Klangfarben, Stimmungen, etc. ? Unsichere Daten: Wie repräsentiert man musikalischen Inhalt und wie kommt man ihn ran? MIR: Eine Rundreise

5 Music Information Retrieval
Music Information Retrieval als solches enstand in den letzten Jahren (parallel zum Internetboom). Erste ISMIR Konferenz 1999 Relativ junges Fach: Noch keine systematische Darstellung und wenig Lehrbücher vorhanden Sehr aktive Forschung Viele Artikel sind im Netz vorhanden MIR: Eine Rundreise

6 Music Information Retrieval
Klassifikation nach Datenformaten: Audio, signalbasiert (Wav, mp3 etc) Symbolisch, Noten-basiert (MIDI, computerfähige Text-Codes) (Kon-)Text-basiert (textliche Metadaten) Hybrid (Mischung von einen oder mehreren der obigen) MIR: Eine Rundreise

7 Music Information Retrieval
Klassifikation nach Aufgabenstellung: Information Retrieval im eigentlichen Sinne Erkennung musikalischer Inhalte Such/Retrievalmethoden Musikanalytische Tools Anwendungsorientiertes MIR Playlist-Erstellung Musikempfehlung Partiturverfolgung Optische Erkennung von Notentexten Sonstiges MIR: Eine Rundreise

8 Erkennung musikalischer Inhalte
Tempo-, Beat-, Metrumserkennung, Beattracking Stimmtrennung, Stimmextraktion, Melodieerkennung Tonalitäts/Harmonieerkennung Instrumentenerkennung (Timbre classification) Erkennung und Bestimmung musikalischer Formen (Music Structure Discovery) Gesangstext-Extraktion Alles zusammen: Automatische Transkription (monophon, polyphon) Genre/Mood - Erkennung bzw. Klassifikation MIR: Eine Rundreise

9 Retrievalmethoden Suchmethoden zum Finden (ähnlicher) Melodien in Melodie-Datenbanken oder in polyphonen Stücken Methoden zum Finden (ähnlicher) Musikstücke in Musikdatenbanken (Music Similarity) Audio-Fingerprinting/Identification Gesamtsysteme: Query-by-(Humming/Whistling/Beatboxing/…/Example) MIR: Eine Rundreise

10 Anwendungsorientiertes MIR
Playlisterstellung: Nach verschiedenen Kriterien und Algorithmen, z.B. (Un-)Ähnlicheit, Genre, Mood, etc. mit Audiofeaturen oder nach Metadaten (z.B. Pandora) Musikempfehlung: Im Prinzip dasselbe Spektrum wie Playlist-Erstellung. (Oft auch zusammen…) Partiturverfolgung, Partitur-zu-Audio-Ausrichtung. Synchronisation (online oder offline) von Audiodaten zu einer gegeben Partitur (z.B. für Interpretations-Analyse oder als Solistenbegleitung) Optische Erkennung von Notentexten: OMR. MIR: Eine Rundreise

11 Sonstiges Visualisierung von Musiksammlungen nach bestimmten Kirtieren
Entwicklung von Tools (Marsyas, CLAM, MIR/MIDI Toolbox für Matlab…) Evaluation von MIR Systemen (Metriken, Testumgebungen, Testdaten, M2K, MIREX) Metadaten-Standards (MPEG-7, Music Ontology, Akkordbezeichnungen) Beschaffung von Metadaten (Ground Truth, Annotation) Anwenderforschung (Wer, was, wie, wann, warum) Design und Entwicklung von Anwenderschnittstellen MIR: Eine Rundreise

12 Methoden und Techniken
Eine große Vielzahl von Techniken, oft aus anderen Anwendungsgebieten übertragen (vor allen Spracherkennung und Text Retrieval) Grundlegendes Konzept des Features: Musikalische Objekte werden durch ihre Attribute und Eigenschaften beschrieben, zur Datenreduktion und Datenabstraktion. Audiofeature, Symbolische Feature, Feature aus Metadaten MIR: Eine Rundreise

13 Methoden & Techniken Allg. Mathematik Allg. Informatik
Mengen, Vektorräume Geometrie: Distanz/Ähnlichkeitsfunktionen Boolesche und Fuzzy Logik Allg. Informatik Programmierung (z.B. Java, C/C++, Matlab, Scriptsprachen) Tools (Matlab, Marsyas, CLAM, WEKA …) Musikwissenschaft Allgemeine Musiklehre Musikpsychologie Psychoakustik MIR: Eine Rundreise

14 Methoden & Techniken DSP Techniken Stochastik
FFT, STFT, Spectogram, Autokorrelation, Wavelets, Filter, Mel-frequency Cepstral Coefficients (MFCCs), Chromavektoren ... Stochastik Allgemein: Wahrscheinlicheiten, Bayes‘sche Regel, Entropie Datenreduktion: PCA, ICA, SVD, Clustertechniken Machine Learning: Support Vector Machines (SVM), Neuronale Netze, Bayes Klassifier, k-NN… Decison Trees Modellierung: Gaussian Mixture Models, (Hidden) Markov Models, Bayes Rule… Zeitreihenanalyse MIR: Eine Rundreise

15 Methoden & Techniken String/Texttechniken
Edit Distance, „Dynamic Programming“, Local/Global Alignment, Dynamic Time Warping N-grams, Suffixtrees, Textnormalisierung, TF-IDF… MIR: Eine Rundreise