Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Music Information Retrieval Eine Rundreise Klaus Frieler Universität Hamburg Musikwissenschaftliches Institut Seminar WS 07/08.

Ähnliche Präsentationen


Präsentation zum Thema: "Music Information Retrieval Eine Rundreise Klaus Frieler Universität Hamburg Musikwissenschaftliches Institut Seminar WS 07/08."—  Präsentation transkript:

1 Music Information Retrieval Eine Rundreise Klaus Frieler Universität Hamburg Musikwissenschaftliches Institut Seminar WS 07/08

2 MIR: Eine Rundreise Einleitung Sehr früh nach Erfindung des Computers wurden diese auch für musikalische Zwecke eingesetzt Man kann zwei große Bereiche unterscheiden: Musikproduktion und Musikanalyse Uns interessiert die Musikanalyse im weitesten Sinne und darunter der Bereich des Music Information Retrievals

3 MIR: Eine Rundreise Information Retrieval Das Auffinden von Dokumenten in Datensammlungen, wobei die Suchkriterien vage sein dürfen, und die Dokumente unsichere Inhalte haben können. Beispiel: –Ich gebe bei Google Infomation Retieval ein (mit Tippfehler!) und erhalte dennoch eine Menge Links aller Art, relevant oder nicht. –Ich habe einen Melodie im Kopf (wahrscheihnlich mit Fehlern) und will die Titel der Stücke wissen, die diese Melodie enthalten. –Ich suche (neue) Musikstücke die gerade gut zu meiner Stimmung passen.

4 MIR: Eine Rundreise Information Retrieval Information Retrieval entstand zuerst als Textretrieval. Das Internet hat den Bedarf nach IR explosionsartig anwachsen lassen. Z.B. basiert Googles Erfolg auf einer recht zufriedenstellenden Lösung des Retrieval Problems Musik ist Paradebeispiel: –Vage Suchkriterien: Wie formuliere ich Suchanfragen nach Melodien, Harmonien, Klangfarben, Stimmungen, etc. ? –Unsichere Daten: Wie repräsentiert man musikalischen Inhalt und wie kommt man ihn ran?

5 MIR: Eine Rundreise Music Information Retrieval Music Information Retrieval als solches enstand in den letzten Jahren (parallel zum Internetboom). Erste ISMIR Konferenz 1999 Relativ junges Fach: Noch keine systematische Darstellung und wenig Lehrbücher vorhanden Sehr aktive Forschung Viele Artikel sind im Netz vorhanden

6 MIR: Eine Rundreise Music Information Retrieval Klassifikation nach Datenformaten: –Audio, signalbasiert (Wav, mp3 etc) –Symbolisch, Noten-basiert (MIDI, computerfähige Text-Codes) –(Kon-)Text-basiert (textliche Metadaten) –Hybrid (Mischung von einen oder mehreren der obigen)

7 MIR: Eine Rundreise Music Information Retrieval Klassifikation nach Aufgabenstellung: –Information Retrieval im eigentlichen Sinne Erkennung musikalischer Inhalte Such/Retrievalmethoden Musikanalytische Tools –Anwendungsorientiertes MIR Playlist-Erstellung Musikempfehlung Partiturverfolgung Optische Erkennung von Notentexten –Sonstiges

8 MIR: Eine Rundreise Erkennung musikalischer Inhalte Tempo-, Beat-, Metrumserkennung, Beattracking Stimmtrennung, Stimmextraktion, Melodieerkennung Tonalitäts/Harmonieerkennung Instrumentenerkennung (Timbre classification) Erkennung und Bestimmung musikalischer Formen (Music Structure Discovery) Gesangstext-Extraktion Alles zusammen: Automatische Transkription (monophon, polyphon) Genre/Mood - Erkennung bzw. Klassifikation

9 MIR: Eine Rundreise Retrievalmethoden Suchmethoden zum Finden (ähnlicher) Melodien in Melodie-Datenbanken oder in polyphonen Stücken Methoden zum Finden (ähnlicher) Musikstücke in Musikdatenbanken (Music Similarity) Audio-Fingerprinting/Identification Gesamtsysteme: Query-by- (Humming/Whistling/Beatboxing/…/Example)

10 MIR: Eine Rundreise Anwendungsorientiertes MIR Playlisterstellung: Nach verschiedenen Kriterien und Algorithmen, z.B. (Un-)Ähnlicheit, Genre, Mood, etc. mit Audiofeaturen oder nach Metadaten (z.B. Pandora) Musikempfehlung: Im Prinzip dasselbe Spektrum wie Playlist-Erstellung. (Oft auch zusammen…) Partiturverfolgung, Partitur-zu-Audio-Ausrichtung. Synchronisation (online oder offline) von Audiodaten zu einer gegeben Partitur (z.B. für Interpretations- Analyse oder als Solistenbegleitung) Optische Erkennung von Notentexten: OMR.

11 MIR: Eine Rundreise Sonstiges Visualisierung von Musiksammlungen nach bestimmten Kirtieren Entwicklung von Tools (Marsyas, CLAM, MIR/MIDI Toolbox für Matlab…) Evaluation von MIR Systemen (Metriken, Testumgebungen, Testdaten, M2K, MIREX) Metadaten-Standards (MPEG-7, Music Ontology, Akkordbezeichnungen) Beschaffung von Metadaten (Ground Truth, Annotation) Anwenderforschung (Wer, was, wie, wann, warum) Design und Entwicklung von Anwenderschnittstellen

12 MIR: Eine Rundreise Methoden und Techniken Eine große Vielzahl von Techniken, oft aus anderen Anwendungsgebieten übertragen (vor allen Spracherkennung und Text Retrieval) Grundlegendes Konzept des Features: Musikalische Objekte werden durch ihre Attribute und Eigenschaften beschrieben, zur Datenreduktion und Datenabstraktion. Audiofeature, Symbolische Feature, Feature aus Metadaten

13 MIR: Eine Rundreise Methoden & Techniken Allg. Mathematik –Mengen, Vektorräume –Geometrie: Distanz/Ähnlichkeitsfunktionen –Boolesche und Fuzzy Logik Allg. Informatik –Programmierung (z.B. Java, C/C++, Matlab, Scriptsprachen) –Tools (Matlab, Marsyas, CLAM, WEKA …) Musikwissenschaft –Allgemeine Musiklehre –Musikpsychologie –Psychoakustik

14 MIR: Eine Rundreise Methoden & Techniken DSP Techniken –FFT, STFT, Spectogram, Autokorrelation, Wavelets, Filter, Mel-frequency Cepstral Coefficients (MFCCs), Chromavektoren... Stochastik –Allgemein: Wahrscheinlicheiten, Bayessche Regel, Entropie –Datenreduktion: PCA, ICA, SVD, Clustertechniken –Machine Learning: Support Vector Machines (SVM), Neuronale Netze, Bayes Klassifier, k-NN… Decison Trees –Modellierung: Gaussian Mixture Models, (Hidden) Markov Models, Bayes Rule… –Zeitreihenanalyse

15 MIR: Eine Rundreise Methoden & Techniken String/Texttechniken –Edit Distance, Dynamic Programming, Local/Global Alignment, Dynamic Time Warping –N-grams, Suffixtrees, –Textnormalisierung, TF-IDF…


Herunterladen ppt "Music Information Retrieval Eine Rundreise Klaus Frieler Universität Hamburg Musikwissenschaftliches Institut Seminar WS 07/08."

Ähnliche Präsentationen


Google-Anzeigen