Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this.

Ähnliche Präsentationen


Präsentation zum Thema: "Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this."—  Präsentation transkript:

1 Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this box.: AA

2 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Zielstellung ▫ Erlernen des Zusammen- hanges zweier Zufallsgrößen und  auf Grundlage von Beobach- tungen Kernbasiertes Lernen: Maschinelles Lernen 2/18 Beispiel ▫ Erkennung von Objekten in Bildern Weitere Beispiele

3 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Kernbasiertes Lernen ▫ Daten  Klassenzugehörigkeiten ▫ Kern ist eine Funktion  so dass eine Abbildung existiert mit ▫ Kernbasiertes Lernen:  Erlernen linearer Trennung im Merkmalsraum ▫ Nicht-lineare Trennung im Ursprungsraum  Mathematisches Programm 6/18

4 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Multiple Sichtweisen / Kerne 3/18 Gewichtungen (Lanckriet et al., JMLR 2004) Form Raum Farbe Weitere Bsp.: -Verschiedene genomische Signale -Multimodale Robotikdaten -Messdaten Verschiedener Fernerkundungss ensoren

5 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Bestimmung der Gewichte? 4/18 Bisher ▫ „Spärliche“ Gewichtungen  Kerne / Sichtweisen werden komplett ausgeschaltet ▫ Kann nachteilhaft sein JOKE hier wär nicht schlecht

6 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Von der Vision zur Wirklichkeit? Bisher: Spärliches Verfahren ▫ Wiederholt von ungewichtetem Verfahren übertroffen 10/21 (Gehler et al., Noble et al., Shawe-Taylor et al., NIPS 2008, Cortes et al., ICML 2009) Nun: Neue Methodologie ▫ Effiziente nicht-spärliche Informationsfusion Schärfere Lern- schranken: O(M/n) Biologie & Maschi- nelles Sehen Effiziente Algorithmen (K., 2011,2012,2013; K. et al., 2009a/b, 2010, 2011, 2012, 2013)

7 Marius Kloft - Maschinelles Lernen mit mehreren Kernen Nicht-spärliches Lernen mit mehreren Kernen

8 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Farbe Generelle Formulierung ▫ Erstmalig beliebiger Verlust ▫ Erstmalig beliebige Normen  z. B. l p -Normen: Neue Methodologie Lernen mit mehreren Kernen ▫ Gegeben Kerne  Betrachte gewichtete Summe ~ gewichtete Merkmalsräume  Gewichte bestimmen? ▫ Mathematisches Programm 7/18 Kloft et al., ECML 2010, JMLR 2011 Optimierung über Gewichte Form Raum

9 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Algorithmen 1.Newton-Methode 2.Sequentielle, quadratisch- bedingte Programmierung 3.Blockkoordinaten-Algorithmus  Alterniere  Optimiere bezüglich w  Optimiere bezüglich % : Bis Konvergenz (bewiesen) Implementierung ▫ In C++ (“SHOGUN Toolbox”)  Matlab/Octave/Python/R support ▫ Laufzeit: ~ 1-2 Größenordnungen effizienter Optimierung 10/18 (Kloft et al., JMLR 2011) (Skizze) (Kloft, Mohri, Cortes, NIPS 2013 submitted)

10 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Theorem (Kloft & Blanchard) ▫ Konvergenz mit Rate  bisher beste Rate:  Üblicherweise  Zwei Größenordnungen besser für ▫ Beweis der Optimalität der Rate Theoretische Fundamente Theoretische Klärung ▫ Aktives Thema ▫ Präliminarien  Sei die Ausgabe der Multi- Kern-Lernmaschine (vorige Folie) ▫ Konvergenz gegen Ausgabe der theoretisch-optimalen Maschine? 8/18 (Cortes et al., ICML 2010) Kloft & Blanchard, NIPS 2011 & JMLR 2012 Kloft, Bach, et al., NIPS Workshop on New Directions in Multiple Kernel Learning, 2010

11 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Konvergenzrate durch Eigenwerte bestimmt ▫ Sei j-ter Eigenwert des m-ten Kerns ▫ Bisher beste Konvergenzrate: ▫ Neue Rate: für beliebige gilt ▫ Wähle. Konvergenzrate Cortes et al., ICML 2010 Kloft & Blan- chard, JMLR 2012 Theoretische Fundamente j-ter Ei- genwert (sortiert) Index j Für z.B. Gausskerne 9/18

12 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Visuelle Objekterkennung ▫ Zielstellung: Annotation visueller Medien (z. B. Bilder): ▫ Motivation:  inhaltsbasierter Bildzugriff Anwendungsgebiet: Maschinelles Sehen 11/18 Flugzeug Fahrrad Vogel Binder, Kloft, et al., PLoS One, 2012

13 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Visuelle Objekterkennung ▫ Zielstellung: Annotation visueller Medien (z. B. Bilder): ▫ Motivation:  inhaltsbasierter Bildzugriff Anwendungsgebiet: Maschinelles Sehen Multiple Kerne ▫ basierend auf  Pixelfarben  Formen (Gradienten)  lokale Merkmale (SIFT-Wörter)  räumliche Merkmale 11/18 Empirische Analyse ▫ Datensatz: PASCAL VOC’08 ▫ Genauigkeitsgewinn gegenüber uniformer Kerngewichtung: Gewinner: ImageCLEF 2011 Photo Annotation challenge! Binder, Kloft, et al., PLoS One, 2012

14 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Methodik ist generell ▫ Weitere Anwendungsbereiche? ▫ Text und Speech Mining  Bag of Words, n-Grams, Grammatik, Semantik,... ▫ Neurowissenschaften & Robotik  Multiple Modalitäten Weitere Anwendungsgebiete Biologie / Genetik ▫ Zielstellung:  Prädiktion von Phenotyp ▫ Multiple, heterogene Daten  Genomische Signale (DNA) ▫ SNPs, CNVs, Sequenzmotive  RNA und Protein Expression  Klinische Patientendaten ▫ Messungen, Diagnosen, demographische Daten,... 12/18

15 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Generkennung – Detektion von ▫ Transkriptionsstartpunkten: mittels Kernen basierend auf: ▫ Sequenzalignment ▫ Nukleotidverteilung  downstream, upstream ▫ Faltungseigenschaften  Bindungsenergien, Winkel Empirische Analyse ▫ Detektionsgenauigkeit (AUC):  ARTS Gewinner eines Vergleichs von 19 Modellen  Höhere Genauigkeiten durch nicht-spärliches Verfahren (Abeel et al., 2009) Abb. aus Alberts et al. (2002) K. et al., NIPS 2009, JMLR /18 Anwendungsgebiet: Bioinformatik (Sonnenburg et al., 2006)

16 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Vorhersage von Proteinfaltungs- klassen ▫ Faltungsklasse eines Proteins beeinflusst dessen Funktion  Von Bedeutung bei der Entwicklung von Arzneimitteln ▫ Datensatz: Ying et al., 2009  27 Klassen  12 Kerne ▫ Primärstruktur (Strings), Hydrophobizität, Polarität, … Vorhersagegenauigkeit ▫ 6% höhere Genauigkeit durch vorgeschlagenes, nicht-spärliches Verfahren 14/18 Anwendungsgebiet: Bioinformatik Primär- struktur K., 2011

17 Marius Kloft - Maschinelles Lernen mit multiplen Kernen Zusammenfassung 15/18 Algorithmen Lernschranken Appli- kationen Visuelle Objekterkennung Gewinner des Image- CLEF Wettbewerbs Bioinformatik Genauerer TSS-Er- kenner als Gewinner internat. Vergleichs

18 Ausgewählte relevante Arbeiten ▫ Kloft, Brefeld, Sonnenburg, Zien (2011). L p -Norm Multiple Kernel Learning. Journal of Machine Learning Research (JMLR), 12(Mar): ▫ Kloft, Blanchard (2012). On the Convergence Rate of L p -norm Multiple Kernel Learning. Journal of Machine Learning Research (JMLR), 13(Aug): ▫ Kloft, Laskov (2012). Security Analysis of Centroid-based Online Anomaly Detection. Journal of Machine Learning Research (JMLR), 13(Dec): ▫ Kloft, Brefeld, Sonnenburg, Laskov, Müller, Zien (2009). Efficient and Accurate L p -norm Multiple Kernel Learning. Advances in Neural Information Processing Systems 22 (NIPS 2009): ▫ Kloft and Blanchard (2011). The Local Rademacher Complexity of L p -Norm Multiple Kernel Learning. Advances in Neural Information Processing Systems 24 (NIPS 2011), pages ▫ Kloft, Mohri, Cortes (2013). Learning Kernels Using Local Rademacher Complexity. Advances in Neural Information Processing Systems 26 (NIPS 2013), submitted. ▫ Kloft, Rückert, Bartlett (2010). A Unifying View of Multiple Kernel Learning. Proceedings of the European Conference on Machine Learning and Knowledge Discovery in Databases, ECML 2010: ▫ Kloft (2011). L p -norm Multiple Kernel Learning. Dissertation, Technische Universität Berlin, Oct ▫ Kloft (2012). Maschinelles Lernen mit Multiplen Kernen. Hölldobler et al.: Ausgezeichnete Informatikdissertationen (LNI D-12), ▫ Kloft (2013). Kernel-based Machine Learning with Multiple Sources of Information. Information Technology, 55(2): ▫ Kloft, Brefeld, Laskov, Sonnenburg (2008). Non-sparse Multiple Kernel Learning. Proceedings of the NIPS 2008 Workshop on Kernel Learning: Automatic Selection of Kernels. ▫ Binder, Nakajima, Kloft, Müller, Samek, Brefeld, Müller, Kawanabe (2012). Insights from Classifying Visual Concepts with Multiple Kernel Learning. PLoS ONE 7(8):e ▫ Jessen, Kloft, Zien, Sonnenburg, Müller (2012). A Scatter-Based Prototype Framework and Multi-Class Extension of Support Vector Machines. PLoS ONE 7(10):e ▫ Widmer, Kloft, Rätsch. Multi-task Multiple Kernel Learning. Journal of Machine Learning Research, forthcoming. ▫ Widmer, Kloft, Görnitz, Rätsch (2012). Efficient Training of Graph-Regularized Multitask SVMs. Proceedings of the European Conference on Machine Learning and Knowledge Discovery in Databases, ECML 2012:

19 Externe Referenzen ▫ Abeel, Van de Peer, and Saeys (2009). Toward a gold standard for promoter prediction evaluation. Bioinformatics, pages i313-i320. ▫ Bach, Lanckriet, and Jordan (2004). Multiple kernel learning, conic duality, and the SMO. Proceedings of the 21th International Conference on Machine Learning (ICML 2004). ▫ Lanckriet, Cristianini, Bartlett, El Ghaoui, and Jordan (2004). Learning the Kernel Matrix with Semidefinite Programming. Journal of Machine Learning Research (JMLR). ▫ Yang, Huang, and Campbell (2009). Enhanced protein fold recognition through a novel data integration approach. BMC Bioinformatics, 10:267.


Herunterladen ppt "Lecture 8: Maschinelles Lernen mit multiplen Kernen Marius Kloft HU Berlin TexPoint fonts used in EMF. Read the TexPoint manual before you delete this."

Ähnliche Präsentationen


Google-Anzeigen