Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Sebastian Bitzer Sven Lauer Seminar: Neuronale Netze University of Osnabrueck 10. 07. 2003.

Ähnliche Präsentationen


Präsentation zum Thema: "Sebastian Bitzer Sven Lauer Seminar: Neuronale Netze University of Osnabrueck 10. 07. 2003."—  Präsentation transkript:

1 Sebastian Bitzer Sven Lauer Seminar: Neuronale Netze University of Osnabrueck Classifying The Real World Anwendungen von Support Vector Machines

2 Anwendungen von SVMs2 Überblick Textkategorisierung Bioinformatik Gesichtserkennung weitere Anwendungen

3 Textkategorisierung

4 Anwendungen von SVMs4 Textkategorisierung Eine der killer-Anwendungen für SVMs Wachsende Informationsvielfalt (Internet, Gb-Harddrives, …) Information sammeln ist billig, Information nutzbar machen ist teuer Momentan geschieht (erfolgreiche) Textkategorisierung meistens durch Menschen Verschiedenste Ansätze: Regelbasiert, Neuronale Netze, … und eben: SVMs Idee: maschinelles Lernen mit feedback (da schon grosse Mengen klassifizierter Informationen vorliegen) Klassifikation: klassische SVM-Aufgabe binär (spam/non-spam) oder mehrere Kategorien (Kombination von SVMs)

5 Anwendungen von SVMs5 Textkategorisierung (II) Representation eines Textes durch Wortvektor: binär (bag of words) oder gewichtet (z. B. nach Worthäufigkeit) Probleme bei reinen bag of words-Ansätzen: –Reihenfolge, Beziehungen zwischen den Wörtern werden ignoriert –Thematisch ähnliche Texte müssen nicht unbedingt dieselben Wörter enthalten (Synonyme, Hypernyme, Hyponyme, …) mögliche Lösung: Ähnlichkeit zwischen Wörtern definieren und in Kernel integrieren anstatt diese Ähnlichkeitsbeziehung zu definieren, könnte diese auch gelernt werden (annäherende Synonymie könnte etwa definiert werden als häufiges Auftreten zweier Wörter im gleich Kontext, ohne das diese je gemeinsam auftreten) andere Ansätze vorhanden, besonders interessant: Entdeckung semantischer Ähnlichkeit durch Analyse bilingualer Korpora

6 Anwendungen von SVMs6 Eigenschaften von Textklassifikationsaufgaben Sehr viele Features (Wörter im Lexikon) Wenige irrelevante Features Aber: sparse input vectors Oft sind die Kategorien linear trennbar, falls nicht, kann mit entsprechendem Kernel nachgeholfen werden SVM scheinen zur Textklassifikation eine gute Idee zu sein

7 Anwendungen von SVMs7 Joachims et. al. (1998)

8 Anwendungen von SVMs8 Lineare SVM gegen klassische Ansätze

9 Bioinformatik

10 DateQuelle: (1)10 Genexpression Mensch und Schimpanse teilen 98,7% ihres Erbgutes aber Gene werden im Gehirn des Menschen bis zu viermal mehr benutzt (4-mal stärkere Genexpression)

11 DateAnwendungen von SVMs11 Microarray Methodik:

12 DateQuelle: (3)12 Das Klassifikationsproblem Hefe-Gene anhand der reellwertigen Vektoren zu vorher existierenden funktionalen Klassen zuordnen (5 funktionale Klassen + 1 Kontrollklasse) eine SVM pro Klasse Gen YAL001C … YAL002W … … … … … … …… … … 2467YPR201W …

13 DateQuelle: (3)13 Ergebnis da Anzahl der negativen so hoch (z.B gegenüber 17 pos.), ist Fehlerrate bei allen Algorithmen sehr niedrig cost savings definiert beste Methode für jede der 5 Klassen ist eine SVM (entweder mit höher- gradigem Polynomkernel oder RBF-Kernel) mittlere Kosteneinsparung (cost savings)

14 Gesichtserkennung

15 Anwendungen von SVMs15 (face) detection Detection: –Gesichter –Tumore in MRI-Scans –Strukturfehler in produzierten Teilen Vorbedingung zur Identifikation einer abgebildeten Person Probleme: –starke Variabilität in zu findenden Mustern (unterschiedliche Gesichter, Gesichtsausdrücke, Brillen, Schatten)

16 Anwendungen von SVMs16 Ziel

17 Anwendungen von SVMs17 Vorgehensweise Gleich große Fenster (hier 19x19 pixel) aus dem Bild ausschneiden Bild skalieren (vergrößern/verkleinern), wieder Fenster ausschneiden So bekommt man eine Reihe von unterschiedlich grossen Fenstern aus dem Bild Fenster vorverarbeiten SVM klassifiziert Gesicht / Nicht-Gesicht Falls Gesicht: markieren mit Rahmen

18 Anwendungen von SVMs18 Vorgehensweise

19 Anwendungen von SVMs19 Bootstrapping falsch negativ klassifizierte Beispiele als negative Beispiele für weitere Trainingsdurchgänge (z.B. aus Landschaftsbildern) Sinnvoll, da Variation unter Nicht- Gesichtern wesentlich grösser ist als Variation unter Gesichtern

20 Anwendungen von SVMs20

21 Anwendungen von SVMs21

22 Anwendungen von SVMs22 Ergebnisse false positive SVM Sung & Poggio Set A42 Set B2011

23 Anwendungen von SVMs23 Perspektiven Möglicherweise auch rotierte Gesichter mit demselben classifier erkennen? Anwendung auf andere Klassifikationsobjekte (Tumorerkennung, …) Verbesserung der Performance (bessere Filterung)

24 Weitere Anwendungen

25 DateQuelle: (4),(5)25 Handschrifterkennung offline vs. online Kernel für Sequenzen: Gaussian dynamic time warping (GDTW) kernel mehrere Klassen: The DAGSVM algorithm

26 DateQuelle: (6)26 Zwei Spiralen KMOD (Kernel with Moderate Decreasing): RBF:

27 DateQuelle: (7)27 Steganographie-Erkennung Bild wird statistischer Analyse unterzogen Vektor SVM bekommt Vektor als Input und entscheidet dann, ob versteckte Nachricht enthalten, oder nicht

28 Anwendungen von SVMs28 Zusammenfassung SVMs kommen mittlerweile überall vor, wo es etwas zu klassifizieren gibt Klassifizierung ist nicht auf zwei Klassen beschränkt SVMs liefern oft sehr gute Ergebnisse aber: richtige Vorverarbeitung von Daten ist essentiell (z.B. Skalierung)

29 Anwendungen von SVMs29 References (1)http://www.vcell.de/genomstation/genexpression.htmlhttp://www.vcell.de/genomstation/genexpression.html (2)http://filebox.vt.edu/cals/cses/maroof/mglab/Microarray.htmlhttp://filebox.vt.edu/cals/cses/maroof/mglab/Microarray.html (3)Brown, Grundy, Lin, Cristianini, Sugnet, Furey, Ares and Haussler. Knowledge-based analysis of microarray gene expression data by using suport vector machines. Proc. Natl. Acad. Sci., 97: , (4)Bahlmann, Haasdonk and Burkhardt, On-line Handwriting Recognition with Support Vector Machines---A Kernel Approach, Proc. 8th IWFHR, 2002 (5)Platt, Cristianini and Shawe-Taylor. Large Margin DAGS for Multiclass Classification, Advances in Neural Information Processing Systems, 12 ed. S.A. Solla, T.K. Leen and K.-R. Muller, MIT Press, 2000 (6)Romero and Alquézar, Maximizing the margin with feed-forward neural networks, Proc. INNS- IEEE International Joint Conference on Neural Networks (IJCNN2002), pp , 2002 (7)Lyu and Farid, Detecting Hidden Messages Using Higher-Order Statistics and Support Vector Machines. Proc. 5th International Workshop on Information Hiding , 2002 (8)Osuna, Freund and Girosi, Support Vector Machines: Training and Applications, 1997 (9)Joachims, Text Categorization with Support Vector Machines, Learning With Many Relevant Features, 1998 (10)http://www.support-vector.nethttp://www.support-vector.net (11)http://www.kernel-machines.orghttp://www.kernel-machines.org (12)http://www.clopinet.com/isabelle/Projects/SVM/applist.htmlhttp://www.clopinet.com/isabelle/Projects/SVM/applist.html


Herunterladen ppt "Sebastian Bitzer Sven Lauer Seminar: Neuronale Netze University of Osnabrueck 10. 07. 2003."

Ähnliche Präsentationen


Google-Anzeigen