Nichtlineare Fisher-Diskriminanzanalyse

Präsentation zum Thema: "Nichtlineare Fisher-Diskriminanzanalyse"—  Präsentation transkript:

1 Nichtlineare Fisher-Diskriminanzanalyse
Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau

2 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse
Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

3 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse
Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

4 Beispiel I I F Merkmalsreduktion Klassifikation Motivation
Männer (blau) Frauen (rot) Gewicht F Merkmalsreduktion Klassifikation Größe

5 Klassifikation mit Diskriminanzanalyse
Motivation Klassifikation mit Diskriminanzanalyse I F w db Vorgehensweise: Finde Gerade durch den Ursprung, so dass Klassen auf Gerade gut getrennt sind Finde Decision Boundary db auf Gerade g: w ¢ x = 0

6 Alternative Klassifikationsverfahren
Motivation Alternative Klassifikationsverfahren I w Perzeptron-Lernen Lösung eines linearen Ausgleichsproblems Support Vector Machines

7 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse
Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

8 Fisher-Kriterium Lineare Fisher-Diskriminanzanalyse
Menge der Vektoren der Klasse i Mittelwert der Vektoren der Klasse i Mittelwert aller Vektoren maximiere Streuung zwischen den Klassen (erklärte Streuung) Streuung innerhalb der Klassen (unerklärte Streuung)

9 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse
Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

10 Beispiel II I Nichtlineare Fisher-Diskriminanzanalyse krank (blau)
gesund (rot) Temperatur Blutdruck

11 Architektur-Übersicht
Nichtlineare Fisher-Diskriminanzanalyse Architektur-Übersicht Nichtlineare Transformation Lineare Fisher- Diskriminanz- analyse Eingabe- raum Ausgabe- Raum Raum I H F Beispiel

12 MLP-basierte Architektur (MLP-NLDA)
Nichtlineare Fisher-Diskriminanzanalyse MLP-basierte Architektur (MLP-NLDA) Bias Bias Ausgabe- Raum Eingabe- raum F lineare Aktivierung I sigmoide Aktivierung Nichtlineare Transformation Lineare Fisher- Diskriminanzanalyse

13 RBF-basierte Architektur (RBF-NLDA)
Nichtlineare Fisher-Diskriminanzanalyse RBF-basierte Architektur (RBF-NLDA) Bias Ausgabe- Raum Eingabe- raum F I lineare Aktivierung Radiale Basisfunktionen- Aktivierung Nichtlineare Transformation Linear Fisher- Diskriminanzanalyse

14 Kern-basierte Architektur (Kern-NLDA)
Nichtlineare Fisher-Diskriminanzanalyse Kern-basierte Architektur (Kern-NLDA) Nichtlineare Transformation Lineare Fisher- Diskriminanzanalyse  Eingabe- raum Ausgabe- Raum Raum H I F Kernfunktion berechnet Skalarprodukt in einem anderen Raum Keine explizite Anwendung von notwendig  : I £ I ! R 

15 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse
Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

16 Implementierung im NNSIM
Verschränkt: Berechnung des Fisher-Kriteriums und Gradientenabstieg 3. Anpassung der Gewichte nach Gradientenaufstieg 1. Setzen der Gewichte nach Fisher-Kriterium 2. Berechnung der Gradienten des Fisher-Kriteriums nach Gewichten 1. Setzen der Gewichte nach Fisher-Kriterium

17 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse
Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

18 Experimente Experiment I Wie gut eignen sich die Verfahren zur Nichtlinearen Diskriminanzanalyse zur Klassifikation?

19 Vergleich von Klassifikationsraten auf Standarddatensätzen
Experimente Vergleich von Klassifikationsraten auf Standarddatensätzen Fehlerraten des Cancer3-Datensatzes trainingerror test error MLP RBF SVM 0.0049 0.0052 0.0240 0.0281 0.0229 0.0402 MLP-NLDA RBF-NLDA Kern-NLDA 0.0200 0.0178 0.0191 0.0167 0.0000 0.0286

20 Experimente Experiment II Wie sollte man eine lineare Separierung im Ausgaberaum bestimmen?

21 Lineare Separierung im Ausgabe-Raum
Experimente Lineare Separierung im Ausgabe-Raum Beispiele ? F F ? Mögliche Kriterien: Euklidischer Abstand zu Klassenzentren Maximum A Posteriori (MAP) Klassifizierung durch lineare SVM

22 Lineare Separierung im Ausgabe-Raum
Experimente Lineare Separierung im Ausgabe-Raum trainingerror test error Euklidisch MAP SVM 0.0311 0.0244 0.0293 0.0201 0.0306 0.0229 MAP erlaubt Berücksichtigung eines prior Anmerkung: Durchschnittswerte für Cancer1, Cancer2, Cancer3

23 Experimente Experiment III Wie robust verhält sich Nichtlineare Diskriminanzanalyse bei unterschiedlichen Klassenstärken?

24 Robustheit bei unterschiedlichen Klassenstärken
Experimente Robustheit bei unterschiedlichen Klassenstärken Exponential- Verteilung (blau) Normal- Verteilung (rot) Synthetische Daten mit hoher Überlappung Variation der Klassenstärke der Exp.-Vert.

25 Robustheit bei unterschiedlichen Klassenstärken
Experimente Robustheit bei unterschiedlichen Klassenstärken Analytische Ermittlung der Fehlerrate Gleiche Berücksichtigung beider Klassen Exp-gr. 10000 5000 2500 1000 100 MLP 0.2547 0.2829 0.3428 0.4080 0.4510 MLP-NLDA 0.2526 0.2734 0.3142 0.3392 0.4169 Anmerkungen: MLP mit target coding (0,...,0,1,0,...0) MLP-NLDA mit MAP-Separierung und nicht-uniformen prior

26 Klassifikation bei unterschiedlichen Klassenstärken
Experimente Klassifikation bei unterschiedlichen Klassenstärken Anpassungen des MLP-NLDA: MAP nimmt uniformen prior an Modifizierung der unerklärten Streuung max. Division durch Klassengröße

27 Robustheit bei unterschiedlichen Klassenstärken
Experimente Robustheit bei unterschiedlichen Klassenstärken Exp-gr. 10000 5000 2500 1000 100 MLP 0.2547 0.2829 0.3428 0.4080 0.4510 Prior: Klassenstärke unerklärte Streuung: normal MLP-NLDA1 0.2526 0.2734 0.3142 0.3392 0.4169 Prior: uniform unerklärte Streuung: normal MLP-NLDA2 0.2531 0.2551 0.2706 0.2876 0.3275 Prior: uniform unerklärte Streuung: modifiziert MLP-NLDA3 0.2524 0.2522 0.2533 0.2516 0.2563

28 Robustheit bei unterschiedlichen Klassenstärken
Experimente Robustheit bei unterschiedlichen Klassenstärken MLP MLP-NLDA1 Prior: Klassenstärken Unerklärte Streuung: normal MLP-NLDA2 Prior: uniform Unerklärte Streuung: normal MLP-NLDA3 Prior: uniform Unerklärte Streuung: modifiziert

29 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse
Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

30 Zusammenfassung Diskriminanzanalyse liefert Abbildung in einen niedriger dimensionalen Raum; diskriminierende Eigenschaften bleiben erhalten. Nichtlineare Diskriminanzanalyse wird erreicht durch Kombination einer nichtl. Transformation u. linearer Diskriminanza. Vorteil von Diskriminanzanalyse bei Klassifikationsaufgaben: Robustheit bei unterschiedlichen Klassengrößen

31 Vielen Dank für Ihre Aufmerksamkeit
Ende Vielen Dank für Ihre Aufmerksamkeit Literatur: Carlos Santa Cruz und Jose R. Dorronsoro. A nonlinear discriminant algorithm for feature extraction and data classification. IEEE Transactions on Neural Networks, 9: , 1998