Nichtlineare Fisher-Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau

Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

Beispiel I I F Merkmalsreduktion Klassifikation Motivation Männer (blau) Frauen (rot) Gewicht F Merkmalsreduktion Klassifikation Größe

Klassifikation mit Diskriminanzanalyse Motivation Klassifikation mit Diskriminanzanalyse I F w db Vorgehensweise: Finde Gerade durch den Ursprung, so dass Klassen auf Gerade gut getrennt sind Finde Decision Boundary db auf Gerade g: w ¢ x = 0

Alternative Klassifikationsverfahren Motivation Alternative Klassifikationsverfahren I w Perzeptron-Lernen Lösung eines linearen Ausgleichsproblems Support Vector Machines

Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

Fisher-Kriterium Lineare Fisher-Diskriminanzanalyse Menge der Vektoren der Klasse i Mittelwert der Vektoren der Klasse i Mittelwert aller Vektoren maximiere Streuung zwischen den Klassen (erklärte Streuung) Streuung innerhalb der Klassen (unerklärte Streuung)

Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

Beispiel II I Nichtlineare Fisher-Diskriminanzanalyse krank (blau) gesund (rot) Temperatur Blutdruck

Architektur-Übersicht Nichtlineare Fisher-Diskriminanzanalyse Architektur-Übersicht Nichtlineare Transformation Lineare Fisher- Diskriminanz- analyse Eingabe- raum Ausgabe- Raum Raum I H F Beispiel

MLP-basierte Architektur (MLP-NLDA) Nichtlineare Fisher-Diskriminanzanalyse MLP-basierte Architektur (MLP-NLDA) Bias Bias Ausgabe- Raum Eingabe- raum F lineare Aktivierung I sigmoide Aktivierung Nichtlineare Transformation Lineare Fisher- Diskriminanzanalyse

RBF-basierte Architektur (RBF-NLDA) Nichtlineare Fisher-Diskriminanzanalyse RBF-basierte Architektur (RBF-NLDA) Bias Ausgabe- Raum Eingabe- raum F I lineare Aktivierung Radiale Basisfunktionen- Aktivierung Nichtlineare Transformation Linear Fisher- Diskriminanzanalyse

Kern-basierte Architektur (Kern-NLDA) Nichtlineare Fisher-Diskriminanzanalyse Kern-basierte Architektur (Kern-NLDA) Nichtlineare Transformation Lineare Fisher- Diskriminanzanalyse  Eingabe- raum Ausgabe- Raum Raum H I F Kernfunktion berechnet Skalarprodukt in einem anderen Raum Keine explizite Anwendung von notwendig  : I £ I ! R 

Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

Implementierung im NNSIM Verschränkt: Berechnung des Fisher-Kriteriums und Gradientenabstieg 3. Anpassung der Gewichte nach Gradientenaufstieg 1. Setzen der Gewichte nach Fisher-Kriterium 2. Berechnung der Gradienten des Fisher-Kriteriums nach Gewichten 1. Setzen der Gewichte nach Fisher-Kriterium

Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

Experimente Experiment I Wie gut eignen sich die Verfahren zur Nichtlinearen Diskriminanzanalyse zur Klassifikation?

Vergleich von Klassifikationsraten auf Standarddatensätzen Experimente Vergleich von Klassifikationsraten auf Standarddatensätzen Fehlerraten des Cancer3-Datensatzes trainingerror test error MLP RBF SVM 0.0049 0.0052 0.0240 0.0281 0.0229 0.0402 MLP-NLDA RBF-NLDA Kern-NLDA 0.0200 0.0178 0.0191 0.0167 0.0000 0.0286

Experimente Experiment II Wie sollte man eine lineare Separierung im Ausgaberaum bestimmen?

Lineare Separierung im Ausgabe-Raum Experimente Lineare Separierung im Ausgabe-Raum Beispiele ? F F ? Mögliche Kriterien: Euklidischer Abstand zu Klassenzentren Maximum A Posteriori (MAP) Klassifizierung durch lineare SVM

Lineare Separierung im Ausgabe-Raum Experimente Lineare Separierung im Ausgabe-Raum trainingerror test error Euklidisch MAP SVM 0.0311 0.0244 0.0293 0.0201 0.0306 0.0229 MAP erlaubt Berücksichtigung eines prior Anmerkung: Durchschnittswerte für Cancer1, Cancer2, Cancer3

Experimente Experiment III Wie robust verhält sich Nichtlineare Diskriminanzanalyse bei unterschiedlichen Klassenstärken?

Robustheit bei unterschiedlichen Klassenstärken Experimente Robustheit bei unterschiedlichen Klassenstärken Exponential- Verteilung (blau) Normal- Verteilung (rot) Synthetische Daten mit hoher Überlappung Variation der Klassenstärke der Exp.-Vert.

Robustheit bei unterschiedlichen Klassenstärken Experimente Robustheit bei unterschiedlichen Klassenstärken Analytische Ermittlung der Fehlerrate Gleiche Berücksichtigung beider Klassen Exp-gr. 10000 5000 2500 1000 100 MLP 0.2547 0.2829 0.3428 0.4080 0.4510 MLP-NLDA 0.2526 0.2734 0.3142 0.3392 0.4169 Anmerkungen: MLP mit target coding (0,...,0,1,0,...0) MLP-NLDA mit MAP-Separierung und nicht-uniformen prior

Klassifikation bei unterschiedlichen Klassenstärken Experimente Klassifikation bei unterschiedlichen Klassenstärken Anpassungen des MLP-NLDA: MAP nimmt uniformen prior an Modifizierung der unerklärten Streuung max. Division durch Klassengröße

Robustheit bei unterschiedlichen Klassenstärken Experimente Robustheit bei unterschiedlichen Klassenstärken Exp-gr. 10000 5000 2500 1000 100 MLP 0.2547 0.2829 0.3428 0.4080 0.4510 Prior: Klassenstärke unerklärte Streuung: normal MLP-NLDA1 0.2526 0.2734 0.3142 0.3392 0.4169 Prior: uniform unerklärte Streuung: normal MLP-NLDA2 0.2531 0.2551 0.2706 0.2876 0.3275 Prior: uniform unerklärte Streuung: modifiziert MLP-NLDA3 0.2524 0.2522 0.2533 0.2516 0.2563

Robustheit bei unterschiedlichen Klassenstärken Experimente Robustheit bei unterschiedlichen Klassenstärken MLP MLP-NLDA1 Prior: Klassenstärken Unerklärte Streuung: normal MLP-NLDA2 Prior: uniform Unerklärte Streuung: normal MLP-NLDA3 Prior: uniform Unerklärte Streuung: modifiziert

Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung 1 2 3 4 5 6

Zusammenfassung Diskriminanzanalyse liefert Abbildung in einen niedriger dimensionalen Raum; diskriminierende Eigenschaften bleiben erhalten. Nichtlineare Diskriminanzanalyse wird erreicht durch Kombination einer nichtl. Transformation u. linearer Diskriminanza. Vorteil von Diskriminanzanalyse bei Klassifikationsaufgaben: Robustheit bei unterschiedlichen Klassengrößen

Vielen Dank für Ihre Aufmerksamkeit Ende Vielen Dank für Ihre Aufmerksamkeit Literatur: Carlos Santa Cruz und Jose R. Dorronsoro. A nonlinear discriminant algorithm for feature extraction and data classification. IEEE Transactions on Neural Networks, 9:1370-1376, 1998