Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.

Ähnliche Präsentationen


Präsentation zum Thema: "Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau."—  Präsentation transkript:

1 Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau

2 2 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung

3 3 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung

4 4 Beispiel I Motivation Gewicht Größe Männer (blau) Frauen (rot) Merkmalsreduktion Klassifikation I F

5 5 Klassifikation mit Diskriminanzanalyse Motivation Vorgehensweise: 1.Finde Gerade durch den Ursprung, so dass Klassen auf Gerade gut getrennt sind 2.Finde Decision Boundary db auf Gerade g: w ¢ x = 0 w I F db

6 6 Alternative Klassifikationsverfahren Motivation Perzeptron-Lernen Lösung eines linearen Ausgleichsproblems Support Vector Machines w I

7 7 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung

8 8 Fisher-Kriterium Lineare Fisher-Diskriminanzanalyse Streuung zwischen den Klassen (erklärte Streuung) Streuung innerhalb der Klassen (unerklärte Streuung) Menge der Vektoren der Klasse i Mittelwert der Vektoren der Klasse i Mittelwert aller Vektoren maximiere

9 9 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung

10 10 Beispiel II Nichtlineare Fisher-Diskriminanzanalyse Temperatur Blutdruck krank (blau) gesund (rot) I

11 11 Architektur-Übersicht Eingabe- raum I Nichtlineare Transformation Lineare Fisher- Diskriminanz- analyse H Raum Ausgabe- Raum F Nichtlineare Fisher-Diskriminanzanalyse Beispiel

12 12 MLP-basierte Architektur (MLP-NLDA) Nichtlineare Fisher-Diskriminanzanalyse Nichtlineare Transformation Lineare Fisher- Diskriminanzanalyse Eingabe- raum Bias sigmoide Aktivierung lineare Aktivierung Bias I Ausgabe- Raum F

13 13 RBF-basierte Architektur (RBF-NLDA) Nichtlineare Fisher-Diskriminanzanalyse Nichtlineare Transformation Linear Fisher- Diskriminanzanalyse Eingabe- raum Bias Radiale Basisfunktionen- Aktivierung lineare Aktivierung I Ausgabe- Raum F

14 14 Kern-basierte Architektur (Kern-NLDA) Nichtlineare Fisher-Diskriminanzanalyse  Eingabe- raum Raum Lineare Fisher- Diskriminanzanalyse Nichtlineare Transformation Kernfunktion berechnet Skalarprodukt in einem anderen Raum Keine explizite Anwendung von notwendig I H Ausgabe- Raum F  : I £ I ! R 

15 15 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung

16 16 Implementierung im NNSIM Implementierung Verschränkt: Berechnung des Fisher- Kriteriums und Gradientenabstieg 1. Setzen der Gewichte nach Fisher-Kriterium 3. Anpassung der Gewichte nach Gradientenaufstieg 2. Berechnung der Gradienten des Fisher-Kriteriums nach Gewichten 1. Setzen der Gewichte nach Fisher-Kriterium

17 17 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung

18 18 Experiment I Experimente Wie gut eignen sich die Verfahren zur Nichtlinearen Diskriminanzanalyse zur Klassifikation?

19 19 Vergleich von Klassifikationsraten auf Standarddatensätzen MLPRBFSVM Experimente Fehlerraten des Cancer3-Datensatzes training error test error training error test error training error test error MLP-NLDARBF-NLDAKern-NLDA

20 20 Experiment II Experimente Wie sollte man eine lineare Separierung im Ausgaberaum bestimmen?

21 21 Lineare Separierung im Ausgabe-Raum Mögliche Kriterien: Euklidischer Abstand zu Klassenzentren Maximum A Posteriori (MAP) Klassifizierung durch lineare SVM Experimente ? F Beispiele ? F

22 22 Lineare Separierung im Ausgabe-Raum Experimente MAP erlaubt Berücksichtigung eines prior EuklidischMAPSVM training error test error training error test error training error test error Anmerkung: - Durchschnittswerte für Cancer1, Cancer2, Cancer3

23 23 Experiment III Experimente Wie robust verhält sich Nichtlineare Diskriminanzanalyse bei unterschiedlichen Klassenstärken?

24 24 Robustheit bei unterschiedlichen Klassenstärken Experimente Synthetische Daten mit hoher Überlappung Variation der Klassenstärke der Exp.-Vert. Normal- Verteilung (rot) Exponential- Verteilung (blau)

25 25 Robustheit bei unterschiedlichen Klassenstärken Experimente Exp-gr MLP MLP-NLDA Anmerkungen: - MLP mit target coding (0,...,0,1,0,...0) - MLP-NLDA mit MAP-Separierung und nicht-uniformen prior Analytische Ermittlung der Fehlerrate Gleiche Berücksichtigung beider Klassen

26 26 Klassifikation bei unterschiedlichen Klassenstärken Anpassungen des MLP-NLDA: 1.MAP nimmt uniformen prior an 2.Modifizierung der unerklärten Streuung Experimente Division durch Klassengröße max.

27 27 Experimente Robustheit bei unterschiedlichen Klassenstärken Exp-gr MLP MLP-NLDA MLP-NLDA MLP-NLDA Prior: Klassenstärkeunerklärte Streuung: normal Prior: uniform unerklärte Streuung: normal Prior: uniform unerklärte Streuung: modifiziert

28 28 Robustheit bei unterschiedlichen Klassenstärken Experimente MLP MLP-NLDA1 MLP-NLDA2 MLP-NLDA3 Prior: Klassenstärken Unerklärte Streuung: normal Prior: uniform Unerklärte Streuung: normal Prior: uniform Unerklärte Streuung: modifiziert

29 29 Inhalt Motivation Lineare Fisher-Diskriminanzanalyse Nichtlineare Fisher-Diskriminanzanalyse Implementierung Experimente Zusammenfassung

30 30 Diskriminanzanalyse liefert Abbildung in einen niedriger dimensionalen Raum; diskriminierende Eigenschaften bleiben erhalten. Nichtlineare Diskriminanzanalyse wird erreicht durch Kombination einer nichtl. Transformation u. linearer Diskriminanza. Vorteil von Diskriminanzanalyse bei Klassifikationsaufgaben: Robustheit bei unterschiedlichen Klassengrößen Zusammenfassung

31 31 Vielen Dank für Ihre Aufmerksamkeit Literatur: Carlos Santa Cruz und Jose R. Dorronsoro. A nonlinear discriminant algorithm for feature extraction and data classification. IEEE Transactions on Neural Networks, 9: , 1998 Ende


Herunterladen ppt "Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau."

Ähnliche Präsentationen


Google-Anzeigen