PCA Principal Component Analysis. Gliederung PCA – Warum eigentlich? PCA – Was ist zu tun? Was passiert eigentlich? Anwendungen Zusammenfassung.

Präsentation zum Thema: "PCA Principal Component Analysis. Gliederung PCA – Warum eigentlich? PCA – Was ist zu tun? Was passiert eigentlich? Anwendungen Zusammenfassung."—  Präsentation transkript:

1 PCA Principal Component Analysis

2 Gliederung PCA – Warum eigentlich? PCA – Was ist zu tun? Was passiert eigentlich? Anwendungen Zusammenfassung

3 PCA – Warum eigentlich ? Zusammenhang zwischen den Spalten ?

4 PCA – Warum eigentlich ? Zusammenhang zwischen den Spalten ?

5 PCA – Warum eigentlich ? Musterfindung in hochdimensionalen Datensätzen schwierig Ziel PCA: Zerlegung von Eingabedaten, in Muster aus denen allen Eingaben bestehen z.B. Bilder, die in allen Bildern vorkommen Entsprechende Gewichte Möglichst kleiner Fehler

6 Gliederung PCA – Warum eigentlich? PCA – Was ist zu tun? Was passiert eigentlich? Anwendungen Zusammenfassung

7 PCA – Was ist zu tun? 1. Daten sammeln 2. Mittelwerte berechnen 3. Kovarianz-Matrix berechnen 4. Eigenwerte und Eigenvektoren berechnen 5. Auswählen der Eigenvektoren 6. Umwanden der Daten

8 2. Mittelwerte PCA geht von Mittelwert freien Daten aus  Kovarianz Mittelwert: Daten Mittelwert frei machen

9 3. Kovarianz-Matrix Kovarianz, X und Y haben n Elemente Kovarianz für einen Datensatz mit m Dimensionen

10 3. Kovarianz-Matrix

11 4. Eigenwerte und Eigenvektoren Berechnung später Eigenvektoren sind normiert und orthogonal

12 4. Eigenwerte und Eigenvektoren

13 5. Auswählen der Eigenvektoren Auswählen welche Vektoren für neue Basis verwendet werden sollen Je größer der Eigenwert ist, desto mehr Information sind im entsprechenden Eigenvektor enthalten Kleine Eigenwerte enthalten meist Rauschen

14 5. Auswählen der Eigenvektoren Schreiben der verwendeten Eigenvektoren als Spalten in eine Matrix

15 6. Umwanden der Daten Umwandeln der Daten durch eine Matrixmultiplikation: Neue Daten = Eigenvektoren T ∙ Daten T Daten in Spalten, Dimension in Zeilen  Neue Daten zum besseren Arbeiten auch transponieren  Zeilen und Spalten vertauschen

16 6. Umwanden der Daten (Daten gerundet)

17 6. Umwanden der Daten

18 Daten zurückbekommen Mit Inversen multiplizieren  Zurückdrehen Da Eigenvektoren orthonormal sind Inverse = Transponierte Mittelwerte wieder addieren Alten Daten‘ = Eigenvektoren ∙ Neue Daten T + Mittelwert

19 Daten zurückbekommen

20 Gliederung PCA – Warum eigentlich? PCA – Was ist zu tun? Was passiert eigentlich? Anwendungen Zusammenfassung

21 Was passiert eigentlich? Mittelwert, Varianz, Kovarianz Kovarianzmatrix und Eigenschaften Eigenwert, Eigenvektor Was passiert bei Multiplikation mit den ausgewählten Eigenvektoren

22 Mittelwert, Varianz, Kovarianz Mittelwert: Varianz Maß für Abweichung vom Mittelwert Kovarianz Maß für Ähnlichkeit zwischen zwei Datensätzen

23 Kovarianzmatrix Symmetrisch  alle Eigenwerte sind reell Positiv Semidefinit  alle Eigenwerte ≥ 0

24 Eigenwert, Eigenvektor A:n×n Matrix, λ ein Skalar Ax= λx(x nicht trivial) λ hei ß t Eigenwert von A x hei ß t Eigenvektor von A zum Eigenwert λ

25 Eigenwert, Eigenvektor Warum nimmt man eigentlich die Eigenvektoren? Wollen optimale Merkmalsdarstellung durch Transformation  Erhalten diese Art der Transformation Diese Transformation ist optimal bzgl. dem Quadrat des Abstandes

26 Eigenwert, Eigenvektor

27 Eigenwerte fallen sehr schnell ab Darstellen der Daten ohne großen Verlust mit wenigen Werten möglich  Sparse Coding

28 Eigenwert, Eigenvektor Berechnung über charakteristisches Polynom  det(λI-A)=0  Matrixentwicklung Berechung über Zerlegung  A=QDQ T  Stabiles numerisches Iterationsverfahren Berechnung des größten Eigenwertes  Zurückführen des Problems auf sich selbst Mathe Bibliothek

29 Multiplikation Transformation der Daten in eine Basis aus Eigenvektoren des Merkmalsvektors Eigenbasis ist orthogonal und normiert Transformation entspricht einer Drehung

30 Gliederung PCA – Warum eigentlich? PCA – Was ist zu tun? Was passiert eigentlich? Anwendungen Zusammenfassung

31 Eigenfaces Mittel zur Objekterkennung Über Datenbank neue Basis erstellen Eingabe in neue Basis transformieren  Starke Dimensionsreduktion Ähnlichkeit der Merkmale zu schon vorhandenen, transformierten Bildern

32 Eigenfaces - Eingabebilder

33 Eigenfaces

34 Kompression Kompression von Bildern

35

36 Kompression Kompression von Bildfolgen

37 Rauschelemination Entfernen von Rauschen durch Aufnahmeprozess Mehrere Bilder aufnehmen PCA „richtiges“ Bild in den ersten paar Komponenten

38

39 Gliederung PCA – Warum eigentlich? PCA – Was ist zu tun? Was passiert eigentlich? Anwendungen Zusammenfassung

40 PCA kann benutzt werden um Muster in hochdimensionalen Datensätzen zu finden Berechnung auch über Hebb‘sches Lernen möglich  Neuronales Netz Nachteile: die Komponenten sind nicht nur positiv Eigenwertfindung nicht ohne weiteres Speicherintensiv