PCA Principal Component Analysis

Gliederung PCA – Warum eigentlich? PCA – Was ist zu tun? Was passiert eigentlich? Anwendungen Zusammenfassung

PCA – Warum eigentlich ? Zusammenhang zwischen den Spalten ?

PCA – Warum eigentlich ? Zusammenhang zwischen den Spalten ?

PCA – Warum eigentlich ? Musterfindung in hochdimensionalen Datensätzen schwierig Ziel PCA: Zerlegung von Eingabedaten, in Muster aus denen allen Eingaben bestehen z.B. Bilder, die in allen Bildern vorkommen Entsprechende Gewichte Möglichst kleiner Fehler

Gliederung PCA – Warum eigentlich? PCA – Was ist zu tun? Was passiert eigentlich? Anwendungen Zusammenfassung

PCA – Was ist zu tun? 1. Daten sammeln 2. Mittelwerte berechnen 3. Kovarianz-Matrix berechnen 4. Eigenwerte und Eigenvektoren berechnen 5. Auswählen der Eigenvektoren 6. Umwanden der Daten

2. Mittelwerte PCA geht von Mittelwert freien Daten aus  Kovarianz Mittelwert: Daten Mittelwert frei machen

3. Kovarianz-Matrix Kovarianz, X und Y haben n Elemente Kovarianz für einen Datensatz mit m Dimensionen

3. Kovarianz-Matrix

4. Eigenwerte und Eigenvektoren Berechnung später Eigenvektoren sind normiert und orthogonal

4. Eigenwerte und Eigenvektoren

5. Auswählen der Eigenvektoren Auswählen welche Vektoren für neue Basis verwendet werden sollen Je größer der Eigenwert ist, desto mehr Information sind im entsprechenden Eigenvektor enthalten Kleine Eigenwerte enthalten meist Rauschen

5. Auswählen der Eigenvektoren Schreiben der verwendeten Eigenvektoren als Spalten in eine Matrix

6. Umwanden der Daten Umwandeln der Daten durch eine Matrixmultiplikation: Neue Daten = Eigenvektoren T ∙ Daten T Daten in Spalten, Dimension in Zeilen  Neue Daten zum besseren Arbeiten auch transponieren  Zeilen und Spalten vertauschen

6. Umwanden der Daten (Daten gerundet)

6. Umwanden der Daten

Daten zurückbekommen Mit Inversen multiplizieren  Zurückdrehen Da Eigenvektoren orthonormal sind Inverse = Transponierte Mittelwerte wieder addieren Alten Daten‘ = Eigenvektoren ∙ Neue Daten T + Mittelwert

Daten zurückbekommen

Gliederung PCA – Warum eigentlich? PCA – Was ist zu tun? Was passiert eigentlich? Anwendungen Zusammenfassung

Was passiert eigentlich? Mittelwert, Varianz, Kovarianz Kovarianzmatrix und Eigenschaften Eigenwert, Eigenvektor Was passiert bei Multiplikation mit den ausgewählten Eigenvektoren

Mittelwert, Varianz, Kovarianz Mittelwert: Varianz Maß für Abweichung vom Mittelwert Kovarianz Maß für Ähnlichkeit zwischen zwei Datensätzen

Kovarianzmatrix Symmetrisch  alle Eigenwerte sind reell Positiv Semidefinit  alle Eigenwerte ≥ 0

Eigenwert, Eigenvektor A:n×n Matrix, λ ein Skalar Ax= λx(x nicht trivial) λ hei ß t Eigenwert von A x hei ß t Eigenvektor von A zum Eigenwert λ

Eigenwert, Eigenvektor Warum nimmt man eigentlich die Eigenvektoren? Wollen optimale Merkmalsdarstellung durch Transformation  Erhalten diese Art der Transformation Diese Transformation ist optimal bzgl. dem Quadrat des Abstandes

Eigenwert, Eigenvektor

Eigenwerte fallen sehr schnell ab Darstellen der Daten ohne großen Verlust mit wenigen Werten möglich  Sparse Coding

Eigenwert, Eigenvektor Berechnung über charakteristisches Polynom  det(λI-A)=0  Matrixentwicklung Berechung über Zerlegung  A=QDQ T  Stabiles numerisches Iterationsverfahren Berechnung des größten Eigenwertes  Zurückführen des Problems auf sich selbst Mathe Bibliothek

Multiplikation Transformation der Daten in eine Basis aus Eigenvektoren des Merkmalsvektors Eigenbasis ist orthogonal und normiert Transformation entspricht einer Drehung

Gliederung PCA – Warum eigentlich? PCA – Was ist zu tun? Was passiert eigentlich? Anwendungen Zusammenfassung

Eigenfaces Mittel zur Objekterkennung Über Datenbank neue Basis erstellen Eingabe in neue Basis transformieren  Starke Dimensionsreduktion Ähnlichkeit der Merkmale zu schon vorhandenen, transformierten Bildern

Eigenfaces - Eingabebilder

Eigenfaces

Kompression Kompression von Bildern

Kompression Kompression von Bildfolgen

Rauschelemination Entfernen von Rauschen durch Aufnahmeprozess Mehrere Bilder aufnehmen PCA „richtiges“ Bild in den ersten paar Komponenten

Gliederung PCA – Warum eigentlich? PCA – Was ist zu tun? Was passiert eigentlich? Anwendungen Zusammenfassung

PCA kann benutzt werden um Muster in hochdimensionalen Datensätzen zu finden Berechnung auch über Hebb‘sches Lernen möglich  Neuronales Netz Nachteile: die Komponenten sind nicht nur positiv Eigenwertfindung nicht ohne weiteres Speicherintensiv