Independent Component Analysis: Analyse natürlicher Bilder Friedrich Rau.

Präsentation zum Thema: "Independent Component Analysis: Analyse natürlicher Bilder Friedrich Rau."—  Präsentation transkript:

1 Independent Component Analysis: Analyse natürlicher Bilder Friedrich Rau

2 Übersicht Was ist ICA? BSS an einem praktischen Beispiel Stochastische Grundlagen Ein ICA Beispiel Anwendungen (EEG, Features natürlicher Bilder)

3 Was ist ICA? Ein Verfahren, um Daten so zu transformieren, dass die Ergebnisse statistisch unabhängig sind. Ein Werkzeug zur Featureextraktion und Blind Source Separation (BSS) Definition: Seien x 1 … x n gewichtete Summen von n unabhängigen Komponenten x j = a j1 s 1 + a j2 s 2 + … + a jn s n

4 Blind Source Separation Ursprungssignale s 1 (t) und s 2 (t)

5 Blind Source Separation gemischte Signale x 1 (t) und x 2 (t)

6 Blind Source Separation durch ICA rekonstruierte Signale

7 Stochastische Grundlagen Stochastische Unabhängigkeit Bestimmte statistische Ereignisse haben nichts miteinander zu tun. Sei X=(X 1,...,X n ) ein Zufallsvektor mit Wahrscheinlichkeitsdichtefunktion f X (x 1,...,x n ) Seine Komponenten sind dann unabhängig, wenn die Dichte gleich dem Produkt der Einzelwahrscheinlichkeiten ist. f X (x 1,...,x n ) = f X 1 (x 1 ) *... * f X n (x n )

8 Stochastische Grundlagen Die Varianz ist ein Maß für die Abweichung einer Zufallsvariable von ihrem Erwartungswert: var(X) Die Kovarianz ist die Streuung zweier Zufallsvariablen um deren Erwartungswert unter Berücksichtigung der jeweils anderen: cov(X,Y)

9 Stochastische Grundlagen Die Kovarianzmatrix dient der sinnvollen Veranschaulichung der Kovarianzen. Die Kovarianzmatrix für eine dreidimensionale Datenmenge mit den Dimensionen X, Y und Z

10 Stochastische Grundlagen Zusammenhang zwischen Kovarianz und Unabhängigkeit Ist die Kovarianz zweier Zufallsvariablen X und Y Null, so sind sie unkorreliert bzw. nicht voneinander abhängig. Zentraler Grenzwertsatz Die Summe von vielen unabhängigen Zufallsvariablen kommt der Normalverteilung näher als die Zufallsvariablen selbst.

11 Ein ICA Beispiel Annahme zweier unabhängiger Komponenten s 1 und s 2 : Die Erwartungswerte der Komponenten ergeben sich zu Null, die Varianzen zu Eins.

12 Ein ICA Beispiel Die gemeinsame Verteilung der unabhängigen Zufallsvariablen ergibt ein Quadrat

13 Ein ICA Beispiel Mischen der Komponenten durch Annahme einer Kovarianzmatrix A Die gemischten Variablen x 1 und x 2 sind nicht mehr unabhängig.

14 Ein ICA Beispiel Zwei abhängige Zufallsvariablen

15 ICA Vorarbeiten 1. Eingabedaten zentrieren (Mittelwert m = E{x} subtrahieren) 2. Whitening Lineare Transformation des zentrierten Eingabevektors, sodass dessen Komponenten unkorreliert und deren Varianzen auf den Wert 1 normiert sind Eigenwertzerlegung der Kovarianzmatrix C=EDE T E: orthogonale Matrix der Eigenvektoren D: Diagonalmatrix der Eigenwerte Neue Mischungsmatrix durch Whitening: x whitening = ED -1/2 E T As = A whitening s

16 ICA Vorarbeiten Durch Whitening entzerrte Daten

17 Verfahren zur Maximierung der Nicht-Gaußähnlichkeit 1. Kurtosis maximieren 2. Negentropie maximieren 3. Information Maximisation (Infomax) durch das Lernen in neuronalen Netzen

18 1. Kurtosis maximieren Kurtosis ist ein Maß, um die Ähnlichkeit einer Verteilung zur Normalverteilung festzustellen. kurt(Y) = E{Y 4 } – 3(E{Y 2 }) 2 Kurtosis ist Null für eine normalverteilte Variable, andernfalls ungleich Null. Maximierung der Kurtosis mittels eines Gradientenverfahrens

19 2. Negentropie maximieren; Entropie Entropie ist ein Maß für die Zufälligkeit. Je „zufälliger“ eine Variable ist, desto größer ist ihre Entropie. Gemeinsame Entropie

20 2. Negentropie maximieren; Transinformation Gibt an, wie viel Information zwei Signalen gemeinsam ist, bzw. wie abhängig voneinander zwei Zufallsvariablen sind. T(X,Y) = H(X) + H(Y) – H(X,Y)

21 2. Negentropie maximieren; Negentropie Eine normalverteilte Zufallsvariable weist die größte Entropie unter allen Zufallsvariablen mit gleicher Varianz auf. J(x) = H(Y gauss ) – H(Y) Y gauss ist eine normalverteilte Zufallsvariable mit der gleichen Kovarianzmatrix wie Y. Negentropie ist sehr schwer zu berechnen.

22 3. Information Maximisation Neuronales Netz mit zwei Eingabesignalen s 1, s 2 und zwei Ausgaben x 1, x 2. Minimieren der gemeinsamen Informationen T(x 1,x 2 ) durch Maximieren der gemeinsamen Entropie H(x 1,x 2 ). H(x 1,x 2 ) = H(x 1 ) + H(x 2 ) - T(x 1,x 2 ) Lernen einer nichtlinearen Funktion, so dass eine möglichst optimale Maximierung erfolgt mittels eines Gradientenabstiegsverfahrens.

23 Ein ICA Beispiel Zwei abhängige Zufallsvariablen, deren Verteilung der Normalverteilung ähnelt.

24 Ein ICA Beispiel Zwei unabhängige Zufallsvariablen, deren Verteilung stark von der Normalverteilung abweicht

25 Anwendungen: Elektroencephalogramm EEG-Daten sind ein Maß für elektrische Felder im Gehirn. Elektroden am Kopf erhalten ein Mischsignal aus verschiedenen Körperregionen. Meist interessieren nur Daten des Gehirns.

26 Anwendungen: EEG

27 Anwendungen: Features natürlicher Bilder Experiment: Aus 20 Graustufen-Bildern (384x256 Pixel) wurden zufällig 50000 16x16 Pixel große Bildausschnitte gewählt. ICA angewendet auf die Bildausschnitte ergab eine Mischungsmatrix A, deren Spalten a i visualisiert folgende Bilder lieferten:

28 Anwendungen: Features natürlicher Bilder Basisvektoren (entsprechen einer Spalte der Mischungsmatrix A, berechnet durch ICA)

29 Anwendungen: Features natürlicher Bilder Einzelne Bildausschnitte können durch Kombination von Basisvektoren berechnet werden. Für Sparse Coding müssen viele s i Null sein. Durch ICA werden die s i so statistisch unabhängig wie möglich.

30 Ergebnisse: ICA und rezeptive Felder Basisvektoren weisen große Ähnlichkeit zu rezeptiven Feldern im primären visuellen Kortex auf. Neuronen sind wahrscheinlich auf die Verarbeitung natürlicher Bilder spezialisiert und führen ein Art Independent Component Analysis durch, um Redundanzen zu vermeiden.