ISWeb - Information Systems & Semantic Web Marcin Grzegorzek 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb.

Präsentation zum Thema: "ISWeb - Information Systems & Semantic Web Marcin Grzegorzek 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb."—  Präsentation transkript:

1 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de1 5.3 Karhunen-Loeve-Transformation Minimalität und Orthogonalität innerhalb eines Medienobjekts (Fourier und Wavelet-Transformation) Karhunen-Loeve-Transformation (KLT) für Minimalität und Orthogonalität bzgl. mehrerer Medienobjekten Analyse der Verteilung der Feature-Werte mehrerer Medienobjekte

2 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de2 Erkennung linearer Abhängigkeit anhand erkannter Achsen andere Bezeichnung für KLT: Hauptachsentransformation (HAT), principal component analysis (PCA) 5.3 Karhunen-Loeve-Transformation (2)

3 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de3 Lineare Abhängigkeit: 10 Beispielpunkte

4 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de4 Lineare Abhängigkeit und Minimalität lineare Abhängigkeit bedeutet Redundanz Verletzung der Forderung nach Minimalität Problem: Achsen oft nicht achsenparallel im Feature-Raum Idee der KLT: Verschiebung und Rotation des Feature-Raums Achsen entsprechen Feature-Dimensionen Erwartungswert ist Koordinatenursprung Entfernen von Achsen mit geringer Steuung

5 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de5 Erstellen der Kovarianzmatrix Berechnung Kovarianzmatrix aus -dimensionalen Feature-Vektoren -Kovarianzmatrix : Kovarianz zwischen Dimensionen und : 0 keine lineare Abhängigkeit >0 positive lineare Abhängigkeit <0 negative lineare Abhängigkeit

6 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de6 Diagonalwerte entspechen Varianzwerten einzelner Dimensionen Kovarianzmatrix ist symmetrisch Zerlegung in durch Lösen des Eigenwertproblems möglich Erstellen der Kovarianzmatrix

7 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de7 Kovarianzmatrix = enthält orthonormale Eigenvektoren (Achsen) Transformation in Eigenraum entspricht Rücktransformation ist Diagonalmatrix: Diagonalwerte sind Eigenwerte/Varianzwerte achsenparallele Skalierung im Eigenraum

8 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de8 KLT graphisch

9 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de9 Entfernen linearer Abhängigkeiten Transformation der Feature-Vektoren erzeugt achsenparallele Abhängigkeits-achsen (Translation um negierten Mittel- wertsvektor und Multiplikation mit ) Sortieren der Achsen nach Varianzwert Entfernen von Achsen mit geringer Varianz (unterhalb best. Schwellwert)

10 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de10 Rücktransformation bedeutet Entfernen linearer Abhängigkeiten (Multiplikation mit und Translation um Mittelwertsvektor) Reduktionsfehler abhängig von Eigenwerten der entfernten Achsen Distanzen bleiben weitgehend erhalten Entfernen linearer Abhängigkeiten (2)

11 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de11 Nach KLT-Reduktion graphisch

12 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de12 Bewertung der KLT Vorteile der KLT Orthogonalisierung: -lineare Abhängigkeiten werden entfernt -Werte der Achsendimensionen (inhärente Feature Dimension) isoliert manipulierbar Trennung wesentlicher von unwesentlichen Dimensionen möglich

13 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de13 Bewertung der KLT (2) Vorteile der KLT (Forts.) Minimierung: Entfernung unnötiger Dimensionen im Eigenraum minimaler Reduktionsfehler Invarianzen: isolierte Analyse von linear wirkenden Invarianzen möglich

14 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de14 Bewertung der KLT (3) Probleme der KLT Berechnung auf Menge von Feature-Vektoren Problem bei dynamischer Menge Lösungsansatz: Verwendung statischer repräsentativer Untermenge

15 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de15 Probleme der KLT (Forts.) nicht-lineare Abhängigkeiten nicht erkennbar orthogonale Achsen: nicht immer erwünscht Ausweg: ICA (independent component analysis) Bewertung der KLT (3)

16 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de16 Nicht-lineare Abhängigkeiten

17 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de17 Berechnung der KLT Ausgangspunkt ist Menge von -dimensionalen Feature-Vektoren Feature-Matrix Beispiel:

18 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de18 Mittelwertvektor: Beispiel: Berechnung der KLT (2)

19 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de19 Berechnung der Kovarianzmatrix Kovarianzmatrix: Beispiel:

20 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de20 Zerlegung der Kovarianzmatrix da symmetrisch, Zerlegung anhand Eigenvektoren möglich: enthält Eigenwerte ist orthonormal und Spaltenvektoren entsprechen den Achsen

21 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de21 Zerlegung der Kovarianzmatrix Durchführung Permutation der drei Matrizen, damit gilt Beispiel:

22 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de22 Transformation im Achsenraum Transformation von Feature-Vektor Beispiel:

23 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de23 Rücktransformation

24 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de24 Entfernen von Dimensionen Entfernen von Achsendimensionen mit geringer Varianz Abschätzung über Anteil an Gesamtvarianz:

25 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de25 Beispiel: 1. Achse hat 97 Prozent und zweite Achse 3 Prozent Weglassen der zweiten Achsendimension sei Ergebnis der Reduktion von Rücktransformation von erzeugt Entfernen von Dimensionen (2)

26 ISWeb - Information Systems & Semantic Web Marcin Grzegorzek marcin@uni-koblenz.de26 Rekonstruktionsfehler aufgrund Reduktion Erhalt nur der ersten Achsendimensionen Erwartungswert des quadrierten Fehlers: es gilt: