Präsentation zum Thema: ""—  Präsentation transkript:

150 Kapitel 8: Kernel-Methoden
SS 2009 Maschinelles Lernen und Neural Computation

151 Ausgangsbasis: Perceptron Learning Rule
Target: Rosenblatt (1962) Input wird dazugezählt (abgezogen), wenn Output falsch („mismatch-based“) Verwendung: Klassifikation Nach dem Lernschritt: SS 2009 Maschinelles Lernen und Neural Computation

152 Mathematische Formulierung
Perceptron (1 Output): yi = +1/-1: Daten kommen als inneres Produkt vor („duale Darstellung“) Inneres Produkt (dot product) SS 2009 Maschinelles Lernen und Neural Computation

153 Vor- und Nachteile des Perceptrons
Vorteile: Globale Lösung garantiert (keine lokalen Minima) Leicht lösbar bzw. otpimierbar Nachteil: Auf lineare Separierbarkeit beschränkt Idee: Transformation der Daten auf einen Raum, in dem das Problem linear trennbar ist SS 2009 Maschinelles Lernen und Neural Computation

154 Vergleiche Diskriminanzanalyse
Allgemein linear: beliebige Vorverarbeitungsfunktionen, lineare Verknüpfung Neuronales Netz: NN implementiert adaptive Vorverarbeitung nichtlinear in Parametern (w) durch Approximationstheorem: beliebig nichtlineare Diskriminanzfunktion MLP RBFN SS 2009 Maschinelles Lernen und Neural Computation

155 und Neural Computation
Kernels Ziel ist eine fix bestimmte Transformation xi→Φ(xi), sodass das Problem linear trennbar ist (ev. hochdimensional) Kernel: Funktion, die als inneres Produkt von Φs darstellbar ist: Φ muss nicht einmal bekannt sein SS 2009 Maschinelles Lernen und Neural Computation

156 Beispiel: Polynomischer Kernel
2 Dimensionen: Kernel entspricht tatsächlich einem inneren Produkt aus Vektoren mit „Vorverarbeitung“ SS 2009 Maschinelles Lernen und Neural Computation

157 und Neural Computation
Beispiel Durch Transformation wird Problem linear trennbar Ф x2 x22 x1 x12 Ф-1 SS 2009 Maschinelles Lernen und Neural Computation

158 Die Wirkung des Kernel-Tricks
Einsatz des Kernels, z.B: 16x16-dimensionale Vektoren (z.B. Pixel-Bilder), Polynom 5. Grades: Dimension = 1010 Inneres Produkt zweier dim. Vektoren Berechnung erfolgt im niedrigdimensionalen Raum: Inneres Produkt zweier 256-dim. Vektoren 5-te Potenz SS 2009 Maschinelles Lernen und Neural Computation

159 und Neural Computation
Gauss‘scher Kernel Ф nicht darstellbar, hat aber unendliche Dimension! (wenn Trainingsset unbegrenzt groß sein kann) Folgt aus Mercer‘s Theorem: Betrachte die Kernel-Matrix über alle Trainingsbeispiele Berechne Eigenwerte und -funktionen, dann gilt: Für Gauss‘schen Kernel gilt: Kernel-Matrix hat vollen Rang! Dimension so groß wie das Trainingsset SS 2009 Maschinelles Lernen und Neural Computation

160 Large Margin Classifier
Hochdimensionaler Raum: Overfitting leicht möglich Lösung: Suche Entscheidungslinie (Hyperebene) mit größtem Abstand von den Punkten Optimierung: Minimiere (Maximiere ) Randbedingung: Abstand maximal w SS 2009 Maschinelles Lernen und Neural Computation

161 und Neural Computation
Optimierung 1 Quadratisches Optimierungsproblem Lösungsansatz: Lagrange-Multiplikanten Randbedingung: 1. Ableitung nach w und b muss 0 sein. Das ergibt: SS 2009 Maschinelles Lernen und Neural Computation

162 und Neural Computation
Optimierung 2 Einsetzen der zuletzt ergebenen Terme: „Duale“ Formulierung Wichtig: Daten stehen wieder als inneres Produkt (dot product) im Term! Kernel-Trick kann wieder angewandt werden SS 2009 Maschinelles Lernen und Neural Computation

163 und Neural Computation
Optimierung 3 Minimierung ist quadratisches Programmierungsproblem Globales Minimum garantiert Methoden Chunking nutzt die Tatsache dass viele αi=0 Decomposition Methods Sequential Minimal Optimization (SMO) löst eine Sequenz von Problemen der Größe 2 (Paare von Variablen) SS 2009 Maschinelles Lernen und Neural Computation

164 und Neural Computation
Support Vectors Support-Vectors: Punkte am Rand des Margins Bestimmen alleine die Lösung, für alle anderen Punkte gilt: αi=0, können weggelassen werden Kernelfunktion Rückprojektion Support Vectors SS 2009 Maschinelles Lernen und Neural Computation

165 und Neural Computation
Daten mit Rauschen Bisherige Annahme: Problem ist exakt trennbar Bei Rauschen: Einführung von „Slack variables“: weicht den strengen Margin etwas auf w Lernparameter Duales Problem (Lagrange) bleibt gleich (bis auf Randbedingung) SS 2009 Maschinelles Lernen und Neural Computation

166 und Neural Computation
Beispiel Kernel: Polynom 3. Ordnung Schätzung nur mit Support-Vectors ergibt die selbe Lösung: SS 2009 Maschinelles Lernen und Neural Computation

167 Bedingungen für Kernels
Jede Funktion K(x,z), für die gilt bzw. ist eine Kernelfunktion („positive definite“ Kernels) Ist K1 und K2 ein Kernel, so sind auch aK1 (für a>0) K1+K2 K1*K2 Kernel Wahl des richtigen Kernels (Vorverarbeitung) ist entscheidend!  Modellselektion notwendig für beliebige Trainingspunkte xi SS 2009 Maschinelles Lernen und Neural Computation

168 SVM-Theorie: VC-Dimension
„Shatter“: Wenn unter n Punkten alle 2n Klassifikationen möglich sind VC-Dimension h … kleinstes m von Punkten, für die der Lerner weniger als 2m Klassifikationen schafft Z.B.: VC-Dim(Perceptron)=k+1 (k … Inputdimension) Für komplexe Lerner kann oft nur Schranke angegeben werden SS 2009 Maschinelles Lernen und Neural Computation

169 SVM-Theorie: Structural risk minimization
Schranke für das „Risiko“ (Fehler) Maximieren des Margins beschränkt VC-Dimension ||w|| kann als Regularisierungsterm betrachtet werden Gauss-Kernel: VC-Dim h=∞ Mit Wahrscheinlichkeit δ Anzahl Trainingspunkte Empirischer Fehler am Trainingsset Minimal möglicher Fehler SS 2009 Maschinelles Lernen und Neural Computation

170 SVM und Neuronale Netze
Gauss-Kernel: RBF Sigmoid-Kernel: MLP So viele „Hidden Units“ wie Trainingsmuster Allerdings andere Berechnung Raum ist ∞-dimensional SVM und Boosting: formaler Zusammenhang vgl. Boosting: Punkte an der Entscheidungsgrenze bekommen größte Bedeutung (wie SV) SS 2009 Maschinelles Lernen und Neural Computation

171 Andere Kernelverfahren
Kernel-Trick funktioniert bei allen Methoden, in denen Daten als inneres Produkt vorkommen Kernel-PCA Kernel-Fisher Diksriminante Kernel Regression Gauss‘sche Prozesse SS 2009 Maschinelles Lernen und Neural Computation

172 und Neural Computation
Zusammenfassung SVMs sind interessante Alternative zu klassischen neuronalen Netzen Kernel-Trick: Inneres Produkt von hochdimensionalen „Features“ (Vorverabeitung) kann niedrigdimensional berechnet werden Beschränken der VC-Dim. (Vermeidung von Overfitting): Large Margin Classifier Lineares Modell, Quadratische Programmierung, Minimum garantiert Support Vectors: Punkte am Margin, sind alleine für Lösung verantwortlich Aber: Overfitting dennoch möglich Modellselektion notwendig Wahl des geeigneten Kernels ist sehr wichtig! SS 2009 Maschinelles Lernen und Neural Computation