Präsentation herunterladen
Die Präsentation wird geladen. Bitte warten
150
Kapitel 8: Kernel-Methoden
SS 2009 Maschinelles Lernen und Neural Computation
151
Ausgangsbasis: Perceptron Learning Rule
Target: Rosenblatt (1962) Input wird dazugezählt (abgezogen), wenn Output falsch („mismatch-based“) Verwendung: Klassifikation Nach dem Lernschritt: SS 2009 Maschinelles Lernen und Neural Computation
152
Mathematische Formulierung
Perceptron (1 Output): yi = +1/-1: Daten kommen als inneres Produkt vor („duale Darstellung“) Inneres Produkt (dot product) SS 2009 Maschinelles Lernen und Neural Computation
153
Vor- und Nachteile des Perceptrons
Vorteile: Globale Lösung garantiert (keine lokalen Minima) Leicht lösbar bzw. otpimierbar Nachteil: Auf lineare Separierbarkeit beschränkt Idee: Transformation der Daten auf einen Raum, in dem das Problem linear trennbar ist SS 2009 Maschinelles Lernen und Neural Computation
154
Vergleiche Diskriminanzanalyse
Allgemein linear: beliebige Vorverarbeitungsfunktionen, lineare Verknüpfung Neuronales Netz: NN implementiert adaptive Vorverarbeitung nichtlinear in Parametern (w) durch Approximationstheorem: beliebig nichtlineare Diskriminanzfunktion MLP RBFN SS 2009 Maschinelles Lernen und Neural Computation
155
und Neural Computation
Kernels Ziel ist eine fix bestimmte Transformation xi→Φ(xi), sodass das Problem linear trennbar ist (ev. hochdimensional) Kernel: Funktion, die als inneres Produkt von Φs darstellbar ist: Φ muss nicht einmal bekannt sein SS 2009 Maschinelles Lernen und Neural Computation
156
Beispiel: Polynomischer Kernel
2 Dimensionen: Kernel entspricht tatsächlich einem inneren Produkt aus Vektoren mit „Vorverarbeitung“ SS 2009 Maschinelles Lernen und Neural Computation
157
und Neural Computation
Beispiel Durch Transformation wird Problem linear trennbar Ф x2 x22 x1 x12 Ф-1 SS 2009 Maschinelles Lernen und Neural Computation
158
Die Wirkung des Kernel-Tricks
Einsatz des Kernels, z.B: 16x16-dimensionale Vektoren (z.B. Pixel-Bilder), Polynom 5. Grades: Dimension = 1010 Inneres Produkt zweier dim. Vektoren Berechnung erfolgt im niedrigdimensionalen Raum: Inneres Produkt zweier 256-dim. Vektoren 5-te Potenz SS 2009 Maschinelles Lernen und Neural Computation
159
und Neural Computation
Gauss‘scher Kernel Ф nicht darstellbar, hat aber unendliche Dimension! (wenn Trainingsset unbegrenzt groß sein kann) Folgt aus Mercer‘s Theorem: Betrachte die Kernel-Matrix über alle Trainingsbeispiele Berechne Eigenwerte und -funktionen, dann gilt: Für Gauss‘schen Kernel gilt: Kernel-Matrix hat vollen Rang! Dimension so groß wie das Trainingsset SS 2009 Maschinelles Lernen und Neural Computation
160
Large Margin Classifier
Hochdimensionaler Raum: Overfitting leicht möglich Lösung: Suche Entscheidungslinie (Hyperebene) mit größtem Abstand von den Punkten Optimierung: Minimiere (Maximiere ) Randbedingung: Abstand maximal w SS 2009 Maschinelles Lernen und Neural Computation
161
und Neural Computation
Optimierung 1 Quadratisches Optimierungsproblem Lösungsansatz: Lagrange-Multiplikanten Randbedingung: 1. Ableitung nach w und b muss 0 sein. Das ergibt: SS 2009 Maschinelles Lernen und Neural Computation
162
und Neural Computation
Optimierung 2 Einsetzen der zuletzt ergebenen Terme: „Duale“ Formulierung Wichtig: Daten stehen wieder als inneres Produkt (dot product) im Term! Kernel-Trick kann wieder angewandt werden SS 2009 Maschinelles Lernen und Neural Computation
163
und Neural Computation
Optimierung 3 Minimierung ist quadratisches Programmierungsproblem Globales Minimum garantiert Methoden Chunking nutzt die Tatsache dass viele αi=0 Decomposition Methods Sequential Minimal Optimization (SMO) löst eine Sequenz von Problemen der Größe 2 (Paare von Variablen) SS 2009 Maschinelles Lernen und Neural Computation
164
und Neural Computation
Support Vectors Support-Vectors: Punkte am Rand des Margins Bestimmen alleine die Lösung, für alle anderen Punkte gilt: αi=0, können weggelassen werden Kernelfunktion Rückprojektion Support Vectors SS 2009 Maschinelles Lernen und Neural Computation
165
und Neural Computation
Daten mit Rauschen Bisherige Annahme: Problem ist exakt trennbar Bei Rauschen: Einführung von „Slack variables“: weicht den strengen Margin etwas auf w Lernparameter Duales Problem (Lagrange) bleibt gleich (bis auf Randbedingung) SS 2009 Maschinelles Lernen und Neural Computation
166
und Neural Computation
Beispiel Kernel: Polynom 3. Ordnung Schätzung nur mit Support-Vectors ergibt die selbe Lösung: SS 2009 Maschinelles Lernen und Neural Computation
167
Bedingungen für Kernels
Jede Funktion K(x,z), für die gilt bzw. ist eine Kernelfunktion („positive definite“ Kernels) Ist K1 und K2 ein Kernel, so sind auch aK1 (für a>0) K1+K2 K1*K2 Kernel Wahl des richtigen Kernels (Vorverarbeitung) ist entscheidend! Modellselektion notwendig für beliebige Trainingspunkte xi SS 2009 Maschinelles Lernen und Neural Computation
168
SVM-Theorie: VC-Dimension
„Shatter“: Wenn unter n Punkten alle 2n Klassifikationen möglich sind VC-Dimension h … kleinstes m von Punkten, für die der Lerner weniger als 2m Klassifikationen schafft Z.B.: VC-Dim(Perceptron)=k+1 (k … Inputdimension) Für komplexe Lerner kann oft nur Schranke angegeben werden SS 2009 Maschinelles Lernen und Neural Computation
169
SVM-Theorie: Structural risk minimization
Schranke für das „Risiko“ (Fehler) Maximieren des Margins beschränkt VC-Dimension ||w|| kann als Regularisierungsterm betrachtet werden Gauss-Kernel: VC-Dim h=∞ Mit Wahrscheinlichkeit δ Anzahl Trainingspunkte Empirischer Fehler am Trainingsset Minimal möglicher Fehler SS 2009 Maschinelles Lernen und Neural Computation
170
SVM und Neuronale Netze
Gauss-Kernel: RBF Sigmoid-Kernel: MLP So viele „Hidden Units“ wie Trainingsmuster Allerdings andere Berechnung Raum ist ∞-dimensional SVM und Boosting: formaler Zusammenhang vgl. Boosting: Punkte an der Entscheidungsgrenze bekommen größte Bedeutung (wie SV) SS 2009 Maschinelles Lernen und Neural Computation
171
Andere Kernelverfahren
Kernel-Trick funktioniert bei allen Methoden, in denen Daten als inneres Produkt vorkommen Kernel-PCA Kernel-Fisher Diksriminante Kernel Regression Gauss‘sche Prozesse SS 2009 Maschinelles Lernen und Neural Computation
172
und Neural Computation
Zusammenfassung SVMs sind interessante Alternative zu klassischen neuronalen Netzen Kernel-Trick: Inneres Produkt von hochdimensionalen „Features“ (Vorverabeitung) kann niedrigdimensional berechnet werden Beschränken der VC-Dim. (Vermeidung von Overfitting): Large Margin Classifier Lineares Modell, Quadratische Programmierung, Minimum garantiert Support Vectors: Punkte am Margin, sind alleine für Lösung verantwortlich Aber: Overfitting dennoch möglich Modellselektion notwendig Wahl des geeigneten Kernels ist sehr wichtig! SS 2009 Maschinelles Lernen und Neural Computation
Ähnliche Präsentationen
© 2024 SlidePlayer.org Inc.
All rights reserved.