Maschinelles Lernen   Metriken für Nearest Neighbour-Verfahren Lineare Diskriminanzfunktionen.

Präsentation zum Thema: "Maschinelles Lernen   Metriken für Nearest Neighbour-Verfahren Lineare Diskriminanzfunktionen."—  Präsentation transkript:

1 Maschinelles Lernen Metriken für Nearest Neighbour-Verfahren Lineare Diskriminanzfunktionen

2 Metriken Bei nearest-neighbour-Verfahren wird der Klassifikator einzig durch die Daten und das Distanzmaß festgelegt. Expertenwissen kann hier ausschließlich durch die Wahl des Distanzmaßes einfließen! (Vergleiche: Bei einem parametrischen Modell wird der Klassifikator durch die Daten und das Verfahren zur Parameterschätzung festgelegt) Definition Distanzmaß: Eine Funktion d: X x X → ℝ heißt Distanzmaß oder Metrik auf X, wenn gilt: d(a,b) ≥ 0 für alle a,b∊X (Nicht-Negativität) d(a,b) = 0 genau wenn a=b (Definitheit) d(a,b) = d(b,a) für alle a,b∊X (Symmetrie) d(a,b)+d(b,c) ≥ d(a,b) für alle a,b,c∊X (Dreiecksungleichung) (Anm.: Axiom 1 folgt aus den restlichen Axiomen)

3 Metriken Beispiele: Die Lp-Norm auf ℝn (p≥1) : induziert eine Metrik
Einheitskugeln verschiedener Lp-Normen (Manhattan Distanz) Für 0<p<1 ist die analog definierte Funktion d keine Metrik (wieso?).

4 Metriken Mahalanobis Distanz:
Sei < , > ein postitiv definites Skalarprodukt im ℝn. Dann lässt sich dies darstellen durch <x,y> = xTAy mit einer geeigneten symmetrischen, positiv definiten Matrix A ∊ ℝnxn. Dies induziert eine Norm und somit eine Metrik Verbindungen zur Diskriminanzanalyse: Nimmt man an, dass die Daten einer Klasse ω einer multivariaten Normalverteilung entspringen, z.B. d=1 so kann man μω,Σω durch den Mittelwert bzw. die Kovarianzmatrix der Daten in Klasse ω schätzen. Ein neuer Punkt x wird dann in die Klasse ω klassifiziert, für die die Mahalanobis-Distanz minimal ist (sofern die Streuung |Σω| für alle Gruppen gleich ist)

5 Metriken Canberra Distanz:
Sind alle Features eines Datenpunktes x=(x1,…,xn) nicht-negativ, d.h. gilt xj≥0 für alle j, dann ist eine Metrik, die Canberra-Metrik. Hamming Distanz: Sind alle Features eines Datenpunktes x=(x1,…,xn) binär, dann ist eine Distanzfunktion, die Hamming-Distanz. Fasst man die binären Werte 0 bzw. 1 als reelle Zahlen auf, so ist dies gerade die Manhattan Distanz. (Pearson-)Korrelationsdistanz: Für reelle Features und für das euklidische Skalarprodukt samt zugehöriger Norm sei Dann heißt die Pearson-Korrelation von x und y, und ist eine Metrik, die Korrelationsmetrik.

6 Metriken Tanimoto Distanz:
Sind alle Features eines Datenpunktes x=(x1,…,xn) binär, dann ist eine Distanzfunktion, die Tanimoto-Distanz. Will man Teilmengen X bzw. Y einer Menge M vergleichen, so betrachtet man x=(xj)j∊M, mit xj=1 genau wenn j∊X; y wird analog definiert. Dann ist die Tanimoto Distanz von x und y: Es wird also eine Ähnlichkeit von X und Y gemessen.

7 Metriken Tangentendistanz (kommt of in der Bildanalyse zum Einsatz):
Eine Beobachtung x∊X (z.B. ein Bild) definiert eine ganze Menge von „äquivalenten“ Beobachtungen , d.h. P(ω|x) = P(ω|m) für alle m∊ (z.B. könnte die Menge aller horizontal oder vertikal verschobenen Bilder von x sein). Testpunkt y Trainings-punkt x1 Naive Verwendung eines Abstandsmaßes führt dazu, dass ein verschobenes Muster fehlklassifiziert wird. In diesem Beispiel wäre ein vernünftiges Abstandsmaß invariant gegenüber Translationen. Trainings-punkt x2

8 Metriken Tangentendistanz (kommt of in der Bildanalyse zum Einsatz):
Eine Beobachtung x∊X (z.B. ein Bild) definiert eine ganze Menge von „äquivalenten“ Beobachtungen , d.h. P(ω|x) = P(ω|m) für alle m∊ (z.B. könnte die Menge aller horizontal oder vertikal verschobenen Bilder von x sein). Mit n Beobachtungen x1,…xn und deren Klassenzugehörigkeiten ω1,… ω n hat man de facto die Beobachtungen mit den Klassenzugehörigkeiten ωj, j = 1,…,n gemacht. Zur nearest neighbour Klassifikation einer neuen Beobachtung y sucht man daher den kleinsten Abstand y zu den Vertretern aus d.h. man sucht Da die komplette Aufzählung aller zu aufwändig oder unmöglich ist, nähert man xj durch einen affinen Raum an, indem man sich durch „differentielle Operationen“ entstanden denkt, d.h. man berechnet und mit der Matrix (die man nur ein Mal bei der Präprozes-sierung berechnet) nähert man

9 Metriken Die Idee hierbei ist, dass die Tangenten-Näherung für Punkte, die sich nahe bei der neuen Beobachtung y befinden, gut ist. Für weit entfernte Punkte muss die Näherung gar nicht gut sein, da diese Punkte sowieso als Nachbarn von y ausgeschlossen werden sollen. Die Gefahr, dass durch die Tangenten-Näherung ein weit entfernter Punkt (bzw. seine Äquivalenzklasse) fälschlicherweise als benachbart zu y bewertet wird, ist dagegen gering. Δa Δ2 Δ1 Bem.: Ist d z.B. der euklidische Abstand, so lässt sich das Minimum der quadratischen Funktion schnell berechnen.

10 Lineare Diskriminanzfunktionen

11 Lineare Diskriminanzfunktionen

12 Lineare Diskriminanzfunktionen
Aus: Duda, Hart, Stork. Pattern Classification

13 Lineare Diskriminanzfunktionen

14 Lineare Diskriminanzfunktionen

15 Lineare Diskriminanzfunktionen
Mehr als zwei Klassen Paarweises Lernen I: Entscheide, ob x∊ωj oder x∉ωj , j=1,…,n. Paarweises Lernen II: Entscheide, ob x∊ωj oder x ∊ωk , j,k = 1,…,n, j≠k.

16 Lineare Diskriminanzfunktionen

17 Lineare Diskriminanzfunktionen

18 Lineare Diskriminanzfunktionen

19 Lineare Diskriminanzfunktionen

20 Lineare Diskriminanzfunktionen

21 Lineare Diskriminanzfunktionen

22 Lineare Diskriminanzfunktionen

23 Lineare Diskriminanzfunktionen

24 Lineare Diskriminanzfunktionen

25 Lineare Diskriminanzfunktionen

26 Lineare Diskriminanzfunktionen

27 Lineare Diskriminanzfunktionen