Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Metriken für Nearest Neighbour-Verfahren Lineare Diskriminanzfunktionen Maschinelles Lernen.

Ähnliche Präsentationen


Präsentation zum Thema: "Metriken für Nearest Neighbour-Verfahren Lineare Diskriminanzfunktionen Maschinelles Lernen."—  Präsentation transkript:

1 Metriken für Nearest Neighbour-Verfahren Lineare Diskriminanzfunktionen Maschinelles Lernen

2 Seite 211/15/2013| Metriken Bei nearest-neighbour-Verfahren wird der Klassifikator einzig durch die Daten und das Distanzmaß festgelegt. Expertenwissen kann hier ausschließlich durch die Wahl des Distanzmaßes einfließen! (Vergleiche: Bei einem parametrischen Modell wird der Klassifikator durch die Daten und das Verfahren zur Parameterschätzung festgelegt) Definition Distanzmaß: Eine Funktion d: X x X heißt Distanzmaß oder Metrik auf X, wenn gilt: 1.d(a,b) 0 für alle a,b X (Nicht-Negativität) 2.d(a,b) = 0 genau wenn a=b (Definitheit) 3.d(a,b) = d(b,a) für alle a,b X (Symmetrie) 4.d(a,b)+d(b,c) d(a,b) für alle a,b,c X (Dreiecksungleichung) (Anm.: Axiom 1 folgt aus den restlichen Axiomen)

3 Seite 311/15/2013| Metriken Beispiele: Die L p -Norm auf n (p1) : induziert eine Metrik Einheitskugeln verschiedener L p -Normen Für 0

4 Seite 411/15/2013| Metriken Mahalanobis Distanz: Sei ein postitiv definites Skalarprodukt im n. Dann lässt sich dies darstellen durch = x T Ay mit einer geeigneten symmetrischen, positiv definiten Matrix A nxn. Dies induziert eine Norm und somit eine Metrik Verbindungen zur Diskriminanzanalyse: Nimmt man an, dass die Daten einer Klasse ω einer multivariaten Normalverteilung entspringen, z.B. so kann man μ ω,Σ ω durch den Mittelwert bzw. die Kovarianzmatrix der Daten in Klasse ω schätzen. Ein neuer Punkt x wird dann in die Klasse ω klassifiziert, für die die Mahalanobis-Distanz minimal ist (sofern die Streuung |Σ ω | für alle Gruppen gleich ist) d=1

5 Seite 511/15/2013| Metriken Canberra Distanz: Sind alle Features eines Datenpunktes x=(x 1,…,x n ) nicht-negativ, d.h. gilt x j 0 für alle j, dann ist eine Metrik, die Canberra-Metrik. Hamming Distanz: Sind alle Features eines Datenpunktes x=(x 1,…,x n ) binär, dann ist eine Distanzfunktion, die Hamming-Distanz. Fasst man die binären Werte 0 bzw. 1 als reelle Zahlen auf, so ist dies gerade die Manhattan Distanz. (Pearson-)Korrelationsdistanz: Für reelle Features und für das euklidische Skalarprodukt samt zugehöriger Norm sei Dann heißt die Pearson-Korrelation von x und y, und ist eine Metrik, die Korrelationsmetrik.

6 Seite 611/15/2013| Tanimoto Distanz: Sind alle Features eines Datenpunktes x=(x 1,…,x n ) binär, dann ist eine Distanzfunktion, die Tanimoto-Distanz. Will man Teilmengen X bzw. Y einer Menge M vergleichen, so betrachtet man x=(x j ) j M, mit x j =1 genau wenn j X; y wird analog definiert. Dann ist die Tanimoto Distanz von x und y: Es wird also eine Ähnlichkeit von X und Y gemessen. Metriken

7 Seite 711/15/2013| Metriken Tangentendistanz (kommt of in der Bildanalyse zum Einsatz): Eine Beobachtung x X (z.B. ein Bild) definiert eine ganze Menge von äquivalenten Beobachtungen, d.h. P(ω|x) = P(ω|m) für alle m (z.B. könnte die Menge aller horizontal oder vertikal verschobenen Bilder von x sein). Naive Verwendung eines Abstandsmaßes führt dazu, dass ein verschobenes Muster fehlklassifiziert wird. In diesem Beispiel wäre ein vernünftiges Abstandsmaß invariant gegenüber Translationen. Trainings- punkt x 1 Trainings- punkt x 2 Testpunkt y

8 Seite 811/15/2013| Metriken Tangentendistanz (kommt of in der Bildanalyse zum Einsatz): Eine Beobachtung x X (z.B. ein Bild) definiert eine ganze Menge von äquivalenten Beobachtungen, d.h. P(ω|x) = P(ω|m) für alle m (z.B. könnte die Menge aller horizontal oder vertikal verschobenen Bilder von x sein). Mit n Beobachtungen x 1,…x n und deren Klassenzugehörigkeiten ω 1,… ω n hat man de facto die Beobachtungen mit den Klassenzugehörigkeiten ω j, j = 1,…,n gemacht. Zur nearest neighbour Klassifikation einer neuen Beobachtung y sucht man daher den kleinsten Abstand y zu den Vertretern aus d.h. man sucht Da die komplette Aufzählung aller zu aufwändig oder unmöglich ist, nähert man x j durch einen affinen Raum an, indem man sich durch differentielle Operationen entstanden denkt, d.h. man berechnet und mit der Matrix (die man nur ein Mal bei der Präprozes- sierung berechnet) nähert man

9 Seite 911/15/2013| Δ1Δ1 Δ2Δ2 ΔaΔa Die Idee hierbei ist, dass die Tangenten-Näherung für Punkte, die sich nahe bei der neuen Beobachtung y befinden, gut ist. Für weit entfernte Punkte muss die Näherung gar nicht gut sein, da diese Punkte sowieso als Nachbarn von y ausgeschlossen werden sollen. Die Gefahr, dass durch die Tangenten-Näherung ein weit entfernter Punkt (bzw. seine Äquivalenzklasse) fälschlicherweise als benachbart zu y bewertet wird, ist dagegen gering. Metriken Bem.: Ist d z.B. der euklidische Abstand, so lässt sich das Minimum der quadratischen Funktion schnell berechnen.

10 Seite 1011/15/2013| Lineare Diskriminanzfunktionen

11 Seite 1111/15/2013| Lineare Diskriminanzfunktionen

12 Seite 1211/15/2013| Lineare Diskriminanzfunktionen Aus: Duda, Hart, Stork. Pattern Classification

13 Seite 1311/15/2013| Lineare Diskriminanzfunktionen

14 Seite 1411/15/2013| Lineare Diskriminanzfunktionen

15 Seite 1511/15/2013| Lineare Diskriminanzfunktionen Mehr als zwei Klassen Paarweises Lernen I: Entscheide, ob x ω j oder x ω j, j=1,…,n. Paarweises Lernen II: Entscheide, ob x ω j oder x ω k, j,k = 1,…,n, jk.

16 Seite 1611/15/2013| Lineare Diskriminanzfunktionen

17 Seite 1711/15/2013| Lineare Diskriminanzfunktionen

18 Seite 1811/15/2013| Lineare Diskriminanzfunktionen

19 Seite 1911/15/2013| Lineare Diskriminanzfunktionen

20 Seite 2011/15/2013| Lineare Diskriminanzfunktionen

21 Seite 2111/15/2013| Lineare Diskriminanzfunktionen

22 Seite 2211/15/2013| Lineare Diskriminanzfunktionen

23 Seite 2311/15/2013| Lineare Diskriminanzfunktionen

24 Seite 2411/15/2013| Lineare Diskriminanzfunktionen

25 Seite 2511/15/2013| Lineare Diskriminanzfunktionen

26 Seite 2611/15/2013| Lineare Diskriminanzfunktionen

27 Seite 2711/15/2013| Lineare Diskriminanzfunktionen


Herunterladen ppt "Metriken für Nearest Neighbour-Verfahren Lineare Diskriminanzfunktionen Maschinelles Lernen."

Ähnliche Präsentationen


Google-Anzeigen