Machine Learning KNN und andere (Kap. 8)

K-Nearest Neighbour Typischerweise für Klassifikationsaufgaben verwendet Ursprünglich zur Mustererkennung Schon Mitte der 50er Jahre angewendet Keine spezielle Trainingsprozedur erforderlich (aber Trainingsdaten) Relativ hoher Aufwand zur Laufzeit „Instance based Learning“ „Lazy Learning“

K-nearest Neighbour Idee: Schwierigkeit: Finde in den Trainingsdaten den/die zur aktuellen Instanz ähnlichste(n) Instanz(en) Die aktuelle Instanz bekommt denselben Wert wie diese(r) Nachbar(n) Schwierigkeit: Wieviele Nachbarn? Welches Ähnlichkeitsmaß? Was, wenn die Werte der Nachbarn nicht übereinstimmen?

K-Nearest Neighbour K = 3 K= 1 3 nächste Nachbarn von x Nächster Nachbar von x x x

KNN Algorithmus Jede Instanz hat die Form <xi,f(xi)> Berechne Abstand zwischen Testinstanz und jeder Trainingsinstanz Wähle die k-nächsten Nachbarn n1, n2, ..., nk aus Der Wert für x ergibt sich durch: f(x) = A(f(n1), f(n2), ..., f(nk)) A ist eine Auswahlfunktion

Ähnlichkeitsmaße für binäre Features X seien die positiven Features von Instanz A und Y die positiven Features von Instanz B, die Ähnlichkeit von A und B ist dann: Matching Koeffizient: |X  Y| Dice Koeffizient : 2|X  Y|/(|X|+|Y|) Jaccard Koeffizient : |X  Y|/|X  Y| Overlap Koeffizient : |X  Y|/min(|X|,|Y|) Kosinus: |X  Y|/(|X|x|Y|)1/2

Vektorraum-Maße Euklidischer Abstand Kosinus-Maß:

Auswahlfunktion Mehrheitsentscheidung Durchschnitt: Gewichtete Summe: oder mit

Knn für (Text)klassifikation Notwendig: Threshold für die Ähnlichkeit: Wenn die Testinstanz nicht „nahe genug“ bei einer Trainingsinstanz liegt, soll keine Klassifikation stattfinden, bzw. Mehrfachklassifikation soll zugelassen werden Möglichkeiten: Rcut: weise die Top n Kategorien zu Pcut: strebe bei den Testinstanzen gleiche Verteilung an wie bei den Trainingsinstanzen (geht nur im Batch-Modus) Scut: wähle (u.U. für jede Kategorie individuellen) festen Threshold

KNN Eigenschaften: Geeignet für: Vorteile Nachteile Zielfunktion wird nicht explizit bestimmt, lediglich für einen Punkt lokal approximiert Dadurch können komplexe Zielfunktionen durch rel. einfache lokale Approximationen ersetzt werden Geeignete Datenstruktur zur effizienten Berechnung der Abstände erforderlich Geeignet für: Werte sind diskret oder reellwertige Vektoren Rel. geringe Anzahl von Features Große Menge an Trainingsdaten verfügbar Vorteile Kein Trainingsaufwand Komplexität der Zielfunktion spielt keine Rolle Kein Informationsverlust Nachteile Negative Effekte durch irrelevante Features Hoher Verarbeitungsaufwand

KNN: Modifikationen Reduktion der Feature Menge: Versuche irrelevante Features zu entfernen Cross-Validierung: „leave-one-out“-Methode: betrachte jeweils eine Instanz der Trainingsdaten als Testinstanz (reihum) und teste so das Streichen von Features Umgewichtung der Features: gewichte vermutlich relevante Features stärker als andere

Lokal gewichtete lineare Regression Bei KNN: gewichtete Summe als Funktion zur Bestimmung von f(x) -> punktweise Verallgemeinerung: versuche die Zielfunktion tatsächlich lokal zu approximieren (= Regression) Nehme an die Zielfunktion ist linear, d.h.

Lokal gewichtete Regression Approximiere diese Funktion lokal mittels der k nächsten Nachbarn Approxiationsverfahren: Minimierung des quadratischen Fehlers mittels des absteigenden Gradienten Verfahrens (cf. Neuronale Netze)

Lazy Learner – Eager Learner Lazy = keine Vorprozessierung der Trainingsdaten Traingsdaten können leicht geändert werden Keine Veränderung der Trainingsdaten durch‘s Lernen Keine Generalisierung Hoher Aufwand zur Laufzeit Gefahr des Overfitting geringer Lokale Approximationen, erlauben komplexere Zielfunktionen Eager = Vorverarbeitung der Trainingsdaten Änderung der Trainingsdaten hat großen Aufwand zur Folge Trainingsdaten werden durch‘s Lernen verändert Generalisierung der Trainingsdaten Hoher Trainingsaufwand, gutes Laufzeitverhalten Overfitting Es muss uniforme Zielfunktion für alle Daten gefunden werden

Rocchio Klassifikator Typisch für Textklassifikation Basiert auf Vektorraum-Modell Idee: erzeuge aus den Trainingsdaten einen prototypischen Vektor für jede Kategorie und vergleiche den Vektor der neuen Instanz mit diesen Kategorien-Vektoren Verfahren stammt eigentlich aus dem Information Retrieval und wurde ursprünglich zum Relevance Feedback entwickelt

Rocchio Berechnung des prototypischen Vektors: Seien Tc+ die positiven und Tc- die negativen Trainingsbeispiele (Vektoren) für eine Kategorie c sind die Centroiden von T+ bzw. T-

Rocchio Klassifikation: Probleme: Für eine Testinstanz x berechne für jede Kategorie ci: d(x, ci) Thresholding nach pcut, scut oder rcut Probleme: Wahl von α und β Wahl des Abstandsmaß

Relevance Feedback Ziel: basierend auf dem Feedback des Benutzers soll die Query Q so modifizert werden, dass die Ergebnisse relevanter werden. Seien D+ die Dokumente, die als relevant beurteilt wurden und D- die als irrelevant beurteilten, dann:

Rocchio: Bewertung Konzeptuell sehr einfaches Modell Erlaubt Aussagen über die Beziehung der Klassen untereinander Trainingsaufwand relativ gering Verarbeitungsgeschwindigkeit linear in Anzahl der Features und Anzahl der Klassen In der Praxis jedoch schlechte Klassifikationsqualität

Aufgaben Implementieren Sie bitte einen knn-Klassifikator: Daten: wie für Beispiel Bayes (http://www.cis.uni-muenchen.de/kurse/pmaier/ML_05/material/MaterialBayes.tgz ) Reduzieren Sie die Featuremenge mit einem geeigneten Verfahren rel. stark Bestimmen Sie einen geeigneten Wert für k Definieren Sie eine Repräsentation in der sie die Trainingsbeispiele abspeichern wollen und wenden sie dieses Verfahren dann an Wählen und implementieren Sie eine Auswahlfunktion A