Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

94 3. Klassifikation Inhalt dieses Kapitels 3.1 Einleitung Das Klassifikationsproblem, Bewertung von Klassifikatoren 3.2 Bayes-Klassifikatoren Optimaler.

Ähnliche Präsentationen


Präsentation zum Thema: "94 3. Klassifikation Inhalt dieses Kapitels 3.1 Einleitung Das Klassifikationsproblem, Bewertung von Klassifikatoren 3.2 Bayes-Klassifikatoren Optimaler."—  Präsentation transkript:

1 94 3. Klassifikation Inhalt dieses Kapitels 3.1 Einleitung Das Klassifikationsproblem, Bewertung von Klassifikatoren 3.2 Bayes-Klassifikatoren Optimaler Bayes-Klassifikator, Naiver Bayes-Klassifikator, Anwendungen 3.3 Nächste-Nachbarn-Klassifikatoren Grundbegriffe, Parameterwahl, Anwendungen 3.4 Entscheidungsbaum-Klassifikatoren Grundbegriffe, Splitstrategien, Overfitting, Pruning von Entscheidungsbäumen 3.5 Support Vector Machines maximal trennende Hyperebenen, strukturelle Risiko Minierung, Kernel Maschienen

2 Einleitung Das Klassifikationsproblem Gegeben: eine Menge O von Objekten des Formats (o 1,..., o d ) mit Attributen A i, 1 i d, und Klassenzugehörigkeit c i c i C = c 1 c k } Gesucht: die Klassenzugehörigkeit für Objekte aus D \ O ein Klassifikator K : D C Abgrenzung zum Clustering Klassifikation: Klassen apriori bekannt Clustering: Klassen werden erst gesucht Verwandtes Problem: Vorhersage (Prediction) gesucht ist der Wert für ein numerisches Attribut Methode z.B. Regression

3 96 Einleitung Beispiel Einfacher Klassifikator if Alter > 50 then Risikoklasse = Niedrig; if Alter 50 and Autotyp=LKW then Risikoklasse=Niedrig; if Alter 50 and Autotyp LKW then Risikoklasse = Hoch.

4 97 Der Prozess der Klassifikation Konstruktion des Modells Trainings- daten Klassifikations- Algorithmus if rank = professor or years > 6 then tenured = yes Klassifikator

5 98 Der Prozess der Klassifikation Anwendung des Modells manchmal: keine Klassifikation unbekannter Daten sondern nur besseres Verständnis der Daten Klassifikator Unbekannte Daten (Jeff, Professor, 4) Tenured? yes

6 99 Bewertung von Klassifikatoren Grundbegriffe Sei K ein Klassifikator und sei TR O die Trainingsmenge. O D ist die Menge der Objekte, bei denen die Klassenzugehörigkeit bereits bekannt ist. Problem der Bewertung: gewünscht ist gute Performanz auf ganz D. Klassifikator ist für TR optimiert. Test auf TR erzeugt in der Regel viel bessere Ergebnisse, als auf D\TR. Daher kein realistisches Bild der Performanz auf D. Overfitting

7 100 Bewertung von Klassifikatoren Train-and-Test Bewertung ohne Overfitting durch Aufteilen von O in : Trainingsmenge TR zum Lernen des Klassifikators (Konstruktion des Modells) Testmenge TE zum Bewerten des Klassifikators

8 101 Bewertung von Klassifikatoren Grundbegriffe Train-and-Test nicht anwendbar, wenn nur wenige Objekte mit bekannter Klassenzugehörigkeit Stattdessen: m-fache Überkreuz-Validierung (m-fold Cross-Validation) m-fache Überkreuz-Validierung - teile die Menge O in m gleich große Teilmengen - verwende jeweils m 1 Teilmengen zum Training und die verbleibende Teilmenge zur Bewertung - kombiniere die erhaltenen m Klassifikationsfehler (und die m gefundenen Modelle!)

9 102 1 fold: 1a2b 3c Testmenge Klassifikator Trainingsmenge Modell und Klassifikationsfehler 1a23bc Sei n = 3 : Menge aller Daten mit Klasseniformation die zur Verfügung stehen 2 fold: 1a3c 2b Testmenge Klassifikator Trainingsmenge Modell und Klassifikationsfehler 3 fold: 2b3c 1a Testmenge Klassifikator Trainingsmenge Modell und Klassifikationsfehler Gesamtklassifikations- fehler Bewertung von Klassifikatoren

10 103 Bewertung von Klassifikatoren Ergebnis des Tests : Konfusionsmatrix (confusion matrix) Klasse1 Klasse 2 Klasse 3 Klasse 4 other Klasse 1 Klasse 2 Klasse 3 Klasse 4 other klassifiziert als... tatsächliche Klasse... Aus der Konfusionsmatrix lassen sich folgende Kennzahlen berechnen : Accuracy, Classification Error, Precision und Recall. korrekt klassifizierte Objekte

11 104 Bewertung von Klassifikatoren Gütemaße für Klassifikatoren Sei K ein Klassifikator, TR O die Trainingsmenge, TE O die Testmenge. Bezeichne C(o) die tatsächliche Klasse eines Objekts o. Klassifikationsgenauigkeit (classification accuracy) von K auf TE: Tatsächlicher Klassifikationsfehler (true classification error) Beobachteter Klassifikationsfehler (apparent classification error)

12 105 Bewertung von Klassifikatoren Gütemaße für Klassifikatoren Precision : Anzahl der Objekte aus einer Klasse, die richtig erkannt wurden. Sei T i = {o TE| C(o) = i}, dann ist Recall : Anzahl der zu einer Klasse zugeordneten Objekte, die richtig erkannt wurden. Sei C i = {o TE| K(o) = i}, dann ist

13 106 Bewertung von Klassifikatoren weitere Gütemaße für Klassifikatoren Kompaktheit des Modells z.B. Größe eines Entscheidungsbaums Interpretierbarkeit des Modells wieviel Einsichten vermittelt das Modell dem Benutzer? Effizienz der Konstruktion des Modells der Anwendung des Modells Skalierbarkeit für große Datenmengen für sekundärspeicherresidente Daten Robustheit gegenüber Rauschen und fehlenden Werten

14 Bayes-Klassifikatoren Was sind Bayes-Klassifikatoren? Statistische Klassifikatoren Vorhersage der Class-Membership-Probability für verschiedene Klassen Beruht auf dem Satz von Bayes Verschiedene Verfahren: Naiver Bayes-Klassifikator: Relativ einfach zu implementierendes Verfahren, beruhend auf Annahme der Unabhängigkeit zwischen den einzelnen Merkmalen (deshalb naiv) Bayes-Netzwerk (Bayesian Belief Network): Mögliche Abhängigkeiten zwischen Merkmalen werden in Form eines Graphen modelliert, der entweder durch den Benutzer vorgegeben wird oder durch das System selbst gelernt wird.

15 108 Bayes-Klassifikatoren Grundlagen Regeln und Fakten zur Klassifikation werden mit Hilfe des Satzes von Bayes als bedingte Wahrscheinlichkeiten formuliert A-Priori-Wahrscheinlichkeiten modellieren Faktenwissen über die Häufigkeit einer Klasse und das Auftreten von Merkmalen, z.B. 20% der Objekte sind Äpfel 30% sind Orangen 50% der Objekte sind rund 40% haben Farbe orange Bedingte Wahrscheinlichkeiten (A-Posteriori) modellieren Zusammenhänge zwischen Klassen und Merkmalen: 100% der Orangen sind rund: P (rund | Orange) = 100% 100% der Äpfel sind rund: P (rund | Apfel) = 100% 90% der Orangen sind orange:P (orange | Orange) = 90% A-Priori Wahrsch. f. Klassenzugehörigk. A-Priori Merkmalshäufigkeit

16 109 Bayes-Klassifikatoren Bei einem gegebenen Merkmals-Vektor M lässt sich die Wahrscheinlichkeit der Klassenzugehörigkeit zu Klasse C mit dem Satz von Bayes ermitteln: Im Beispiel: Wahrscheinlichkeit, dass ein oranges Objekt eine Orange ist: Die entsprechenden Wahrscheinlichkeiten werden aus den Trainingsdaten geschätzt

17 110 Bayes-Klassifikatoren Kontinuierliche metrische Merkmale können… …diskret approximiert werden: P ( 9.0 < Durchmesser 9.5 | Orange) = 10% P ( 9.5 < Durchmesser 10.0 | Orange) = 30% P (10.0 < Durchmesser 10.5 | Orange) = 30% P (10.5 < Durchmesser 11.0 | Orange) = 10% P (11.0 < Durchmesser 11.5 | Orange) = 5% …oder als Wahrscheinlichkeits-Dichtefunktion definiert werden: Orangen haben einen Durchmesser von 10 ± 1 cm: p (Durchmesser | Orange) = N (10, 1) (meist unter Annahme der Normalverteilung)

18 111 Bayes-Klassifikation Der Bayes-Klassifikator schätzt die Wahrscheinlichkeit der Klassenzugehörigkeit eines Merkmalsvektors Zur eindeutigen Zuordnung eines Klassen-Labels geht man meist nach dem Prinzip Maximum Likelihood vor: Da P(M) bei allen C i gleich ist, ist nur das Produkt zu optimieren Beispiel: P(Apfel | M) = 32% P(Orange| M) = 32% C = Kiwi P(Kiwi| M) = 36%

19 112 Naive Bayes-Klassifikation Motivation Bei hochdimensionalen Merkmalsvektoren schwierige Schätzung der bedingten Wahrscheinlichkeiten P(M | C) und damit P(C | M): M besteht aus vielen einzelnen Komponenten, die UND-verknüpft sind: Bei d verschiedenen Merkmalen und jeweils r verschiedenen Werten ergeben sich r d verschiedene Merkmalskombinationen Probleme: Die Wahrscheinlichkeiten lassen sich nicht mehr abspeichern Man bräuchte >> r d Trainingsdatensätze, um die Wahrscheinlichkeit der einzelnen Merkmalskombinationen überhaupt ermitteln zu können

20 113 Naive Bayes-Klassifikation Lösung dieses Problems beim naiven Bayes-Klassifikator: Annahme der Bedingten Unabhängigkeit d.h. bei jeder einzelnen Klasse werden die Merkmale so behandelt als wären sie voneinander statistisch unabhängig: P (M 1 M 2 | C) = P (M 1 | C) P (M 2 | C) Was bedeutet dies? Klasse=Orange: M 1 = Durchmesser M 2 = Gewicht Annahme kann falsch sein Dies führt nicht unbedingt dazu, dass die Klassifikation versagt Aber schlechte Leistung, wenn… alle Merkmale bei mehreren Klassen etwa gleich verteilt sind Unterschiede nur in Relationen der Merkmale zueinander

21 114 Naive Bayes-Klassifikation Damit ist die Wahrscheinlichkeit der Zugehörigkeit zu Klasse C i : Auch hier ist der Nenner für alle Klassen gleich, so dass nur der Zähler zu maximieren ist:

22 115 Bayes-Netzwerke Grundbegriffe Graph mit Knoten = Zufallsvariable und Kante = bedingte Abhängigkeit Jede Zufallsvariable ist bei gegebenen Werten für die Vorgänger-Variablen bedingt unabhängig von allen Zufallsvariablen, die keine Nachfolger sind. Für jeden Knoten (Zufallsvariable): Tabelle der bedingten Wahrscheinlichkeiten Trainieren eines Bayes-Netzwerkes –bei gegebener Netzwerk-Struktur und allen bekannten Zufallsvariablen –bei gegebener Netzwerk-Struktur und teilweise unbekannten Zufallsvariablen –bei apriori unbekannter Netzwerk-Struktur

23 116 Bayes-Netzwerke Beispiel bei gegebenen Werten für FamilyHistory und Smoker liefert der Wert für Emhysema keine zusätzliche Information über LungCancer Family History LungCancer PositiveXRay Smoker Emphysema Dyspnea FH,S LC ~LC bedingte Wahrscheinlichkeiten für LungCancer

24 117 Klassifikation von Texten Grundlagen Anwendungen (z.B. [Craven et al. 1999], [Chakrabarti, Dom & Indyk 1998]) Filterung von s Klassifikation von Webseiten Vokabular T = {t 1,..., t d } von relevanten Termen Repräsentation eines Textdokuments o = (o 1,..., o d ) o i : Häufigkeit des Auftretens von t i in o Methode –Auswahl der relevanten Terme –Berechnung der Termhäufigkeiten –Konstruktion des Modells –Anwendung des Modells zur Klassifikation neuer Dokumente

25 118 Klassifikation von Texten Auswahl der Terme Reduktion der auftretenden Worte auf Grundformen Stemming Abhängigkeit von der Sprache der Texte Einwort- oder Mehrwort-Terme? Elimination von Stoppwörtern weitere Reduktion der Anzahl der Terme bis zu Terme

26 119 Klassifikation von Texten Reduktion der Anzahl der Terme optimaler Ansatz O(2 AnzahlTerme ) Teilmengen optimale Teilmenge läßt sich nicht effizient bestimmen Greedy-Ansatz bewerte jeden Terms einzeln welchen Informationsgewinn liefert er in Bezug auf die Separation der gegebenen Klassen? sortiere die Terme nach dieser Maßzahl absteigend wähle die ersten d Terme als Attribute aus

27 120 Klassifikation von Texten Konstruktion des Modells Anwendung des naiven Bayes-Klassifikators aber: Häufigkeiten der verschiedenen Terme typischerweise korreliert wichtigste Aufgabe: Schätzung der P(o i | c) aus den Trainingsdokumenten Generierung eines Dokuments o der Klasse c mit n Termen Bernoulli-Experiment: n mal eine Münze werfen, die für jeden Term t i eine Seite besitzt Wahrscheinlichkeit, daß t i nach oben kommt f(t i, c): relative Häufigkeit des Terms t i in der Klasse c

28 121 Klassifikation von Texten Konstruktion des Modells Dokument als Bag of Words Reihenfolge der Terme spielt keine Rolle Bestimmung der P(o i | c) mit Hilfe der Bimonialverteilung Problem –Term t i tritt in keinem Trainingsdokument der Klasse c auf –t i tritt in einem zu klassifizierenden Dokument o auf –in o treten aber auch wichtige Terme der Klasse c auf vermeide P(o i | c) = 0 Glättung der beobachteten Häufigkeiten

29 122 Klassifikation von Texten Experimentelle Untersuchung [Craven et al. 1999] Trainingsmenge: 4127 Webseiten von Informatik-Instituten Klassen: department, faculty, staff, student, research project, course, other 4-fache Überkreuz-Validierung drei der Universitäten zum Training, vierte Universität zum Test Zusammenfassung der Ergebnisse - Klassifikationsgenauigkeit 70% bis 80 % für die meisten Klassen - Klassifikationsgenauigkeit 9% für Klasse staff aber 80% korrekt in Oberklasse person - schlechte Klassifikationsgenauigkeit für Klasse other große Varianz der Dokumente dieser Klasse

30 123 Interpretation von Rasterbildern Motivation automatische Interpretation von d Rasterbildern eines bestimmten Gebiets für jedes Pixel ein d-dimensionaler Grauwertvektor (o 1,..., o d ) verschiedene Oberflächenbeschaffenheiten der Erde besitzen jeweils ein charakteristisches Reflexions- und Emissionsverhalten Ackerland Wasser Stadt

31 124 Interpretation von Rasterbildern Grundlagen Anwendung des optimalen Bayes-Klassifikators Schätzung der P(o | c) ohne Annahme der bedingten Unabhängigkeit Annahme einer d-dimensionalen Normalverteilung für die Grauwertvektoren einer Klasse Entscheidungsflächen Wasser Stadt Ackerland Wahrscheinlichkeit der Klassen- zugehörigkeit

32 125 Interpretation von Rasterbildern Methode Zu schätzen aus den Trainingsdaten i : d-dimensionaler Mittelwertvektor aller Feature-Vektoren der Klasse c i i : Kovarianzmatrix der Klasse c i Probleme der Entscheidungsregel - Likelihood für die gewählte Klasse sehr klein - Likelihood für mehrere Klassen ähnlich unklassifizierte Regionen Grenzwert

33 126 Bayes-Klassifikatoren Diskussion + hohe Klassifikationsgenauigkeit in vielen Anwendungen + Inkrementalität Klassifikator kann einfach an neue Trainingsobjekte adaptiert werden + Einbezug von Anwendungswissen - Anwendbarkeit die erforderlichen bedingten Wahrscheinlichkeiten sind oft unbekannt - Ineffizienz bei sehr vielen Attributen insbesondere Bayes-Netzwerke


Herunterladen ppt "94 3. Klassifikation Inhalt dieses Kapitels 3.1 Einleitung Das Klassifikationsproblem, Bewertung von Klassifikatoren 3.2 Bayes-Klassifikatoren Optimaler."

Ähnliche Präsentationen


Google-Anzeigen