Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Induktion von Entscheidungsbäumen Seminar Data Mining am Fachgebiet Datenbanken und Informationssysteme Sommersemester 2007 Betreuer: Hendrik Warneke 26.06.2007.

Ähnliche Präsentationen


Präsentation zum Thema: "Induktion von Entscheidungsbäumen Seminar Data Mining am Fachgebiet Datenbanken und Informationssysteme Sommersemester 2007 Betreuer: Hendrik Warneke 26.06.2007."—  Präsentation transkript:

1 Induktion von Entscheidungsbäumen Seminar Data Mining am Fachgebiet Datenbanken und Informationssysteme Sommersemester 2007 Betreuer: Hendrik Warneke Mirko Stratmann

2 Induktion von Entscheidungsbäumen | | Folie 2 Mirko Stratmann Agenda Motivation für Klassifikation Entscheidungsbäume Induktion von Entscheidungsbäumen  Splitting-Kriterien  Abbruchkriterien  Overfitting  Pruning-Methoden Zusammenfassung

3 Induktion von Entscheidungsbäumen | | Folie 3 Mirko Stratmann Motivation für Klassifikation bisher: Assoziationsregeln Nun: Klassifikation aus Daten Prognosen für die Zukunft ableiten Beispiele: Finanzbranche, Medizin, Energie schnellere, sicherere Prognose Vorgehensweise Ableiten von explizitem Wissen aus Daten kompakte Repräsentation von Wissen Wir verwenden dazu Entscheidungsbäume

4 Induktion von Entscheidungsbäumen | | Folie 4 Mirko Stratmann Entscheidungsbäume Entscheidungsbäume sind Bäume Innere Knoten: Attribute Kanten: Tests Blätter: Klassen Attribute kategorisch numerisch Tests führen zu Split Klassen sollen zugeordnet werden

5 Induktion von Entscheidungsbäumen | | Folie 5 Mirko Stratmann Beispiel: Datengrundlage

6 Induktion von Entscheidungsbäumen | | Folie 6 Mirko Stratmann Beispiel: Entscheidungsbaum nicht alle Attribute wurden zum Aufbau des Entscheidungsbaums genutzt Klassifikationsgenauigkeit ist 1 für Beispieldaten

7 Induktion von Entscheidungsbäumen | | Folie 7 Mirko Stratmann Beispiel: Klassifikationsregeln Aus Entscheidungsbäume lassen sich Klassifikationsregeln ableiten: Für jedes Blatt: Und-Verknüpfung aller Tests auf dem Pfad

8 Induktion von Entscheidungsbäumen | | Folie 8 Mirko Stratmann Induktion von Entscheidungsbäumen Konstruktion eines Entscheidungsbaums aus einer Menge von klassifizierten Datensätzen meist: Teilen dieser Menge in Trainingsdatenmenge und Testdatenmenge Ermitteln des Klassifikationsfehlers auf Testdatenmenge 2 Phasen: Growing & Pruning  Growing: (Top-Down) Aufbau des Baums mit Hilfe von Splitting- Kriterien bis Abbruchkriterium erfüllt  dazu rekursives Partitionieren des Traingsdatenraums  Pruning: (Bottom-up) “Stutzen” des Baums für bessere Klassifikationsperformance

9 Induktion von Entscheidungsbäumen | | Folie 9 Mirko Stratmann Splitting-Kriterien Ein weiterer Entscheidungsbaum für unser Beispiel…

10 Induktion von Entscheidungsbäumen | | Folie 10 Mirko Stratmann Splitting-Kriterien (2) Ziele Baum möglichst klein und kompakt gute Klassifikationsgenauigkeit Auswahl des besten Splits erforderlich Eigentlich: Betrachte alle möglichen Splits: auch Teilmengensplits hier Vereinfachung: immer komplette Splits und nur für Tests der Form Attribut = Wert Splitting-Kriterien bewerten Splits InformationGain GiniGain u.v.m.

11 Induktion von Entscheidungsbäumen | | Folie 11 Mirko Stratmann InformationGain zunächst: Maß für den Informationsgehalt einer Darstellung Informationstheorie: Shannon’sche Entropie y: Zielattribut S: Trainingsdatenmenge σ y=c j S: Menge der Datensätze aus S mit Klasse c j

12 Induktion von Entscheidungsbäumen | | Folie 12 Mirko Stratmann Maß für die Veränderung der Entropie y: Zielattribut S: Trainingsdatenmenge a i : mögliches Attribut für den Split σ a i =c i,j S: Menge der Datensätze aus S mit Attribut a i hat Wert v i,j InformationGain

13 Induktion von Entscheidungsbäumen | | Folie 13 Mirko Stratmann Entwicklung am Beispiel – Vor dem ersten Split

14 Induktion von Entscheidungsbäumen | | Folie 14 Mirko Stratmann Entwicklung am Beispiel (2) Split nach Aussicht bringt größten Informationsgewinn

15 Induktion von Entscheidungsbäumen | | Folie 15 Mirko Stratmann Entwicklung am Beispiel (3) – Nach dem ersten Split

16 Induktion von Entscheidungsbäumen | | Folie 16 Mirko Stratmann Gini Maß für die Unreinheit y: Zielattribut S: Trainingsdatenmenge σ y=c j S: Menge der Datensätze aus S mit Klasse c j

17 Induktion von Entscheidungsbäumen | | Folie 17 Mirko Stratmann GiniGain Maß für die Abnahme der Unreinheit y: Zielattribut S: Trainingsdatenmenge a i : mögliches Attribut für den Split σ a i =c i,j S: Menge der Datensätze aus S mit Attribut a i hat Wert v i,j

18 Induktion von Entscheidungsbäumen | | Folie 18 Mirko Stratmann GiniGain vs. InformationGain InformationGain und Gini liefern hier ähnliche Ergebnisse!

19 Induktion von Entscheidungsbäumen | | Folie 19 Mirko Stratmann Overfitting Klassifikationsgenauigkeit Je länger die Growing-Phase, desto besser die Klassifikationsgenauigkeit → auf den Trainingsdaten Trainingsdaten  fehlende Werte  nicht repräsentative Auswahl  falsch klassifizierte Datensätze  Rauschen Überanpassung an Trainingsdaten zeigt Overfitting-Effekt

20 Induktion von Entscheidungsbäumen | | Folie 20 Mirko Stratmann Overfitting (2) fehlerhaft klassifizierter Datensatz verfeinerter Entscheidungsbaum durch fehlerhaften Datensatz

21 Induktion von Entscheidungsbäumen | | Folie 21 Mirko Stratmann Overfitting (3) ( aus: Ester, Sander: Knowledge Discovery in Databases) “fully-grown tree” kann so nicht sinnvoll sein! Aber wie sollte man das Abbruchkriterium wählen?

22 Induktion von Entscheidungsbäumen | | Folie 22 Mirko Stratmann Abbruchkriterien Growing des Entscheidungsbaums bis zu Abbruchkriterium Typische Beispiele: Alle Datensätze der Trainingsdatenmenge haben den gleichen Wert für das Zielattribut Die maximale Höhe des Entscheidungsbaums ist erreicht Die Zahl der Fälle (Datensätze) in den untersten Knoten ist geringer als die minimale Anzahl von Fällen für Elternknoten Falls der Knoten gesplittet würde, dann wäre die Zahl der Fälle eines oder mehrerer Kindknoten geringer als die minimale Zahl an Fällen pro Kindknoten Das beste Ergebnis eines Splitting Kriteriums ist unter einem gewissen Schwellwert

23 Induktion von Entscheidungsbäumen | | Folie 23 Mirko Stratmann Pruning Festlegen von geeigneten Abbruchkriterien schwierig: Pruning kann die Klassifikationsgenauigkeit erhöhen Reduced Error Pruning Trainingsmenge und Testmenge Prüfen, ob Prunen eines Knotens die Klassifikationsperformance auf Testdatenmenge verbessert Zurückschneiden so lange der Klassifikationsfehler abnimmt →

24 Induktion von Entscheidungsbäumen | | Folie 24 Mirko Stratmann Ansatz: Berücksichtigung der Kostenkomplexität α: Kostenkomplexitätsparameter ε: Funktion, die Fehler auf den Trainingsdaten berechnet |leaves(T)| :Anzahl der Blätter von Baum T T( α) ist der Teilbaum, der die Kostenkomplexität unter Bezug auf α minimiert Minimal Cost-Complexity Pruning

25 Induktion von Entscheidungsbäumen | | Folie 25 Mirko Stratmann anschaulich: Anstieg der Fehlerrate pro gepruntem Blatt Vorgehen Konstruiere Folge von Teilbäumen T 1, …, T k dabei ist T 1 der durch Growing ermittelte Baum und T k der Teilbaum ist, der nur aus der Wurzel besteht Prüfe für jeden Teilknoten von T i den Kostenkomplexitätsparameter α und prune den Knoten, bei dem α minimimal ist und erhalte so T i+1 Bestimme für die Folge T 1, …, T k die Klassifikationsgenauigkeit und wähle den Teilbaum mit dem geringsten Fehler auf den Testdaten Minimal Cost-Complexity Pruning (2)

26 Induktion von Entscheidungsbäumen | | Folie 26 Mirko Stratmann Welche Pruning-Methode ist die beste? Es gibt viele weitere Pruning-Methoden Performancetests der Pruningmethoden zeigen Manche Methoden wie Minimal Cost-Complexity Pruning neigen zu Over-Pruning Manche Methoden neigen zu Under-Pruning Zurückschneiden so lange der Klassifikationsfehler abnimmt “There ain't no such thing as a free lunch” Es gibt keine Pruning-Methode die in jedem Fall den besten Entscheidungsbaum liefert

27 Induktion von Entscheidungsbäumen | | Folie 27 Mirko Stratmann Kleiner historischer Systemvergleich ID3 (Iterative Dichotonomiser 3, Quinlan 1986) nutzt InformationGain als Splitting-Kriterium kein Pruning weiterentwickelt: C4.5 (1993) CART (Classification and Regression Trees, Breiman 1984) Besonderheit: erzeugt (binäre) Regressionsbäume nutzt Minimal Cost-Complexity Pruning Nicht für große Datenmengen geeignet, dafür eigene Algorithmen wie SLIQ und SPRINT

28 Induktion von Entscheidungsbäumen | | Folie 28 Mirko Stratmann Bewertung von Entscheidungsbaumklassifikatoren Entscheidungsbäume sind selbsterklärend und von Experten überprüfbar können mit kategorischen und numerischen Attributen umgehen sind fehlertolerant (falsche und fehlende Datensätze, Rauschen) viele Algorithmen treffen nur diskrete Vorhersagen Attribute sollten möglichst relevant sein

29 Induktion von Entscheidungsbäumen | | Folie 29 Mirko Stratmann Zusammenfassung Motivation für Klassifikation Entscheidungsbäume Induktion von Entscheidungsbäumen  Splitting-Kriterien  Abbruchkriterien  Overfitting  Pruning-Methoden Zusammenfassung

30 Induktion von Entscheidungsbäumen | | Folie 30 Mirko Stratmann Danke für Ihre Aufmerksamkeit! Fragen? ?

31 Induktion von Entscheidungsbäumen | | Folie 31 Mirko Stratmann Literatur und Quellen L. Rokach, O. Maimon: Kapitel 9 Decision Trees in: The Data Mining and Knowledge Discovery Handbook, Springer 2005, J.R. Quinlan: Induction of Decision Trees, Machine Learning Vol. 1, Num. 1, S , Springer 1986, M. Ester, J. Sander: Knowledge Discovery in Databases, Springer 2000 M. Lusti: Data Warehousing und Data Mining, Springer 1999 I.H. Witten, E. Frank: Data Mining, Hanser 2001 J. Han, M. Kamber: Data Mining - Concepts and Techniques, Morgan Kaufmann 2006 L. Breiman, J.H. Friedman, R.A. Olshen, C.J. Stone: Classification of Regression Trees, Wadsworth 1984

32 Induktion von Entscheidungsbäumen | | Folie 32 Mirko Stratmann Wann haben der Ausgangsbaum und der geprunte Baum die gleiche Kostenkomplexität? für einen bestimmten Wert von α Anschaulich: der Anstieg der Fehlerrate pro gepruntem Blatt, also ein Maß dafür, welchen Anstieg des Klassifikationsfehlers auf den Trainingsdaten wir für die Verringerung der Komplexität des Baums in Kauf nehmen müssen. Anhang: Minimal Cost-Complexity Pruning

33 Induktion von Entscheidungsbäumen | | Folie 33 Mirko Stratmann Anhang: verschiedene Splits (1)

34 Induktion von Entscheidungsbäumen | | Folie 34 Mirko Stratmann Anhang: verschiedene Splits (2) InformationGain und Gini liefern ähnliche Ergebnisse!


Herunterladen ppt "Induktion von Entscheidungsbäumen Seminar Data Mining am Fachgebiet Datenbanken und Informationssysteme Sommersemester 2007 Betreuer: Hendrik Warneke 26.06.2007."

Ähnliche Präsentationen


Google-Anzeigen