Induktion von Entscheidungsbäumen Seminar Data Mining am Fachgebiet Datenbanken und Informationssysteme Sommersemester 2007 Betreuer: Hendrik Warneke.

Präsentation zum Thema: "Induktion von Entscheidungsbäumen Seminar Data Mining am Fachgebiet Datenbanken und Informationssysteme Sommersemester 2007 Betreuer: Hendrik Warneke."—  Präsentation transkript:

1 Induktion von Entscheidungsbäumen Seminar Data Mining am Fachgebiet Datenbanken und Informationssysteme Sommersemester Betreuer: Hendrik Warneke Mirko Stratmann

2 Agenda Motivation für Klassifikation Entscheidungsbäume
Induktion von Entscheidungsbäumen Splitting-Kriterien Abbruchkriterien Overfitting Pruning-Methoden Zusammenfassung Induktion von Entscheidungsbäumen | | Folie 2 Mirko Stratmann

3 Motivation für Klassifikation
bisher: Assoziationsregeln Nun: Klassifikation aus Daten Prognosen für die Zukunft ableiten Beispiele: Finanzbranche, Medizin, Energie schnellere, sicherere Prognose Vorgehensweise Ableiten von explizitem Wissen aus Daten kompakte Repräsentation von Wissen Wir verwenden dazu Entscheidungsbäume Induktion von Entscheidungsbäumen | | Folie 3 Mirko Stratmann

4 Entscheidungsbäume Entscheidungsbäume sind Bäume Attribute Tests
Innere Knoten: Attribute Kanten: Tests Blätter: Klassen Attribute kategorisch numerisch Tests führen zu Split Klassen sollen zugeordnet werden Induktion von Entscheidungsbäumen | | Folie 4 Mirko Stratmann

5 Beispiel: Datengrundlage
Induktion von Entscheidungsbäumen | | Folie 5 Mirko Stratmann

6 Beispiel: Entscheidungsbaum
nicht alle Attribute wurden zum Aufbau des Entscheidungsbaums genutzt Klassifikationsgenauigkeit ist 1 für Beispieldaten Induktion von Entscheidungsbäumen | | Folie 6 Mirko Stratmann

7 Beispiel: Klassifikationsregeln
Aus Entscheidungsbäume lassen sich Klassifikationsregeln ableiten: Für jedes Blatt: Und-Verknüpfung aller Tests auf dem Pfad Induktion von Entscheidungsbäumen | | Folie 7 Mirko Stratmann

8 Induktion von Entscheidungsbäumen
Konstruktion eines Entscheidungsbaums aus einer Menge von klassifizierten Datensätzen meist: Teilen dieser Menge in Trainingsdatenmenge und Testdatenmenge Ermitteln des Klassifikationsfehlers auf Testdatenmenge 2 Phasen: Growing & Pruning Growing: (Top-Down) Aufbau des Baums mit Hilfe von Splitting- Kriterien bis Abbruchkriterium erfüllt dazu rekursives Partitionieren des Traingsdatenraums Pruning: (Bottom-up) “Stutzen” des Baums für bessere Klassifikationsperformance Induktion von Entscheidungsbäumen | | Folie 8 Mirko Stratmann

9 Splitting-Kriterien Ein weiterer Entscheidungsbaum für unser Beispiel…
Induktion von Entscheidungsbäumen | | Folie 9 Mirko Stratmann

10 Splitting-Kriterien (2)
Ziele Baum möglichst klein und kompakt gute Klassifikationsgenauigkeit Auswahl des besten Splits erforderlich Eigentlich: Betrachte alle möglichen Splits: auch Teilmengensplits hier Vereinfachung: immer komplette Splits und nur für Tests der Form Attribut = Wert Splitting-Kriterien bewerten Splits InformationGain GiniGain u.v.m. Induktion von Entscheidungsbäumen | | Folie 10 Mirko Stratmann

11 InformationGain zunächst: Maß für den Informationsgehalt einer Darstellung Informationstheorie: Shannon’sche Entropie y: Zielattribut S: Trainingsdatenmenge σy=cjS: Menge der Datensätze aus S mit Klasse cj Induktion von Entscheidungsbäumen | | Folie 11 Mirko Stratmann

12 InformationGain Maß für die Veränderung der Entropie y: Zielattribut
S: Trainingsdatenmenge ai: mögliches Attribut für den Split σai=ci,jS: Menge der Datensätze aus S mit Attribut ai hat Wert vi,j Induktion von Entscheidungsbäumen | | Folie 12 Mirko Stratmann

13 Entwicklung am Beispiel – Vor dem ersten Split
Induktion von Entscheidungsbäumen | | Folie 13 Mirko Stratmann

14 Entwicklung am Beispiel (2)
Split nach Aussicht bringt größten Informationsgewinn Induktion von Entscheidungsbäumen | | Folie 14 Mirko Stratmann

15 Entwicklung am Beispiel (3) – Nach dem ersten Split
Induktion von Entscheidungsbäumen | | Folie 15 Mirko Stratmann

16 Gini Maß für die Unreinheit y: Zielattribut S: Trainingsdatenmenge
σy=cjS: Menge der Datensätze aus S mit Klasse cj Induktion von Entscheidungsbäumen | | Folie 16 Mirko Stratmann

17 GiniGain Maß für die Abnahme der Unreinheit y: Zielattribut
S: Trainingsdatenmenge ai: mögliches Attribut für den Split σai=ci,jS: Menge der Datensätze aus S mit Attribut ai hat Wert vi,j Induktion von Entscheidungsbäumen | | Folie 17 Mirko Stratmann

18 GiniGain vs. InformationGain
InformationGain und Gini liefern hier ähnliche Ergebnisse! Induktion von Entscheidungsbäumen | | Folie 18 Mirko Stratmann

19 Overfitting Klassifikationsgenauigkeit
Je länger die Growing-Phase, desto besser die Klassifikationsgenauigkeit → auf den Trainingsdaten Trainingsdaten fehlende Werte nicht repräsentative Auswahl falsch klassifizierte Datensätze Rauschen Überanpassung an Trainingsdaten zeigt Overfitting-Effekt Induktion von Entscheidungsbäumen | | Folie 19 Mirko Stratmann

20 Overfitting (2) fehlerhaft klassifizierter Datensatz
verfeinerter Entscheidungsbaum durch fehlerhaften Datensatz Induktion von Entscheidungsbäumen | | Folie 20 Mirko Stratmann

21 Overfitting (3) ( aus: Ester, Sander: Knowledge Discovery in Databases) “fully-grown tree” kann so nicht sinnvoll sein! Aber wie sollte man das Abbruchkriterium wählen? Induktion von Entscheidungsbäumen | | Folie 21 Mirko Stratmann

22 Abbruchkriterien Growing des Entscheidungsbaums bis zu Abbruchkriterium Typische Beispiele: Alle Datensätze der Trainingsdatenmenge haben den gleichen Wert für das Zielattribut Die maximale Höhe des Entscheidungsbaums ist erreicht Die Zahl der Fälle (Datensätze) in den untersten Knoten ist geringer als die minimale Anzahl von Fällen für Elternknoten Falls der Knoten gesplittet würde, dann wäre die Zahl der Fälle eines oder mehrerer Kindknoten geringer als die minimale Zahl an Fällen pro Kindknoten Das beste Ergebnis eines Splitting Kriteriums ist unter einem gewissen Schwellwert Induktion von Entscheidungsbäumen | | Folie 22 Mirko Stratmann

23 → Pruning Festlegen von geeigneten Abbruchkriterien schwierig:
Pruning kann die Klassifikationsgenauigkeit erhöhen Reduced Error Pruning Trainingsmenge und Testmenge Prüfen, ob Prunen eines Knotens die Klassifikationsperformance auf Testdatenmenge verbessert Zurückschneiden so lange der Klassifikationsfehler abnimmt → Induktion von Entscheidungsbäumen | | Folie 23 Mirko Stratmann

24 Minimal Cost-Complexity Pruning
Ansatz: Berücksichtigung der Kostenkomplexität α: Kostenkomplexitätsparameter ε: Funktion, die Fehler auf den Trainingsdaten berechnet |leaves(T)| : Anzahl der Blätter von Baum T T(α) ist der Teilbaum, der die Kostenkomplexität unter Bezug auf α minimiert Induktion von Entscheidungsbäumen | | Folie 24 Mirko Stratmann

25 Minimal Cost-Complexity Pruning (2)
anschaulich: Anstieg der Fehlerrate pro gepruntem Blatt Vorgehen Konstruiere Folge von Teilbäumen T1, … , Tk dabei ist T1 der durch Growing ermittelte Baum und Tk der Teilbaum ist, der nur aus der Wurzel besteht Prüfe für jeden Teilknoten von Ti den Kostenkomplexitätsparameter α und prune den Knoten, bei dem α minimimal ist und erhalte so Ti+1 Bestimme für die Folge T1, … , Tk die Klassifikationsgenauigkeit und wähle den Teilbaum mit dem geringsten Fehler auf den Testdaten Induktion von Entscheidungsbäumen | | Folie 25 Mirko Stratmann

26 Welche Pruning-Methode ist die beste?
Es gibt viele weitere Pruning-Methoden Performancetests der Pruningmethoden zeigen Manche Methoden wie Minimal Cost-Complexity Pruning neigen zu Over-Pruning Manche Methoden neigen zu Under-Pruning Zurückschneiden so lange der Klassifikationsfehler abnimmt “There ain't no such thing as a free lunch” Es gibt keine Pruning-Methode die in jedem Fall den besten Entscheidungsbaum liefert Induktion von Entscheidungsbäumen | | Folie 26 Mirko Stratmann

27 Kleiner historischer Systemvergleich
ID3 (Iterative Dichotonomiser 3, Quinlan 1986) nutzt InformationGain als Splitting-Kriterium kein Pruning weiterentwickelt: C4.5 (1993) CART (Classification and Regression Trees, Breiman 1984) Besonderheit: erzeugt (binäre) Regressionsbäume nutzt Minimal Cost-Complexity Pruning Nicht für große Datenmengen geeignet, dafür eigene Algorithmen wie SLIQ und SPRINT Induktion von Entscheidungsbäumen | | Folie 27 Mirko Stratmann

28 Bewertung von Entscheidungsbaumklassifikatoren
Entscheidungsbäume sind selbsterklärend und von Experten überprüfbar können mit kategorischen und numerischen Attributen umgehen sind fehlertolerant (falsche und fehlende Datensätze, Rauschen) viele Algorithmen treffen nur diskrete Vorhersagen Attribute sollten möglichst relevant sein Induktion von Entscheidungsbäumen | | Folie 28 Mirko Stratmann

29 Zusammenfassung Motivation für Klassifikation Entscheidungsbäume
Induktion von Entscheidungsbäumen Splitting-Kriterien Abbruchkriterien Overfitting Pruning-Methoden Zusammenfassung Induktion von Entscheidungsbäumen | | Folie 29 Mirko Stratmann

30 Danke für Ihre Aufmerksamkeit!
Fragen? ? Fragen? Fragen? Fragen? Fragen? Induktion von Entscheidungsbäumen | | Folie 30 Mirko Stratmann

31 Literatur und Quellen L. Rokach, O. Maimon: Kapitel 9 Decision Trees in: The Data Mining and Knowledge Discovery Handbook, Springer 2005, J.R. Quinlan: Induction of Decision Trees, Machine Learning Vol. 1, Num. 1, S , Springer 1986, M. Ester, J. Sander: Knowledge Discovery in Databases, Springer 2000 M. Lusti: Data Warehousing und Data Mining, Springer 1999 I.H. Witten, E. Frank: Data Mining, Hanser 2001 J. Han, M. Kamber: Data Mining - Concepts and Techniques, Morgan Kaufmann 2006 L. Breiman, J.H. Friedman, R.A. Olshen, C.J. Stone: Classification of Regression Trees, Wadsworth 1984 Induktion von Entscheidungsbäumen | | Folie 31 Mirko Stratmann

32 Anhang: Minimal Cost-Complexity Pruning
Wann haben der Ausgangsbaum und der geprunte Baum die gleiche Kostenkomplexität? für einen bestimmten Wert von α Anschaulich: der Anstieg der Fehlerrate pro gepruntem Blatt, also ein Maß dafür, welchen Anstieg des Klassifikationsfehlers auf den Trainingsdaten wir für die Verringerung der Komplexität des Baums in Kauf nehmen müssen. Induktion von Entscheidungsbäumen | | Folie 32 Mirko Stratmann

33 Anhang: verschiedene Splits (1)
Induktion von Entscheidungsbäumen | | Folie 33 Mirko Stratmann

34 Anhang: verschiedene Splits (2)
InformationGain und Gini liefern ähnliche Ergebnisse! Induktion von Entscheidungsbäumen | | Folie 34 Mirko Stratmann