EIN NEUES ENSEMBLE- KLASSIFIKATIONSVERFAHREN Tim Schneider Rotation Forest

EINLEITUNG 1  Warum ein Ensemble-Klassifikator?  um Vorhersagen von mehreren Klassifikatoren zu kombinieren anstelle eines einzelnen Klassifikators  Motivation  Verringerung der Varianz:  um weniger abhängig von Besonderheiten einer einzelnen Trainingsmenge zu sein  Reduzierung des Bias:  lerne eine aussagekräftige Klasse anstatt eines einzigen Klassifikators  Ansatz  Ensembles werden aus verschiedenen Klassifikatoren aus einer Trainingsmenge gebildet  Leistungsbeurteilung nach Vielfalt und Genauigkeit  Beste Methode ⇒ AdaBoost ⇒ große Vielfalt, aber Genauigkeitsverlust Neuer Ansatz ⇒ Rotation Forest ⇒ soll beides erreichen Bagging (Random Forest) Boosting (AdaBoost)

ROTATION FOREST  stützt sich beim Klassifizieren auf die Idee des Entscheidungsbaums  Basis-Klassifikator ist ein Entscheidungsbaum  reagieren empfindlich auf die Rotation der Parameterachsen. ⇒ Wald (Forest)  nutzt zur Reduzierung der Parameter die PCA  Daten werden mittels PCA transformiert  Durch eine Drehung der Parameterachsen werden jeweils neue Merkmale für den Basis-Klassifikator erstellt  fördert gleichzeitig eine individuelle Genauigkeit und eine Vielfalt innerhalb des Ensembles 2

IDEE Erstellung der Trainingsdaten wie folgt: 1.Merkmale zufällig in K-Teilmengen aufteilen 2.PCA auf jede Teilmenge anwenden 3.Alle Hauptkomponenten sind erforderlich, damit die Variabilität an Informationen in den Daten erhalten bleibt. 3

METHODE (1) 4 X: Alle Objekte in den Trainingsdaten x = [x 1, x 2, …, x n ] T Objekt mit n-Merkmalen N×n Matrix Y = [y 1, y 2, …, y N ] T : Klassenbeschriftung der Trainingsdaten (N×1 Matrix)

METHODE (2) Gegeben  L: die Zahl der Klassifikatoren in dem Ensemble (D 1, D 2,..., D L )  F: Merkmalsraum  X, Y 5

METHODE (3) - TRAININGSPHASE Um für den Klassifikator D i einen Trainingsdatensatz zu konstruieren: 1.splitte F zufällig in K-Teilmengen: F i,j 6 F: Merkmalsraum F i,1 F i,2 F i,3 … F i,K K-Teilmengen (F i,j für j=1…K) jede hat M = n/K-Merkmale (n stammt aus N×n Matrix)

METHODE (4) - TRAININGSPHASE 2.  Für jede Teilmenge F i,j  sei X i,j der Datensatz X für die Merkmale in F i,j  wähle nach dem Zufallsprinzip eine nichtleere Teilmenge an Klassen aus X i,j  wähle aus X i,j eine Bootstrap- Stichprobe von 75% der Anzahl der Objekte ⇒ es entsteht X’ i,j  führe auf X’ i,j eine PCA durch und speichere die Koeffizienten in einer Matrix 7 F 1,1 F 1,2 F 1,3 … F 1,K X 1,1 : Teilmenge X für die Merkmale in F 1,1 Wähle zufällig eine Teilmenge an Klassen aus X 1,1 Wähle eine Bootstrap- Stichprobe von 75% aus der Anzahl der Objekte aus X 1,1 um X’ 1,1 zu erhalten. Führe mit X’ 1,1 und M-Merkmalen eine PCA durch, um die Koeffizienten zu erhalten.

METHODE (5) - TRAININGSPHASE 3.  Ordne die erhaltenen Koeffizienten in einer Rotationsmatrix R i  Um den Trainingsdatensatz für den Klassifikator D i zu berechnen,  ordne die Spalten von R i so neu an, dass sie den ursprünglichen Merkmalen aus F entsprechen und bezeichne sie mit R i a  bezeichne den Trainingsdatensatz für den Klassifikator D i mit ⇒ XR i a  Erstelle den Klassifikator D i unter Verwendung von ( XR i a, Y) als Trainingsdatensatz. 8

METHODE (6) - KLASSIFIKATIONSPHASE  Um ein gegebenes Objekt x zu klassifizieren, sei d i,j (xR i a ) die Wahrscheinlichkeit, dass der Klassifikator D i annimmt, x stammt aus der Klasse  Berechne das durchschnittliche Vertrauen für jede Klasse über alle Klassifikatoren mit:  Klassifiziere x in die Klasse mit dem größten Vertrauen 9 Satz von Klassenbeschreibungen

METHODE (6) Warum wird eine Bootstrap-Stichprobe sowie eine Zufallsauswahl der Klassen in Schritt 2 durchgeführt?  man möchte voneinander verschiedene Klassifikatoren in einem Ensemble haben Beispiel: Die Möglichkeit, komplett verschiedene Klassifikatoren für ein Ensemble von L = 50, für K = 3 und n = 9 zu erhalten, ist kleiner als

LEISTUNGSBEURTEILUNG Vielfalt  entsteht durch Merkmalsextraktion für jeden Basis-Klassifikator.  Jeder Entscheidungsbaum verwendet einen unterschiedlichen Satz an Merkmalen. Genauigkeit  Keine Hauptkomponenten werden verworfen.  Trotz der eingefügten Randomisierung des Datensatzes wird der ganze Datensatz transformiert und anschließend für die Ausbildung des Basis-Klassifikators genutzt (mit unterschiedlich extrahierten Merkmalen). 11

ERGEBNISSE EINES EXPERIMENTS  Vergleich von Rotation Forest, Bagging, AdaBoost und Random Forest  Verwendung von WEKA  Datensatz: UCI Machine Learning Repository (33 Datensätze)  Experimenteinstellungen:  Bagging, AdaBoost und Random Forest mit Standardwerten in WEKA  Random Forest M = 3  Alle Ensemble-Methoden haben das gleiche L = 10  Basis-Klassifikator: Decision-Tree J48 in WEKA 12

ERGEBNISSE EINES EXPERIMENTS 13

ERGEBNISSE EINES EXPERIMENTS % 24,24 % 3,03% 69,70% 3,03% % X-Achse: Ensemblegröße L Y-Achse: Prozentsatz der Datensätze mit den geringsten Fehlern unter den vier Verfahren Diagramm für die 4 Ensemble- Methoden mit ungestutzten J48 Bäumen %

FAZIT  Rotation Forest Ensembles erstellen individuelle Klassifikatoren die genauer als jene in AdaBoost und Random Forest und vielfältiger und manchmal auch genauer als jene in Bagging sind. 15

QUELLEN     16