Seminar: Neue Ansätze der KI Thema des Referats: SPRINT: A scalable parallel classifier for Data Mining Athina Poppi Uni Dortmund, 4.6.2002 1

Athina Poppi Uni Dortmund, 4.6.2002 2 Inhaltsverzeichnis Klassifikation Entscheidungsbaum SPRINT Fazit Literatur Athina Poppi Uni Dortmund, 4.6.2002 2

1.1 Klassifikation Ziel: Bildung eines Klassifikationsmodells um die Datenzugehörigkeit vorher sagen zu können. Verschiedene Methoden. Am beliebtesten: Entscheidungsbäume (sie können relativ schnell konstruiert werden, sind einfach zu interpretieren und man erreicht ähnliche, oft auch bessere Genauigkeit) Anwendung: Kleinzielmarketing, Betrugabfragung und medizinische Diagnose Athina Poppi Uni Dortmund, 4.6.2002 3

1.2 Klassifikationsmodell Training Set: Datenmenge zur Bildung der Klassifikationsmodells. Training Sample: Einzelne Datensätze. Attribute: continuous (zB Einkommen, Alter) oder categorical (zB Autotyp, Sportart). Continuous # categorical: geordnet # ungeordnet Classifying attribute Athina Poppi Uni Dortmund, 4.6.2002 4

2.1 Entscheidungsbaum Besteht aus mehreren Knoten Jeder Knoten ist ein Blatt oder ein Entscheidungsknoten (split point) Blatt: repräsentiert eine Klasse Split point: Hier wird der Test durchgeführt Athina Poppi Uni Dortmund, 4.6.2002 5

2.2 Beispiel: Autoversicherung Age<25 Tid Age Car Type Risk 23 Family High 1 17 Sports 2 43 3 68 Low 4 32 Truck 5 20 family nein CarType in{Sports} ja nein ja High High Low Decision tree Training Set Athina Poppi Uni Dortmund, 4.6.2002 6

3. SPRINT Scalable PaRallelizable Indution of decision Trees Entwicklung: IBM Almaden Decision-tree-based classification algorithm Serial algorithm Excellent scaleup, speedup and sizeup properties Athina Poppi Uni Dortmund, 4.6.2002 7

3.1 Serienalgorithmus 2 Phasen: growth and prune phase. growth phase: Der Baum wird errichtet,also man verteilt die Daten rekursiv. prune phase: Der Baum wird gestutzt bzw. verallgemeinert um eine Überanpassung des Baums aufgrund von Ausreissern oder fehlerhafte Daten in den Trainingsdaten zu verhindern. Zeit benötigt: nur ca. 1% der Gesamtlaufzeit bei die Baumbildung Athina Poppi Uni Dortmund, 4.6.2002 8

3.2 Recursive Tree-growth algorithm Partition (Data S) if (all points in S are from the same class) then return; for each attribute A do evaluate splits on attribute A; Use best split found to partition S into S1 and S2; Partition (S1); Partition (S2); Initial call: Partition(TrainingData) Athina Poppi Uni Dortmund, 4.6.2002 9

3.3 Datenstrukturen Attribute lists: Jeder Eintrag besteht aus einem Attributwert, dem Klassenwert und einem Schlüssel (Tupel Identifier, Tid). Histograms: continuous: 2 Histogramms kommunizieren mit jedem Entscheidungsbaum. Categorical: brauchen nur 1 Histogram (count matrix). Athina Poppi Uni Dortmund, 4.6.2002 10

3.4 Splitting a node´s attribute lists Attribute lists for node 1 Age Class Tid 17 High 1 20 5 23 32 Low 4 43 2 68 3 CarType Class Tid Family High 1 Sports 5 Low 4 Truck 2 family 3 Age Class Tid 17 High 1 20 5 23 Car Type Class Tid Family High Sports 1 family 5 Attribute lists for node 0 Age<27.5 1 2 Athina Poppi Uni Dortmund, 4.6.2002 11

3.5 Evaluating continuous split points State of class Histograms Position of Cursor in scan H L Attribute List Cbelow Cabove Age Class Tid 17 High 1 20 5 23 32 Low 4 43 2 68 3 Position 0 4 2 3 Cbelow Cabove Position 3 1 2 4 2 Cbelow Cabove Position 6 Athina Poppi Uni Dortmund, 4.6.2002 12

3.6 Evaluating categorical split points Attribute List Car Type Class Tid Family High Sports 1 2 Low 3 Truck 4 family 5 Count matrix H L Family Sports truck 2 1 Athina Poppi Uni Dortmund, 4.6.2002 13

3.7 Finding Split points Ein Split-Test ist abhängig vom Typ des Attributs. continuous: A<x, x ist ein Attributwert von der Wertebereich von A. categorical: BeS, S Teilmenge der Wertemenge von B. Beste Split Point: teilt am besten die mit diesem Knoten verbundene Trainingsdaten auf. Die Güte der Aufteilung sind abhängig von wie gut der Split die verschiedenen Klassen von einander trennt. Athina Poppi Uni Dortmund, 4.6.2002 14

3.8 Parallelizing Classification Growth phase: The primary problem remains finding gut split points and partitioning the data using the discovered split-points. SPRINT: parallelizes quite naturally and efficiently (design). Each processor works on only 1/N of the total data Finding split-points:similar to the serial version. Differences appears only before and after the attribute-list partitions are scanned. Continuous: Differences in Cbelow and Cabove Categorical: global count matrix Athina Poppi Uni Dortmund, 4.6.2002 15

3.9 Parallel Data Placement Processor 0 Age Class Tid 17 High 1 20 5 23 Car Type Class Tid Family High Sports 1 2 Processor 1 Car Type Class Tid Family Low 3 Truck 4 family High 5 Age Class Tid 32 Low 4 43 High 2 68 3 Athina Poppi Uni Dortmund, 4.6.2002 16

3.10 Speedup of SPRINT Athina Poppi Uni Dortmund, 4.6.2002 17

3.11 Leistung Das parallization werden an Primitiven einer 16-node verwendenden Standard-MPI IBM SP2 Kommunikation des Modells 9076 durchgeführt. Jeder Nullpunkt hat einen Prozessor, an 62.5MHZ mit 128Mb des Gedächtnisses zu laufen. Alle Prozessoren laufen auf AIX-Niveau 4,1 Obwohl SPRINT langsamer als andere Algorithmen ist, stellt er ein fast lineares scaleup aus. Athina Poppi Uni Dortmund, 4.6.2002 18

3.12 Uniprocessor performance Athina Poppi Uni Dortmund, 4.6.2002 19

4. Fazit SPRINT ist einer Klassifikationsalgorithmus der ausgezeichnetes scalability ausstellt und in der Lage ist, grosse Datensätze anzufassen, dass andere Algorithmen nicht imstande sind. ABER: Es werden bedeutende Kommunikationsunkosten pro Prozessor vorgestellt. Die Prüfenstruktur (die als hashtable eingeführt wird), ist das intensive Gedächtnis und hat die Grösse des gleichen Auftrages, der die Grösse des Ausgangstrainings einstellt . Verbesserte Version von SPRINT: ScalPacC Athina Poppi Uni Dortmund, 4.6.2002 20

5. Literaturliste SPRINT: a Scalable Paraller Classifier for Data Mining, John Shafer, Rakesh Agrawal, Manish Mehta, Proceedings of the 22th VLDB Conference Mumbai (Bombay), India, 1996 Parallele Data Mining Algorithmen, Bearbeiter: Rudi Husser, Betreuer: Ralf Rantzau, Prüfer: Prof. Bernhard Mitschang, Datum: 21.02.02, Uni Stuttgart Vorlesung KDD, Ludwig-Maximilians-Universität München, WS 2000/2001 Athina Poppi Uni Dortmund, 4.6.2002 21