Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Cluster Ensembles Subspace Clustering Distributed Clustering Alexander Topchy, Anil K. Jain, William Punch 2003 Combining Multiple Weak Clusterings ICDM-2003.

Ähnliche Präsentationen


Präsentation zum Thema: "Cluster Ensembles Subspace Clustering Distributed Clustering Alexander Topchy, Anil K. Jain, William Punch 2003 Combining Multiple Weak Clusterings ICDM-2003."—  Präsentation transkript:

1 Cluster Ensembles Subspace Clustering Distributed Clustering Alexander Topchy, Anil K. Jain, William Punch 2003 Combining Multiple Weak Clusterings ICDM-2003 Alexander Strehl, Joydeep Ghosh 2002 Cluster Ensembles – A Knowledge Reuse Framework for Combining Multiple Partitions, JMLR 3 und gekürzt in AAAI-2002 Rakesh Agrawal, Johannes Gehrke, Dimitrios Gunopousos, Prabhakar Raghavan 1998 Automatic Subspace Clustering of High Dimensional Data for Data Mining Applications SIGMOD-1998 Joydeep Ghosh, Srujana Merugu Distributed Clustering with Limited Knowledge Sharing Souptik Datta, Kanishka Bhaduri, Chris Giannella, Ran Wolff, Hillol Kargupta 2005 Distributed Data Mining in Peer-to-Peer Networks IEEE Internet Computing

2 Cluster Ensembles Lernaufgabe: –Gegeben verschiedene clusterings eines Datensatzes –finde ein kombiniertes clustering. Wie müssen die Eingabe-clusterings beschaffen sein? –möglichst unterschiedlich –möglichst leicht/schnell zu berechnen Wie soll die Konsensusfunktion aussehen? Damit das kombinierte clustering gut ist? –Gütemaß: inter cluster dissimilarity, intra cluster similarity –Kombiniertes clustering ist besser als irgend ein einzelnes.

3 Cluster Ensembles: formale Aufgabenstellung Gegeben: X: Beobachtungen im d-dimensionalen Raum G: Menge von clusterings { 1,..., H } i = {g i 1,..., g i K }, wobei X= g i 1 g i 2... g i K Gesucht: = {g 1,..., g K }, wobei X= g 1 g 2... g K und sim(x 1, x 2 ) > sim(x 1, x 3 ) gdw. x 1, x 2 g i, x3 g i

4 Cluster-Zugehörigkeit als neues Merkmal (Topchy et al. 2003) Gegeben: X: Beobachtungen im d- dimensionalen Raum G: Menge von clusterings { 1,..., H } i = {g i 1,..., g i K }, wobei X= g i 1 g i 2... g i K Gesucht: = {g 1,..., g K }, wobei X= g 1 g 2... g K und sim(x 1, x 2 ) > sim(x 1, x 3 ) gdw. x 1, x 2 g i, x3 g i Mehrere clusterings über den Attributen f 1,..., f d (Eingabe G) Ein clustering über den Attributen 1,..., H (Konsensus ) Attributf1f1...fdfd 1 H Attributwerteg 1 1,..., g 1 K g H 1,..., g H K

5 Konsensusfunktion Ko-Assoziation Ko-Assoziationsmatrix –neue Attribute für jede Beobachtung in co-Matrix eintragen –für jedes Paar (x i, x j ) und jedes Attribut Gleichheit der Attributwerte feststellen (x 1, x N ) = 1 für 1 (x 1, x N ) = 0 für H co 1... H x1x1 gigi gjgj xNxN gigi gigi simx1x1...xNxN x1x1 - sim( x 1, x N )... xNxN sim( x 1, x N ) - – Zählen, wie oft (x i, x j ) gleichen Attributwert haben!

6 Algorithmus für den Konsens Beliebiger clustering Algorithmus verwendet sim(x,y) als Ähnlichkeitsmaß und –maximiert Ähnlichkeit aller x i im cluster und –minimiert Ähnlichkeit aller x i zwischen clusters.

7 Konsensusfunktion Nutzen Vergleich des Kandidaten- clusterings c 1,...c K } mit einem Eingabe-clustering i g i 1,..., g i K(i) }: kann jedes cluster g j der Eingabe (jedes Attribut) besser vorhergesagt werden, wenn man kennt? Nutzen von für alle : Wähle den Kandidaten mit dem größten Nutzen!

8 Preprocessing für k-Means Wir können k-Means anwenden, wenn wir neue (numerische) Attribute formen! Wir müssen die Anzahl der cluster vorgeben. Eigentlich haben wir die schon... für jede Eingabe : für jedes cluster g ein binäres Attribut (g 1, i (x 1 ))=1, falls i (x 1 ))= g 1 Einträge sind [-1,0[, falls i (x))= g j, sonst ]0,1] g1g1...gKgK x1x1 (g 1, i (x 1 ))-p(g 1 ) (g K, i (x 1 ))-p(g K )... xNxN (g 1, i (x N ))- p(g 1 ) (g K, i (x N ))-p(g K ) i

9 Fragen Kann aus mehreren sehr schwachen clusterings per Konsensusfunktion ein sehr gutes clustering gemacht werden? –Einfachste Eingabe-clusterings – wieviele? –Konsensusfunktionen – wann ist welche besser? Ko-Assoziation Nutzen Fehlermaß bei klassifizierten Daten: wieviele falsch eingeordnet? Iris, 3 Klassen, 150 Beobachtungen 2 Spiralen, 2 Klassen, 200 Beobachtungen 2 Halbringe, 2 Klassen, 400 Beobachtungen (ungleich verteilt) Galaxie, 2 Klassen, 4190 Beobachtungen

10 Experimente Ko-Assoziation Einfachste Eingabe- clusterings: –Projektion der Beobachtungen auf 1 Dimension, zufällig ausgewählt –k-Means auf den projizierten Daten (schnell) Konsensusfunktion Ko-Assoziation mit –single-link, i.e. min{dist(a,b)}, a in c 1, b in c 2 bester Alg. bei Spiralen, Halbringen, schlecht bei Iris –complete link, i.e. max{dist(a,b)} gut bei Iris, schlecht ansonsten –average link, i.e. avg(dist(a,b)) gut bei Iris, schlecht ansonsten Bei Anzahl der Eingabe-clusterings >50 sind die Ergebnisse besser als bestes einmal clustern der Originaldaten: –z.B. Halbringe bestStandard 5,25%Fehler, EnsembleClustering 0 Fehler Daten Projektions- linie

11 Experimente Nutzen Einfachste Eingabe- clusterings: –Projektion der Beobachtungen auf 1 Dimension, zufällig ausgewählt –k-Means auf den projizierten Daten (schnell) Konsensusfunktion Nutzen –k-Means –bester Alg. bei Galaxie Günstig bei –vielen Beobachtungen (etwa N > 150 ) –wenigen Eingabe-clusterings (etwa H < 50) Laufzeit in O(kNH) Daten Projektions- linie

12 Was wissen Sie jetzt? Cluster Ensembles formen aus mehreren Eingabe-clusterings ein neues clustering. Der Ansatz von Topchy et al zeigt, dass –Ensembles von vielen, sehr einfachen clusterings besser sein können als ein anspruchsvolles clustering. –Konsensusfunktionen wiederum cluster-Algorithmen sind, wenn man die Eingabe-clusterings zu Merkmalen macht. Sie wissen, wie man aus Eingabe-clusterings –Ko-Assoziationsmatrix oder –Matritzen mit binären Merkmalen macht (s. B. Mirkin 2001 Reinterpreting the Category Utility Function, in: Machine Learning Journal S. 219 – 228)

13 Ansatz von Strehl, Ghosh,... Informationstheoretische Konsensusfunktion –Wechselseitige Information zweier clusterings normalized mutual information –Der beste Konsens hat am meisten gemeinsam mit den meisten Eingabe-clusterings: –Alle möglichen clusterings aufzählen und testen? Zu aufwändig!

14 Hypergraph als Repräsentation Ein clustering ist ein Vektor. Jedes cluster von jedem clustering wird nun zu einer Hyperkante, die clusterings sind die Hyperknoten g11g11 g12g12 g13g13 g21g21 g22g22 g23g23 g31g31 g32g32 g33g33 x1x x2x x3x x4x x5x x6x x7x HG

15 Subspace Clustering Jedes clustering verwendet verschiedene Merkmale. Ensemble Clustering wird nun verwendet, um diese zusammenzuführen. DatenDimensionalität Subspace Anzahl clusterings Qualität Ensemble NMI( ) Beste NMI in einem Subspace 2D2K130, D5K250,989130,76615 Pendig4100,590090,53197 Yahoo128200,381670,21403

16 Distributed Clustering Eingabe-clusterings stammen von verschiedenen Quellen. –Horizontale Aufteilung: alle Quellen verwenden die selben Attribute, z.B. Filialen einer Firma. –Vertikale Aufteilung: die Quellen verwenden unterschiedliche Attribute, z.B. private Benutzer in einem peer-to-peer Forum zu Austausch von Filmen. Man kann Ensemble clustering direkt anwenden.

17 Erstellen der Ähnlichkeitsmatrix N X N mit Ähnlichkeitseinträgen ist auf der H für r Eingabe-clusterings jetzt leicht als Matritzenmultiplikation durchführbar: Beliebigen cluster-algorithmus anwenden. Strehl, Ghosh 2002 haben zwei weitere spezielle Algorithmen für clustering von Hypergraphen entwickelt.

18 Distributed Clustering Verschiedene Quellen liefern Eingabe-Clusterings. –Horizontale Aufteilung: alle Quellen verwenden die selben Attribute, aber andere Beobachtungen, z.B. Filialen einer Firma. –Vertikale Aufteilung: jede Quelle verwendet andere Attribute, z.B. Benutzer in einem peer-to-peer Netz über Filme. Wir können direkt Ensemble Clustering verwenden. Aber: –Aufwändig, alle Beobachtungen zusammen zu führen! –Datenschutz (privacy)!

19 Datenschutz Es sollen nicht (alle) Daten bekannt gemacht werden, sondern nur die Verteilung in den Daten. Die Daten werden also durch lokale Modelle generalisiert. Das globale Modell wird aus diesen Modellen, nicht aus den ursprünglichen Daten gebildet. Nach den lokalen Verteilungen werden künstlich Beispiele erzeugt. Globales Modell = Mischung von Gauss-Modellen!

20 Distributed Model-Based Clustering Gegeben: –{X i }, i=1,...,n Datenquellen –{ i }, i=1,...,n unterliegende (lokale) Modelle –{v i }, i=1,...,n nicht-negative Gewichtung der Modelle Finde das optimale globale Modell argmin Q( ), wobei Q ein Fehlermaß (z.B. KL) und aus einer Familie von Modellen ist.

21 Durchschnittsmodell finden Das DMC-Problem ist äquivalent zu dem, ein Modell zu finden, das nahe am Durchschnitt der lokalen Modelle bezüglich der KL-Divergenz ist. –KL-Divergenz: –Durchschnitt aller lokalen Modelle so dass Finde das Modell, das dem Durchschnitt der lokalen Modelle bzgl. KL-Divergenz am nächsten ist!

22 Approximierender Algorithmus für DMC Input: { i }, i=1,...,n mit {v i }, i=1,...,n Familie F: Gaussian Mixture Models Output: 1. Erzeuge ein Durchschnittmodell, so dass 2. Ziehe daraus eine Stichprobe X 3. Wende EM an, um a zu erhalten mit

23 Mixture Models Gewichtete Linearkombination von K einzelnen Verteilungen (Dichten) mit Parametern. k : Die Wahrscheinlichkeit, dass eine zufällig gezogene Beobachtung aus der k-ten Verteilung kommt.

24 Hintergrund zur Erinnerung: –Mixture Models –log likelihood schätzen für Mixture Models –EM

25 log-likelihood für Mixture Models Wahrscheinlichkeit für Daten D gegeben Parameter, wobei wir die Werte H eines Attributs für die Beobachtungen nicht kennen. Wenn wir immerhin die Verteilung Q(H) kennen:

26 Iteratives Vorgehen likelihood( ) bei unbekannten Werten H schwer zu finden! BL(Q, ) ist untere Schranke von likelihood( ). Abwechselnd: –Maximieren von BL(Q, ) bei festen Parametern Q k+1 =argmax BL(Q k, k ) –Maximieren BL(Q, ) bei fester Verteilung Q=p(H) k+1 =argmax BL(Q k, k ) Das macht EM-Vorgehen. Q

27 EM-Vorgehen Estimation: –Schätze Wahrscheinlichkeit, dass eine Beobachtung zu einem cluster gehört –Speichere Matrix: Beobachtungen X cluster Maximization –Passe clustering den Wahrscheinlichkeiten an. –Bis es keine Verbesserung mehr ergibt: gehe zu E-Schritt. Dempster, Laird, Rubin (1977)

28 Approximierender Algorithmus für DMC Input: { i }, i=1,...,n mit {v i }, i=1,...,n Familie F: Gaussian Mixture Models Output: 1. Erzeuge ein Durchschnittmodell, so dass 2. Ziehe daraus eine Stichprobe X 3. Wende EM an, um a zu erhalten mit

29 Privacy Ein feines Gauss-Modell mit wenig Varianz, womöglich zentriert an jedem Datenpunkt, gibt dann doch genau die Daten wieder. Auch wenn nur das Modell weitergegeben wird – keine Anonymität! Ein grobes Modell mit nur einem Gauss-Kegel und hoher Varianz hat hohe Anonymität niedrige Wahrscheinlichkeit, die Daten aus dem Modell zu generieren. Immerhin wird das globale Modell auch aus mittel- feinen lokalen Gauss-Modellen noch ordentlich...

30 Was wissen Sie jetzt? Sie kennen das Kriterium der wechselseitigen Information. Das kann man zur Konsensusfunktion machen. Sie kennen die Hypergraph-Repräsentation der Eingabe- clusterings. Ensemble clustering ist eine Art, clusterings mit unterschiedlichen Attributen zusammen zu führen. Es gibt noch andere Subspace clustering Algorithmen! Ensemble clustering ist eine Art, verteilte Datenbestände zu clustern. Es gibt noch andere! Wenn man nicht die Daten austauscht, sondern Modelle der Daten, schützt man die Daten und wahrt Anonymität.


Herunterladen ppt "Cluster Ensembles Subspace Clustering Distributed Clustering Alexander Topchy, Anil K. Jain, William Punch 2003 Combining Multiple Weak Clusterings ICDM-2003."

Ähnliche Präsentationen


Google-Anzeigen