Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

WIRTSCHAFTSINFORMATIK Westfälische Wilhelms-Universität Münster WIRTSCHAFTS INFORMATIK c-means clustering (FCM) Seminar “Ausgewählte Kapitel des Softcomputing”

Ähnliche Präsentationen


Präsentation zum Thema: "WIRTSCHAFTSINFORMATIK Westfälische Wilhelms-Universität Münster WIRTSCHAFTS INFORMATIK c-means clustering (FCM) Seminar “Ausgewählte Kapitel des Softcomputing”"—  Präsentation transkript:

1 WIRTSCHAFTSINFORMATIK Westfälische Wilhelms-Universität Münster WIRTSCHAFTS INFORMATIK c-means clustering (FCM) Seminar “Ausgewählte Kapitel des Softcomputing” Armin Schirasi 9. Januar 2008

2 2 WIRTSCHAFTS INFORMATIKAgenda 1. Einleitung  Ziel einer Clusteranalyse  Beispiel Clusterbildung 2. Fuzzy-Clusteranalyse  Allgemeine Informationen & Eigenschaften  Mathematische Grundlagen  Fuzzy Menge (auch Fuzzy Set genannt)  Fuzzy Analyse-Raum  Probabilistischer Ansatz zur Klasseneinteilung  Der „Fuzzy-c-means“-Algorithmus (FCM)  Interaktive Demo zum FCM  Probleme & weiterer Ansatz 3. Fazit

3 3 WIRTSCHAFTS INFORMATIK 1. Einleitung Ziel einer Clusteranalyse  Gegebene Menge von Datenobjekten in Cluster (Teilmengen, Gruppen oder Klassen) einteilen  Einteilung besitzt die folgenden Eigenschaften: Homogenität innerhalb der Cluster Heterogenität zwischen den Clustern

4 4 WIRTSCHAFTS INFORMATIKBeispiel Große Menschen wiegen mehr

5 5 WIRTSCHAFTS INFORMATIK Weiteres Beispiel

6 6 WIRTSCHAFTS INFORMATIK Weiteres Beispiel

7 7 WIRTSCHAFTS INFORMATIK Weiteres Beispiel

8 8 WIRTSCHAFTS INFORMATIK 2. Fuzzy-Clusteranalyse  Grundlage wurde 1965 durch Lotfi Asker Zadeh geschaffen durch die Einführung der Fuzzy-Menge  Beim Fuzzy-Clustering im Gegensatz zum harten Clustering keine Beschränkung auf eine eindeutige Zuordnung von Daten zu Clustern  Einzelne Daten können beliebig vielen Clustern angehören  Zugehörigkeitsgrade der Daten zu den Clustern werden durch den Fuzzy-Clustering-Algorithmus berechnet  Einsatzort: z.B. Bildanalyse

9 9 WIRTSCHAFTS INFORMATIK Klassische Mengentheorie  Eine Teilmenge A eines Universums Ω kann beispielsweise durch eine direkte Angabe von Elementen definiert werden  Darstellungsform bei Mengen mit unendlich vielen Elementen mit Hilfe eines Prädikats:  Element x ist in A enthalten, wenn die Bedingung b erfüllt ist:  Scharfe Mengeneinteilung

10 10 WIRTSCHAFTS INFORMATIKFuzzy-Menge Fuzzy-Logik: - Anstellte des Prädikats eine Abbildung der Form:  Abbildung auf das Intervall von 0 bis 1 - Ergebnis einer solchen Funktion gibt den Zugehörigkeitsgrad eines Elementes zu einer Menge an  Unscharfe Mengeneinteilung (Fuzzy-Menge bzw. Fuzzy-Set)

11 11 WIRTSCHAFTS INFORMATIKFuzzy-Analyseraum  Gegeben: Analyseraum A(D, E) mit Datenmenge D und Ergebnismenge E  Clustermenge K  Dann: A fuzzy (D, E) := A (D, {F(K) | K aus E})  A fuzzy ist der Fuzzy-Analyseraum zu A(D, E)  Analyseergebnisse sind dann von der Form:  Die Idee der unscharfen Einteilung entspricht dabei eher der menschlichen Art, Dinge wahrzunehmen

12 12 WIRTSCHAFTS INFORMATIK Beispiel: Temperatur  Hohe Zimmertemperaturen = {Temperatur|Temperatur > 25°C}  Der klassischen Betrachtungsweise des Prädikats würde kein Mensch zustimmen  Besser: „>“ als Funktion statt Prädikat, z.B. 1,0 bei 25°C und 0,9 bei 24,9°C

13 13 WIRTSCHAFTS INFORMATIK Probabilistische Clustereinteilung Gegeben: Fuzzy-Analyseraum A fuzzy (D, E). Dann heißt eine Abbildung probabilistische Clustereinteilung, wenn gilt:  Interpretation der Mitgliedschaften der Daten in den Clustern als Wahrscheinlichkeiten oder Aufteilungsgrade

14 14 WIRTSCHAFTS INFORMATIK Probabilistische Clustereinteilung Ziel- bzw. Bewertungsfunktion b: d(x,k): Distanzfunktion f(x)(k): Zugehörigkeit des Datums x zum Cluster k : Fuzzifier (Gewichtungsexponent) Minimierung der Bewertungsfunktion ergibt neue Zugehörigkeit:

15 15 WIRTSCHAFTS INFORMATIK Probabilistische Clustereinteilung  Für einen endlichen Datensatz X = {x 1, x 2, …, x n } und eine endliche Menge von Clustern K = {k 1, k 2, …, k c } lässt sich das Analyseergebnis als c x n – Matrix U darstellen, wobei für die einzelnen Einträge u i,j der Matrix U gilt: u i,j := f(x j, k i )  Der Algorithmus sucht ein Analyseergebnis f aus A fuzzy (D, E), welches die Bewertungsfunktion minimiert.  Minimierung durch Iteration: In jedem Schritt werden nacheinander U und K aus E möglichst optimal aufeinander abgestimmt.

16 16 WIRTSCHAFTS INFORMATIK Probabilistische Clustereinteilung Algorithmus im Überblick 1. Wähle die Anzahl c der Cluster 2 ≤ c < n 2. Wähle ein m R>1 3. Wähle Abbruchgenauigkeit ε 4. Initialisiere U 0, i := 0 5. REPEAT 1. i=i+1 2. Bestimme K i so, daß b durch K i und U i-1 möglichst minimal wird 3. Berechne Zugehörigkeitsmatrix U i 6. UNTIL ||U i-1 - U i || ≤ ε

17 17 WIRTSCHAFTS INFORMATIK Fuzzy c-means (FCM)  Cluster werden durch ihren Schwerpunkt (Zentroid, Prototyp) repräsentiert, deswegen „means“  Clusterzahl wird nicht automatisch bestimmt, sondern muss vorgegeben werden, deswegen „c“  Distanzfunktion standardmäßig Euklidische Metrik:

18 18 WIRTSCHAFTS INFORMATIK Prototypen des FCM  Die Bestimmung der Clusterprototypen geschieht nach einer verallgemeinerten Mittelwertbildung  Wird b(f) bezüglich allen probabilistischen Clustereinteilungen x  F(K) mit K= {k 1, k 2, …, k c } aus E bei gegebenen Zugehörigkeiten f(x j, k i ) = u i,j durch f: X  F(K) minimiert, so gilt für die neuen Prototypen:

19 19 WIRTSCHAFTS INFORMATIK Membership Funktion  Beim FCM-Algorithmus wird ein Datenvektor x i über eine Membership-Funktion einem Cluster zugeordnet. Dafür wird eine Matrix U = [u ij ] verwendet, deren Elemente u ij aus [0,1] die Zugehörigkeit eines Datenobjekts i zu einem Cluster j angeben.  Beispiel: Datenwerte im ein-dimensionalem Raum. Die Datenwerte befinden sich auf einer Achse.

20 20 WIRTSCHAFTS INFORMATIK Membership Funktion  Beim harten Clustering (z.B. K-Means):

21 21 WIRTSCHAFTS INFORMATIK Membership Funktion  Bei Fuzzy-C-Means:

22 22 WIRTSCHAFTS INFORMATIK Der Fuzzifier „m“  Steuert, inwieweit sich die einzelnen Cluster überlappen  Kann Werte von 1 bis unendlich besitzen  Je mehr m  1, desto „härter“ die Zuordnung  Je größer m, desto eher wird eine optimale Klassifikation zu Zugehörigkeitsgraden von c -1 tendieren. (c Anzahl der Cluster)  In der Praxis liegt m zwischen 1 und 2,5 ­ Regelwert m = 2, weil sich die Berechnungen dadurch vereinfachen

23 23 WIRTSCHAFTS INFORMATIK Interaktive Demo

24 24 WIRTSCHAFTS INFORMATIK Probleme des FCM  Jedes Datum hat das gleiche Gewicht:  Zugehörigkeitsgrade sind somit schwer interpretierbar - Zugehörigkeit von x 1 und x 2 zu ß 1 und ß 2 ist 0,5 - x 1 gehört eher zu den Clustern als x 2 - x 2 eher ein Ausreißer (Stördatum)  sollte also keinem der beiden Cluster zugeordnet werden

25 25 WIRTSCHAFTS INFORMATIK Abhilfe: Possibilistische Clustereinteilung  Possibilistische Clustereinteilung: Jedem Datum wird ein Zugehörigkeits- oder Möglichkeitsgrad zugeordnet, inwieweit das Datum zum entsprechenden Cluster gehört.  Mitgliedschaft eines Datums in einem Cluster hängt nur von der Distanz des Datums zum Prototyp ab  b muss angepasst werden wegen der trivialen Lösung: f(x)(k) = 0 für f: X  F(K) und alle x aus X, k aus K

26 26 WIRTSCHAFTS INFORMATIK Vergleich FCM und P-FCM FCM-Analyse (links) und P-FCM-Analyse (rechts)

27 27 WIRTSCHAFTS INFORMATIKFazit  FCM zeichnet sich durch einfache Berechnungsvorschrift aus  Kurze Rechenzeit ­ Praxis: Wenige Iterationsschritte liefern eine gute Näherung an die endgültige Lösung  5 FCM-Schritte eignen sich als Intialisierung für weitere Verfahren an, z.B. ­ Possibilistischer FCM ­ Gustafson-Kessel-Algorithmus ­…­…  Laufzeit O(cdin) ­ c Cluster, d Dimensionen, i Iterationen, n Datensätze ­ Linear, da c, d und i von vorherein festgesetzt und um mehrere Größenordnungen kleiner als n sind


Herunterladen ppt "WIRTSCHAFTSINFORMATIK Westfälische Wilhelms-Universität Münster WIRTSCHAFTS INFORMATIK c-means clustering (FCM) Seminar “Ausgewählte Kapitel des Softcomputing”"

Ähnliche Präsentationen


Google-Anzeigen