c-means clustering (FCM)

Präsentation zum Thema: "c-means clustering (FCM)"—  Präsentation transkript:

1 c-means clustering (FCM)
Seminar “Ausgewählte Kapitel des Softcomputing” Armin Schirasi 9. Januar 2008

2 Agenda Einleitung Fuzzy-Clusteranalyse Fazit Ziel einer Clusteranalyse
Beispiel Clusterbildung Fuzzy-Clusteranalyse Allgemeine Informationen & Eigenschaften Mathematische Grundlagen Fuzzy Menge (auch Fuzzy Set genannt) Fuzzy Analyse-Raum Probabilistischer Ansatz zur Klasseneinteilung Der „Fuzzy-c-means“-Algorithmus (FCM) Interaktive Demo zum FCM Probleme & weiterer Ansatz Fazit

3 Ziel einer Clusteranalyse
1. Einleitung Ziel einer Clusteranalyse Gegebene Menge von Datenobjekten in Cluster (Teilmengen, Gruppen oder Klassen) einteilen Einteilung besitzt die folgenden Eigenschaften: Homogenität innerhalb der Cluster Heterogenität zwischen den Clustern Objekte innerhalb der Cluster sollen sich möglichst ähnlich sein, Cluster sollen untereinander möglichst verschieden sein.

4 Große Menschen wiegen mehr
Beispiel Große Menschen wiegen mehr Man soll aus dem Datensatz in zwei Cluster gruppieren.

5 Weiteres Beispiel Datensatz im zweidimensionalen Raum in zwei Cluster aufteilen

6 Weiteres Beispiel

7 Schmetterlingsproblem
Weiteres Beispiel Schmetterlingsproblem Entscheidungsproblem über die eindeutige Zuordnung des mittleren Elements.

8 2. Fuzzy-Clusteranalyse
Grundlage wurde 1965 durch Lotfi Asker Zadeh geschaffen durch die Einführung der Fuzzy-Menge Beim Fuzzy-Clustering im Gegensatz zum harten Clustering keine Beschränkung auf eine eindeutige Zuordnung von Daten zu Clustern Einzelne Daten können beliebig vielen Clustern angehören Zugehörigkeitsgrade der Daten zu den Clustern werden durch den Fuzzy-Clustering-Algorithmus berechnet Einsatzort: z.B. Bildanalyse Bildanalyse: Grau zum Beispiel besteht aus den Farben Schwarz und Weiss

9 Klassische Mengentheorie
Eine Teilmenge A eines Universums Ω kann beispielsweise durch eine direkte Angabe von Elementen definiert werden Darstellungsform bei Mengen mit unendlich vielen Elementen mit Hilfe eines Prädikats: Element x ist in A enthalten, wenn die Bedingung b erfüllt ist:  Scharfe Mengeneinteilung

10 Fuzzy-Menge Fuzzy-Logik:
Anstellte des Prädikats eine Abbildung der Form:  Abbildung auf das Intervall von 0 bis 1 Ergebnis einer solchen Funktion gibt den Zugehörigkeitsgrad eines Elementes zu einer Menge an Unscharfe Mengeneinteilung (Fuzzy-Menge bzw. Fuzzy-Set)

11 Fuzzy-Analyseraum Gegeben: Analyseraum A(D, E) mit Datenmenge D und Ergebnismenge E Clustermenge K Dann: Afuzzy(D, E) := A (D, {F(K) | K aus E}) Afuzzy ist der Fuzzy-Analyseraum zu A(D, E) Analyseergebnisse sind dann von der Form: Die Idee der unscharfen Einteilung entspricht dabei eher der menschlichen Art, Dinge wahrzunehmen

12 Beispiel: Temperatur Hohe Zimmertemperaturen = {Temperatur|Temperatur > 25°C} Der klassischen Betrachtungsweise des Prädikats würde kein Mensch zustimmen Besser: „>“ als Funktion statt Prädikat, z.B. 1,0 bei 25°C und 0,9 bei 24,9°C 25° sind 100% 25°, 24,9° sind immer noch zu 90% 25°C.

13 Probabilistische Clustereinteilung
Gegeben: Fuzzy-Analyseraum Afuzzy(D, E). Dann heißt eine Abbildung probabilistische Clustereinteilung, wenn gilt:  Interpretation der Mitgliedschaften der Daten in den Clustern als Wahrscheinlichkeiten oder Aufteilungsgrade Gleichung sagt, dass alle Daten das gleiche Gewicht haben Gleichung sagt, dass jedem Cluster Daten zuzuordnen sind (keine leeren Cluster)

14 Probabilistische Clustereinteilung
Ziel- bzw. Bewertungsfunktion b: d(x,k): Distanzfunktion f(x)(k): Zugehörigkeit des Datums x zum Cluster k : Fuzzifier (Gewichtungsexponent) Minimierung der Bewertungsfunktion ergibt neue Zugehörigkeit: Bewertungsfunktion (Zielfunktion als Verallgemeinerung der Methode der kleinsten Fehlerquadrate Wenn x einem Cluster zugeordnet werden muss, dann mit der WS f(x)(k) dem Cluster k Details (z.B. Rechenweg), wie man von der oberen b(f)-Gleichung zum Ergebis f(x)(k) kommt  Ausarbeitung

15 Probabilistische Clustereinteilung
Für einen endlichen Datensatz X = {x1, x2, …, xn} und eine endliche Menge von Clustern K = {k1, k2, …, kc} lässt sich das Analyseergebnis als c x n – Matrix U darstellen, wobei für die einzelnen Einträge ui,j der Matrix U gilt: ui,j := f(xj, ki) Der Algorithmus sucht ein Analyseergebnis f aus Afuzzy(D, E), welches die Bewertungsfunktion minimiert. Minimierung durch Iteration: In jedem Schritt werden nacheinander U und K aus E möglichst optimal aufeinander abgestimmt. Bewertungsfunktion als Verallgemeinerung der Methode der kleinsten Fehlerquadrate

16 Probabilistische Clustereinteilung
Algorithmus im Überblick Wähle die Anzahl c der Cluster 2 ≤ c < n Wähle ein mR>1 Wähle Abbruchgenauigkeit ε Initialisiere U0, i := 0 REPEAT i=i+1 Bestimme Ki so, daß b durch Ki und Ui-1 möglichst minimal wird Berechne Zugehörigkeitsmatrix Ui UNTIL ||Ui-1 - Ui || ≤ ε Zu 2: Das m darf aus der Menge der reelen Zahlen größer als 1 gewählt werden. Zu 5.2.: Die Clusterkonfiguration soll so gewählt werden, dass die Bewertungsfunktion ein Minimum annimmt Zu 6: Konfiguration unterscheiden sich minimal voneinander

17 Fuzzy c-means (FCM) Cluster werden durch ihren Schwerpunkt (Zentroid, Prototyp) repräsentiert, deswegen „means“ Clusterzahl wird nicht automatisch bestimmt, sondern muss vorgegeben werden, deswegen „c“ Distanzfunktion standardmäßig Euklidische Metrik:

18 Prototypen des FCM Die Bestimmung der Clusterprototypen geschieht nach einer verallgemeinerten Mittelwertbildung Wird b(f) bezüglich allen probabilistischen Clustereinteilungen x  F(K) mit K= {k1, k2, …, kc} aus E bei gegebenen Zugehörigkeiten f(xj, ki) = ui,j durch f: X  F(K) minimiert, so gilt für die neuen Prototypen:

19 Membership Funktion Beim FCM-Algorithmus wird ein Datenvektor xi über eine Membership-Funktion einem Cluster zugeordnet. Dafür wird eine Matrix U = [uij] verwendet, deren Elemente uij aus [0,1] die Zugehörigkeit eines Datenobjekts i zu einem Cluster j angeben. Beispiel: Datenwerte im ein-dimensionalem Raum. Die Datenwerte befinden sich auf einer Achse.

20 Membership Funktion Beim harten Clustering (z.B. K-Means):
Harte Trennlinie

21 Membership Funktion Bei Fuzzy-C-Means:
Keine harte Trennlinie, fließender Übergang

22 Der Fuzzifier „m“ Steuert, inwieweit sich die einzelnen Cluster überlappen Kann Werte von 1 bis unendlich besitzen Je mehr m  1, desto „härter“ die Zuordnung Je größer m, desto eher wird eine optimale Klassifikation zu Zugehörigkeitsgraden von c-1 tendieren. (c Anzahl der Cluster) In der Praxis liegt m zwischen 1 und 2,5 Regelwert m = 2, weil sich die Berechnungen dadurch vereinfachen

23 Interaktive Demo

24 Probleme des FCM Jedes Datum hat das gleiche Gewicht:
Zugehörigkeitsgrade sind somit schwer interpretierbar Zugehörigkeit von x1 und x2 zu ß1 und ß2 ist 0,5 x1 gehört eher zu den Clustern als x2 x2 eher ein Ausreißer (Stördatum)  sollte also keinem der beiden Cluster zugeordnet werden

25 Abhilfe: Possibilistische Clustereinteilung
Possibilistische Clustereinteilung: Jedem Datum wird ein Zugehörigkeits- oder Möglichkeitsgrad zugeordnet, inwieweit das Datum zum entsprechenden Cluster gehört. Mitgliedschaft eines Datums in einem Cluster hängt nur von der Distanz des Datums zum Prototyp ab b muss angepasst werden wegen der trivialen Lösung: f(x)(k) = 0 für f: X  F(K) und alle x aus X, k aus K

26 Vergleich FCM und P-FCM
FCM-Analyse (links) und P-FCM-Analyse (rechts) Rechnergesteuerte Routenplanung in Lagerhallen. Fahrzeuge werden mit Signallampen an den vier Fahrzeugecken ausgestattet. Kamera an der Hallendecke nimmt die gesamte Halle auf. Durch Bildbearb.software werden die Signale der Lampen herausgefiltert.

27 Fazit FCM zeichnet sich durch einfache Berechnungsvorschrift aus
Kurze Rechenzeit Praxis: Wenige Iterationsschritte liefern eine gute Näherung an die endgültige Lösung 5 FCM-Schritte eignen sich als Intialisierung für weitere Verfahren an, z.B. Possibilistischer FCM Gustafson-Kessel-Algorithmus … Laufzeit O(cdin) c Cluster, d Dimensionen, i Iterationen, n Datensätze Linear, da c, d und i von vorherein festgesetzt und um mehrere Größenordnungen kleiner als n sind