Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Techniken des Maschinellen Lernens für Data Mining Ian Witten, Eibe Frank (übersetzt von Norbert Fuhr)

Ähnliche Präsentationen


Präsentation zum Thema: "Techniken des Maschinellen Lernens für Data Mining Ian Witten, Eibe Frank (übersetzt von Norbert Fuhr)"—  Präsentation transkript:

1 Techniken des Maschinellen Lernens für Data Mining Ian Witten, Eibe Frank (übersetzt von Norbert Fuhr)

2 2 Problemstellungen Data vs. Information Data Mining und Maschinelles Lernen Strukturelle Beschreibungen Regeln: Klassifikation und Assoziation Entscheidungsbäume Datensätze Wetter, Kontaktlinsen, CPU-Performance, Tarifverhandlungen, Klassifikation von Sojabohnen Feldstudien Kreditanträge, Bildanalyse, Lastvorhersage, Diagnose von Maschinenfehlern, Warenkorbanalyse Generalisierung als Suche Data Mining und Ethik 1

3 3 Daten vs. Information Unsere Gesellschaft produziert riesige Datenmengen Quellen: Naturwissenschaften, Medizin, Wirtschaft, Geografie, Umwelt, Sport, … Potenziell wertvolle Ressourcen Rohdaten sind nutzlos: Techniken zur automatischen Extraktion von Information benötigt: Daten: aufgezeichnete Fakten Information: den Daten zugrundeliegende Muster 1

4 4 Information ist entscheidend Beispiel 1: künstliche Befruchtung Gegeben: Embryonen, beschrieben durch 60 Merkmale Problem: Auswahl der Embryonen, die überleben werden Daten: gesammelte Fakten über bisherig Embryonen und deren Schicksal Beispiel 2: Haltung von Milchkühen Gegeben: Kühe, beschrieben durch 700 Merkmale Probleme: Auswahl der Kühe, die geschlachtet werden sollten Daten: Aufzeichnungen über Kühe in den zurückliegenden Jahren und die Entscheidungen der Bauern

5 5 Data Mining Extraktion von impliziter, bislang unbekannter, potenziell nützlicher Information aus Daten Gesucht: Programme, die Muster und Regularitäten in den Daten entdecken Ausgeprägte Muster können für Vorhersagen genutzt werden: Problem 1: Die meisten Muster sind uninteressant Problem 2: Muster können unscharf sein (oder extrem fragwürdig), falls die Daten unvollständig oder fehlerhaft sind

6 6 Techniken des Maschinellen Lernens Technische Basis für Data Mining: Algorithmen zum Lernen von strukturellen Beschreibungen aus Beispielen Strukturelle Beschreibungen repräsentieren implizit Muster: Nutzung zur Vorhersage in neuen Situationen Nutzung, um die Vorhersage zu verstehen und zur Erklärung des Zustandekommens der Vorhersage (evtl. sogar wichtiger) Methoden stammen aus der künstlichen Intelligenz, Statistik und der Datenbank- forschung

7 7 Strukturelle Beschreibungen Beispiel: Wenn-Dann-Regeln AgeSpectacle prescription AstigmatismTear production rate Recommended lenses YoungMyopeNoReducedNone YoungHypermetropeNoNormalSoft Pre-presbyopicHypermetropeNoReducedNone PresbyopicMyopeYesNormalHard …………… If tear production rate = reduced then recommendation = none Otherwise, if age = young and astigmatic = no then recommendation = soft

8 8 Können Maschinen lernen? Lexikon-Definition von Lernen: Wissen sammeln durch Studium, Erfahrung, oder durch einen Lehrer Bewusst werden durch Informieren oder durch Beobachtung Im Gedächtnis abspeichern Informiert werden, sich vergewissern, Anleitung erhalten Schwierig zu messen Trivial für Computer Wesen lernen, wenn sie ihr Verhalten in einer Weise so ändern, dass sie in Zukunft erfolgreicher agieren Operationale Definition: Lernt ein Schuh? Muss Lernen bewusst erfolgen?

9 9 Das Wetterproblem Bedingungen, um ein unspezifiziertes Spiel zu spielen: OutlookTemperatureHumidityWindyPlay SunnyHotHighFalseNo SunnyHotHighTrueNo OvercastHotHighFalseYes RainyMildNormalFalseYes …………… If outlook = sunny and humidity = high then play = no If outlook = rainy and windy = true then play = no If outlook = overcast then play = yes If humidity = normal then play = yes If none of the above then play = yes

10 10 Ross Quinlan Machine learning researcher from 1970s University of Sydney, Australia 1986 Induction of decision trees ML Journal 1993 C4.5: Programs for machine learning. Morgan Kaufmann 199? Started

11 11 Klassifikations- vs. Assoziationsregeln Klassifikationsregeln: Vorhersage des Wertes einer spezifischen Attributs (die Klassifikation des Beispiels) Assoziationsregeln: Vorhersage des Wertes eines beliebigen Attributs, oder einer Attributkombination If outlook = sunny and humidity = high then play = no If temperature = cool then humidity = normal If humidity = normal and windy = false then play = yes If outlook = sunny and play = no then humidity = high If windy = false and play = no then outlook = sunny and humidity = high

12 12 Wetterdaten mit gemischten Attributen Zwei Attribute mit numerischen Werten OutlookTemperatureHumidityWindyPlay Sunny85 FalseNo Sunny8090TrueNo Overcast8386FalseYes Rainy7580FalseYes …………… If outlook = sunny and humidity > 83 then play = no If outlook = rainy and windy = true then play = no If outlook = overcast then play = yes If humidity < 85 then play = yes If none of the above then play = yes

13 13 Die Kontaktlinsen-Daten AgeSpectacle prescription AstigmatismTear production rate Recommended lenses YoungMyopeNoReducedNone YoungMyopeNoNormalSoft YoungMyopeYesReducedNone YoungMyopeYesNormalHard YoungHypermetropeNoReducedNone YoungHypermetropeNoNormalSoft YoungHypermetropeYesReducedNone YoungHypermetropeYesNormalhard Pre-presbyopicMyopeNoReducedNone Pre-presbyopicMyopeNoNormalSoft Pre-presbyopicMyopeYesReducedNone Pre-presbyopicMyopeYesNormalHard Pre-presbyopicHypermetropeNoReducedNone Pre-presbyopicHypermetropeNoNormalSoft Pre-presbyopicHypermetropeYesReducedNone Pre-presbyopicHypermetropeYesNormalNone PresbyopicMyopeNoReducedNone PresbyopicMyopeNoNormalNone PresbyopicMyopeYesReducedNone PresbyopicMyopeYesNormalHard PresbyopicHypermetropeNoReducedNone PresbyopicHypermetropeNoNormalSoft PresbyopicHypermetropeYesReducedNone PresbyopicHypermetropeYesNormalNone

14 14 Eine vollständige und korrekte Regelmenge If tear production rate = reduced then recommendation = none If age = young and astigmatic = no and tear production rate = normal then recommendation = soft If age = pre-presbyopic and astigmatic = no and tear production rate = normal then recommendation = soft If age = presbyopic and spectacle prescription = myope and astigmatic = no then recommendation = none If spectacle prescription = hypermetrope and astigmatic = no and tear production rate = normal then recommendation = soft If spectacle prescription = myope and astigmatic = yes and tear production rate = normal then recommendation = hard If age young and astigmatic = yes and tear production rate = normal then recommendation = hard If age = pre-presbyopic and spectacle prescription = hypermetrope and astigmatic = yes then recommendation = none If age = presbyopic and spectacle prescription = hypermetrope and astigmatic = yes then recommendation = none

15 15 Ein Entscheidungsbaum für dasselbe Problem

16 16 Klassifikation von Irisblumen Sepal lengthSepal widthPetal lengthPetal widthType Iris setosa Iris setosa … Iris versicolor Iris versicolor … Iris virginica Iris virginica … If petal length < 2.45 then Iris setosa If sepal width < 2.10 then Iris versicolor...

17 17 Beispiele: 209 verschiedene Computer-Konfigurationen Lineare Regressionsfunktion Vorhersage der CPU- Performanz Cycle time (ns) Main memory (Kb) Cache (Kb) ChannelsPerformance MYCTMMINMMAXCACHCHMINCHMAXPRP … PRP = MYCT MMIN MMAX CACH CHMIN CHMAX

18 18 Daten aus Tarifverhandlungen AttributeType123…40 Duration(Number of years)1232 Wage increase first yearPercentage2%4%4.3%4.5 Wage increase second yearPercentage?5%4.4%4.0 Wage increase third yearPercentage???? Cost of living adjustment{none,tcf,tc}nonetcf?none Working hours per week(Number of hours) Pension{none,ret-allw, empl-cntr}none??? Standby payPercentage?13%?? Shift-work supplementPercentage?5%4%4 Education allowance{yes,no}yes??? Statutory holidays(Number of days) Vacation{below-avg,avg,gen}avggen avg Long-term disability assistance{yes,no}no??yes Dental plan contribution{none,half,full}none?full Bereavement assistance{yes,no}no??yes Health plan contribution{none,half,full}none?fullhalf Acceptability of contract{good,bad}badgood

19 19 Entscheidungs- bäume für die Tarifdaten

20 20 Klassifikation von Sojabohnen AttributeNumber of values Sample value EnvironmentTime of occurrence7July Precipitation3Above normal … SeedCondition2Normal Mold growth2Absent … FruitCondition of fruit pods 4Normal Fruit spots5? LeavesCondition2Abnormal Leaf spot size3? … StemCondition2Abnormal Stem lodging2Yes … RootsCondition3Normal Diagnosis19Diaporthe stem canker

21 21 Die Rolle von Domänenwissen If leaf condition is normal and stem condition is abnormal and stem cankers is below soil line and canker lesion color is brown then diagnosis is rhizoctonia root rot If leaf malformation is absent and stem condition is abnormal and stem cankers is below soil line and canker lesion color is brown then diagnosis is rhizoctonia root rot Aber (bei dieser Anwendung): leaf condition is normal impliziert leaf malformation is absent!

22 22 Feld-Anwendungen Das Lernergebnis oder die Lernmethode selbst wird in praktischen Anwendungen eingesetzt Reduzierung der Verzögerungen beim Rotationsdruck Formgebung von Flugzeugteilen Automatische Klassifikation von Flugobjekten Automatische Vervollständigung von sich wiederholenden Formularen Text-Retrieval …

23 23 Entscheidung von Kreditanträgen Gegeben: Fragebogen mit Angaben zur Person und deren finanzielle Situation Problem: soll der Kredit gewährt werden? Einfache statistische Methode deckt 90% aller Fälle ab Aber: 50% aller Grenzfälle führen zu Kreditausfällen Lösung(?): alle Grenzfälle zurückweisen Nein! Grenzfälle gehören zu den umsatzstärksten Kunden

24 24 Anwendung von maschinellem Lernen 1000 Trainingsbeispiele für Grenzfälle 20 Attribute: Alter, Beschäftigungsdauer beim aktuellen Arbeitgeber, Wohndauer an der gegenwärtigen Adresse, Dauer der Kundenbeziehung zur Bank, andere gewährte Kredite, … Gelernte Regelmenge sagt 2/3 der Grenzfälle korrekt voraus! Außerdem: Firma mag die Regeln, da sie benutzt werden können, um den Kunden gegenüber die Kreditentscheidung zu erläutern

25 25 Analyse von Luftbildern Gegeben: Satellitenbilder von Küstengewässern Problem: Auffinden von Ölflecken in diesen Bildern Ölflecken erscheinen als dunkle Regionen unterschiedlicher Größe und Gestalt Schwierigkeit: ähnliche dunkle Flecken können durch bestimmte Wetterbedingungen verursacht werden (z.B. starke Winde) Aufwändige Analyse, erfordert lange geschultes Personal

26 26 Anwendung von maschinellem Lernen Dunkle Regionen werden aus normalisierten Bildern extrahiert Attribute: Größe der Region, Gestalt, Fläche, Intensität, Schärfe und Zackung der Grenzen, Nähe zu anderen Regionen, Informationen über den Hintergrund Randbedingungen: Wenige Trainingsbeispiele (Ölflecken treten selten auf) Unbalancierte Daten: die meisten dunklen Regionen sind keine Ölflecken Regionen aus einem Bild werden gemeinsam prozessiert Anforderung: einstellbare Quote für Fehlalarme

27 27 Last-Vorhersage Elektrizitätswerke benötigen Vorhersagen über den zukünftigen Energiebedarf zu bestimmten Zeitpunkten Präzise Vorhersagen über die minimale und die maximale Last innerhalb jeder Stunde führen zu beachtlichen Einsparungen Gegeben: manuell konstruiertes statisches Modell, das normale Wetterbedingungen voraussetzt Problem: Anpassung an konkrete Wetterbedingungen Parameter des statischen Modells: Grundlast im laufenden Jahr, Jahreszeitliche Lastschwankungen, Einfluss von Feiertagen

28 28 Anwendung von maschinellem Lernen verbesserte Vorhersage durch Suche nach den ähnlichsten Tagen Attribute: Temperatur, Luftfeuchtigkeit, Windgeschwindigkeit, Bewölkungsgrad, zusätzlich Differenz zwischen tatsächlicher und vorhergesagter Last Zum statischen Modell wird mittlere Differenz der drei ähnlichsten Tage addiert Koeffizienten der linearen Regressions- funktion stellen Attributgewichtungen in der Ähnlichkeitsfunktion dar

29 29 Diagnose von Maschinenausfällen Diagnose: klassisches Anwendungsgebiet der Expertensysteme Gegeben: Fourier-Analyse von Vibrationen an verschiedenen Stellen des Gehäuses Problem: Welcher Fehler liegt vor? Vorbeugende Wartung der elektromechanischen Motoren und Generatoren Daten sind stark verrauscht Bisher: Diagnose durch Experten/manuell erstellte Regeln

30 30 Anwendung von maschinellem Lernen Ausgangsdaten: 600 Fehler mit Expertendiagnosen ~300 ungeeignet, restliche Fälle als Trainingsmenge genutzt Attribute angereichert um höhere Konzepte, die kausales Domänenwissen repräsentieren Experte unzufrieden mit den initialen Regeln, da sie sich nicht auf sein Anwendungswissen bezogen Weiteres Hintergrundwissen führte zu komplexeren Regeln, die zufriedenstellend waren Gelernte Regeln besser als die manuell erstellten

31 31 Marketing und Verkauf I Firmen sammeln große Mengen an Verkaufs- und Marketingdaten Mögliche Anwendungen: Kundentreue: Identifikation von Kunden, die potenziell bald abspringen, durch Erkennen von Änderungen in deren Verhalten (z.B. Banken, Telefongesellschaften) Spezielle Angebote: Identifikation von profitablen Kunden (z.B. zuverlässige Kunden von Kreditkartenunternehmen, die ein höheres Limit in der Urlaubszeit benötigen)

32 32 Marketing und Verkauf II Warenkorb-Analyse Assoziationstechniken, um Gruppen von Waren zu finden, die häufig zusammen gekauft werden Analyse von Einkaufsmustern in der Vergangenheit Identifikation von guten Kunden Fokussierung von Werbesendungen (gezielte Kampagnen sind billiger als Massen- Werbesendungen)

33 33 Maschinelles Lernen und Statistik Historische Unterschiede (vereinfacht): Statistik: Hypothesen-Tests Maschinelles Lernen: Suche nach den richtigen Hypothesen Aber: große Überlappungen Entscheidungsbäume (C4.5 und CART) Nächster-Nachbar-Methoden Heute: ähnliche Ziele Die meisten ML-Algorithmen benutzen statistische Techniken

34 34 Statisticians Sir Ronald Aylmer Fisher Born: 17 Feb 1890 London, England Died: 29 July 1962 Adelaide, Australia Numerous distinguished contributions to developing the theory and application of statistics for making quantitative a vast field of biology Leo Breiman Developed decision trees 1984 Classification and Regression Trees. Wadsworth.

35 35 Generalisierung als Suche Induktives Lernen: Suche nach einer Konzeptbeschreibung, die zu den Daten passt Beispiel: Regelmenge als Beschreibungssprache Riesiger, aber endlicher Suchraum Einfache Lösung: Aufzählen der Elemente des Konzeptraums Eliminieren aller Beschreibungen, die nicht zu den Beispielen passen Verbleibende Beschreibung stellt das gesuchte Konzept dar

36 36 Aufzählen der Elemente des Konzeptraums Suchraum für das Wetterproblem: 4 x 4 x 3 x 3 x 2 = 288 mögliche Regeln Beschränkung auf maximal 14 Regeln in der Beschreibung 2.7x10 34 mögliche Regelmengen Möglicher Ausweg: Algorithmus zur Eliminierung von Kandidaten Weitere praktische Probleme: Mehr als eine Beschreibung kann übrig bleiben Keine Beschreibung bleibt übrig Beschreibungssprache ist ungeeignet, um das Zielkonzept zu beschreiben Daten können verrauscht sein

37 37 Der Versionsraum Raum von konsistenten Konzeptbeschreibungen Komplett bestimmt durch 2 Mengen: L: spezifischste Beschreibungen, die alle positiven und keine negativen Beispiele abdecken G: generellste Beschreibungen, die keine negativen und alle positiven Beispiele abdecken Nur L und G müssen verwaltet und aktualisiert werden Aber: immer noch hoher Berechnungsaufwand Und: löst die anderen praktischen Problem nicht

38 38 Versionsraum: Beispiel Gegeben: Rote oder grüne Kühe oder Hühner L={}G={ } : positive L={ }G={ } : negative L={ }G={, } : positive L={ }G={ }

39 39 Algorithmus zur Kandidaten-Eliminierung Initialize L and G For each example e: If e is positive: Delete all elements from G that do not cover e For each element r in L that does not cover e: Replace r by all of its most specific generalizations that1. cover e and 2. are more specific than some element in G Remove elements from L that are more general than some other element in L If e is negative: Delete all elements from L that cover e For each element r in G that covers e: Replace r by all of its most general specializations that1. do not cover e and 2. are more general than some element in L Remove elements from G that are more specific than some other element in G

40 40 Bias (systematische Fehler) Die wichtigsten Entscheidungen in Lernsystemen: Konzept-Beschreibungssprache Reihenfolge, in der der Raum durchsucht wird Vermeidung der Überadaption an die Trainingsdaten Diese Eigenschaften bestimmen den Bias der Suche Beschreibungssprachen-Bias Such-Bias Überadaptions-Vermeidungs-Bias

41 41 Beschreibungssprachen- Bias Wichtigste Frage: Ist die Sprache universell oder beschränkt sie das zu Lernende? Universelle Sprache kann beliebige Teilmengen der Beispiele beschreiben Wenn die Sprache die Oder-Verknüpfung von Aussagen zulässt, ist sie universell Domänenwissen kann benutzt werden, um einige Konzeptbeschreibungen von vornherein von der Suche auszuschließen

42 42 Such-Bias Such-Heuristik Greedy-Suche: wähle jeweils den besten Einzelschritt aus Beam-Suche: Behalte mehrere Alternativen im Auge … Richtung der Suche Vom Allgemeinen zum Speziellen Z.B. Spezialisieren einer Regel durch Hinzufügen von Bedingungen Vom Speziellen zum Allgemeinen Z.B. Generalisierung einer einzelnen Instanz zu einer Regel

43 43 Überadaptions- Vermeidungs-Bias Kann als Teil des Such-Bias gesehen werden Modifiziertes Bewertungskriterium Z.B. Balance zwischen Einfachheit und Fehleranzahl Modifizierte Suchstrategie Z.B. Pruning (Vereinfachen einer Beschreibung) Pre-Pruning: Stoppt bei einer einfachen Beschreibung, bevor übermäßig komplexe Beschreibungen generiert werden Post-Pruning: Generiert zunächst eine komplexe Beschreibung, die anschließend vereinfacht wird

44 44 Data Mining und Ethik I Viele ethische Fragen werden bei praktischen Anwendungen aufgeworfen Data Mining wird oft zur Diskriminierung benutzt Z.B. Kreditanträge: Berücksichtigung bestimmter Attribute (z.B. Geschlecht, Rasse, Religion) ist unethisch Die Frage der Ethik ist anwendungsabhängig z.B. ist die Verwendung obiger Attribute in medizinischen Anwendungen ok Attribute können problematische Informationen beinhalten Z.B. kann die Postleitzahl mit der Rasse korrelieren

45 45 Data Mining und Ethik II Wichtige Fragen in praktischen Anwendungen: Wer hat Zugriff auf die Daten? Für welchen Zweck wurden die Daten gesammelt Welche Schlüsse können legitimerweise daraus gezogen werden? Ergebnisse müssen unter Vorbehalt betrachtet werden Rein statistische Argumente sind nie ausreichend! Werden Ressourcen sinnvoll verwendet?


Herunterladen ppt "Techniken des Maschinellen Lernens für Data Mining Ian Witten, Eibe Frank (übersetzt von Norbert Fuhr)"

Ähnliche Präsentationen


Google-Anzeigen