Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Data und Web Mining KFK Semantic Web: Knowledge Management LV-Leiter: Mag. Peter Höfferer Helena Oroszlan Sybille Pipal.

Ähnliche Präsentationen


Präsentation zum Thema: "Data und Web Mining KFK Semantic Web: Knowledge Management LV-Leiter: Mag. Peter Höfferer Helena Oroszlan Sybille Pipal."—  Präsentation transkript:

1 Data und Web Mining KFK Semantic Web: Knowledge Management LV-Leiter: Mag. Peter Höfferer Helena Oroszlan Sybille Pipal

2 Überblick Data Mining Data Mining – Definitionen – Allgemeines – Data Mining Prozess – Methoden und Techniken – Anwendungsgebiete – Data Warehouse | OLAP | Data Cubes Web Mining Web Mining – Definition – Allgemeines – Konzepte – Analyse von Web Daten – Web Mining Verfahren – Tools – Anwendungsgebiete – Probleme ÜberblickData und Web MiningH. Oroszlan, S. Pipal

3 Data Mining - Definitionen 1 Daten formalisierte Darstellung von Sachverhalten, Begriffen oder Befehlen unstrukturiertes Gebilde aus Zeichen maschinell verarbeitet enthalten Informationen Daten formalisierte Darstellung von Sachverhalten, Begriffen oder Befehlen unstrukturiertes Gebilde aus Zeichen maschinell verarbeitet enthalten Informationen Datenbanken und Datenbanksysteme systematisch strukturierte, langfristig verfügbare Sammlung von Daten DBMS als Schnittstelle für Kommunikation mit DB Datenbanken und Datenbanksysteme systematisch strukturierte, langfristig verfügbare Sammlung von Daten DBMS als Schnittstelle für Kommunikation mit DB Netzwerke Gruppe von PCs, die miteinander verbunden sind gemeinsame Nutzung von Daten LAN | WAN Netzwerke Gruppe von PCs, die miteinander verbunden sind gemeinsame Nutzung von Daten LAN | WAN Data Mining | DefinitionenData und Web MiningH. Oroszlan, S. Pipal

4 Data Mining - Definitionen 2 Data Mining Entdecken und Extrahieren von Informationen Finden von Mustern Wissensgewinnung Data Mining Entdecken und Extrahieren von Informationen Finden von Mustern Wissensgewinnung Knowledge Discovery in Databases (KDD) oft Synonym für Data Mining gesamte Findungsprozess beschreibt automatisierte Verfahren nützt Data Mining Methoden Knowledge Discovery in Databases (KDD) oft Synonym für Data Mining gesamte Findungsprozess beschreibt automatisierte Verfahren nützt Data Mining Methoden Text Mining Mustererkennung in unformatierten Daten Text Mining Mustererkennung in unformatierten Daten Web Mining Mustererkennung im WWW Web Mining Mustererkennung im WWW Data Mining | DefinitionenData und Web MiningH. Oroszlan, S. Pipal

5 Wozu dient Data Mining? Data Mining | AllgemeinesData und Web MiningH. Oroszlan, S. Pipal Ziel: aus einer klar definierten Datenmenge Wissen zu extrahieren

6 Data Mining Vorteile Vorteile – Wettbewerbsvorteile – Entdeckung + Gewinnung von Informationen – aus Daten relevante Informationen – Stütze für Kundenbetreuungssystem Nachteile Nachteile – Datenschutz – keine Gewissheit über Richtigkeit – hohe Kosten – hohe Wissensanforderung Data Mining | AllgemeinesData und Web MiningH. Oroszlan, S. Pipal

7 Data Mining Prozess Voraussetzungen – Ansprüche an die Daten Voraussetzungen – Ansprüche an die Daten –Unvollständigkeit und Spärlichkeit der Daten –Dynamik der Daten –Datenschmutz –Redundanz –Irrelevante Felder –Datenvolumen Prozessphasen Prozessphasen –Planungsphase –Vorbereitungsphase –Miningphase –Auswertungsphase Data Mining | Der ProzessData und Web MiningH. Oroszlan, S. Pipal

8 Planungsphase Beantwortung der Frage: WAS WOLLEN WIR ERREICHEN? Beantwortung der Frage: WAS WOLLEN WIR ERREICHEN? Definition von Erwartungswerten Definition von Erwartungswerten Berechnung des erwarteten Aufwands (Kosten + Zeit) Berechnung des erwarteten Aufwands (Kosten + Zeit) Beschaffung von Fachleuten Beschaffung von Fachleuten Data Mining | Der ProzessData und Web MiningH. Oroszlan, S. Pipal

9 Vorbereitungsphase Datenbeschaffung Datenbeschaffung –Identifikation der Datenquellen –Datenextraktion aus verschiedenen Datenquellen –Datenintegration zu einem Datenbestand –Gesetzliche Vorschriften berücksichtigen Datenaufbereitung Datenaufbereitung –Identifikation falscher Werte –Identifikation fehlender Werte –Identifikation korrelierter Merkmale –Algorithmus der Datenerhebung wird festgelegt –Daten an die Anforderungen des Algorithmus anpassen Data Mining | Der ProzessData und Web MiningH. Oroszlan, S. Pipal

10 Miningphase Suche nach Mustern innerhalb großer Datenbestände Suche nach Mustern innerhalb großer Datenbestände Generierung von problemspezifischen Modellen Generierung von problemspezifischen Modellen Auswertung der Ergebnisse Auswertung der Ergebnisse Rückkopplung ? Rückkopplung ? Visualisierung der Teilergebnisse Visualisierung der Teilergebnisse Data Mining | Der ProzessData und Web MiningH. Oroszlan, S. Pipal

11 Auswertungsphase Auswertung der Ergebnisse Auswertung der Ergebnisse Interpretation der Anwender Interpretation der Anwender Visualisierung der Ergebnisse Visualisierung der Ergebnisse Wissensgewinnung Wissensgewinnung Data Mining | Der ProzessData und Web MiningH. Oroszlan, S. Pipal

12 Der Prozess im Überblick Data Mining | Der ProzessData und Web MiningH. Oroszlan, S. Pipal

13 Techniken und Methoden 1 Klassifikation = Gruppenbildung ähnlicher Objekte Klassifikation = Gruppenbildung ähnlicher Objekte –Entscheidungsbaum- neuronale Netze –fallbasiertes Schließen Data Mining | Der ProzessData und Web MiningH. Oroszlan, S. Pipal

14 Techniken und Methoden 2 Segmentierung = Zerlegung in Teile Segmentierung = Zerlegung in Teile –Clusteranalyse Prognose Basis: Werte aus früheren Perioden Ziel: Prognose für Zukunft + Gewinn unbekannter Ausprägungen Prognose Basis: Werte aus früheren Perioden Ziel: Prognose für Zukunft + Gewinn unbekannter Ausprägungen Abhängigkeitsanalyse Abhängigkeitsanalyse –Warenkorbanalyse Abweichungsanalyse Abweichungsanalyse –Objekte mit untypischen Merkmalsausprägungen feststellen = Identifikation von Ausreißern = Identifikation von Ausreißern Data Mining | Der ProzessData und Web MiningH. Oroszlan, S. Pipal

15 Anwendungsgebiete Business Intelligence Business Intelligence Customer Relationship Management (CRM) Customer Relationship Management (CRM) Einzelhandel Einzelhandel Chemie- und Pharmakologie Industrie Chemie- und Pharmakologie Industrie Fernerkundungsdaten Fernerkundungsdaten Banken Banken Versicherungen Versicherungen Telefonfirmen Telefonfirmen Fluglinien Fluglinien Data Mining | AnwendungData und Web MiningH. Oroszlan, S. Pipal

16 Data Warehouse Data Mining | artverwandte BegriffeData und Web MiningH. Oroszlan, S. Pipal Datenbanksystem, das Daten aus verschiedenen Quellen verwaltet

17 Data Warehouse 2 Data Mining | artverwandte BegriffeData und Web MiningH. Oroszlan, S. Pipal RDB: Relationale Datenbank | VLRDB: Very Large RDB | OORDB: Objektrelationale DB | OODB: Objektorientierte DB | MDDB: Mehrdimensionale DB

18 OLAP (1/4) (Online Analytical Processing) Methoden und Tools Methoden und Tools Analyse von Kennzahlen Analyse von Kennzahlen Codd Regeln Codd Regeln FASMI FASMI Data Mining | artverwandte BegriffeData und Web MiningH. Oroszlan, S. Pipal

19 OLAP – FASMI (2/4) Fast Fast Analysis Analysis Shared Shared Multidimensional Multidimensional Information Information Data Mining | artverwandte BegriffeData und Web MiningH. Oroszlan, S. Pipal

20 OLAP – Architekturkonzepte (3/4) ROLAP (relational) ROLAP (relational) MOLAP (multidimensional) MOLAP (multidimensional) HOLAP (hybride) HOLAP (hybride) DOLAP (desktop) DOLAP (desktop) Data Mining | artverwandte BegriffeData und Web MiningH. Oroszlan, S. Pipal

21 OLAP – Data Cube (4/4) Dimensionen Dimensionen Ausprägungen Ausprägungen Zellen Zellen Hierarchien Hierarchien Wien Stmk Bgld Dimension 1 Wein Bier Dimension 2 Jan.Feb.Mär. Dimension 3 Data Mining | artverwandte BegriffeData und Web MiningH. Oroszlan, S. Pipal

22 Web Mining Beschaffung und Auswertung von Web Daten Beschaffung und Auswertung von Web Daten 2 Ansätze 2 Ansätze –Web Content Mining –Web Usage Mining Web Mining | ÜberblickData und Web MiningH. Oroszlan, S. Pipal

23 Was sind Web Daten? Anzahl der Clicks Anzahl der Clicks Zeit auf der Web Seite Zeit auf der Web Seite Wörter in Suchmaschinen Wörter in Suchmaschinen Web Mining | AllgemeinesData und Web MiningH. Oroszlan, S. Pipal

24 Web Mining Konzepte Logfiles Logfiles Cookies Cookies Registrierung Registrierung Unterschiedliche Konzepte Unterschiedliche Konzepte Web Mining | AllgemeinesData und Web MiningH. Oroszlan, S. Pipal

25 Analysen von Web Daten Datenauswahl Datenaufbereitung DatenbereinigungIdentifikation v. Nutzen u. Sitzungen Datenintegration Mustererkennung Interpretation Web Mining | AllgemeinesData und Web MiningH. Oroszlan, S. Pipal

26 Web Mining Prozess Web Mining | Der ProzessData und Web MiningH. Oroszlan, S. Pipal

27 Web Mining Verfahren Path Analyse Path Analyse Assoziationsanalyse Assoziationsanalyse Clusteranalyse Clusteranalyse Klassifikationsanalyse Klassifikationsanalyse Sequenzanalyse Sequenzanalyse Web Mining | VerfahrenData und Web MiningH. Oroszlan, S. Pipal

28 Web Mining Tools Pattern Discovery Tools Pattern Discovery Tools –Erkennen verschiedener Patterns WEBMINER WEBMINER Pattern Analysis Tools Pattern Analysis Tools –Analyse der gefundenen Patterns WebViz WebViz Data Cube Data Cube Web Mining | ToolsData und Web MiningH. Oroszlan, S. Pipal

29 Anwendungsgebiete Kundenprofile Kundenprofile Platzierung der Werbungen Platzierung der Werbungen Strukturierung einer Web Seite Strukturierung einer Web Seite Kundenspezifische Werbung Kundenspezifische Werbung Kontakt via Kontakt via Personalisiert Web Seite Personalisiert Web Seite Web Mining | AnwendungData und Web MiningH. Oroszlan, S. Pipal

30 Probleme Schnelle Änderung von Web Daten Schnelle Änderung von Web Daten Logfiles alleine nicht ausreichend Logfiles alleine nicht ausreichend Registrierung nicht korrekt Registrierung nicht korrekt Muss interne Daten integrieren Muss interne Daten integrieren Gewisse Auskünfte nicht möglich Gewisse Auskünfte nicht möglich Web Mining | ProblemeData und Web MiningH. Oroszlan, S. Pipal

31 Danke für Ihre Aufmerksamkeit!


Herunterladen ppt "Data und Web Mining KFK Semantic Web: Knowledge Management LV-Leiter: Mag. Peter Höfferer Helena Oroszlan Sybille Pipal."

Ähnliche Präsentationen


Google-Anzeigen