Data und Web Mining KFK Semantic Web: Knowledge Management

Präsentation zum Thema: "Data und Web Mining KFK Semantic Web: Knowledge Management"—  Präsentation transkript:

1 Data und Web Mining KFK Semantic Web: Knowledge Management
LV-Leiter: Mag. Peter Höfferer Helena Oroszlan Sybille Pipal

2 Überblick Data Mining Web Mining Definitionen Allgemeines
Data Mining Prozess Methoden und Techniken Anwendungsgebiete Data Warehouse | OLAP | Data Cubes Web Mining Definition Allgemeines Konzepte Analyse von Web Daten Web Mining Verfahren Tools Anwendungsgebiete Probleme Überblick Data und Web Mining H. Oroszlan, S. Pipal

3 Data Mining - Definitionen 1
Daten  formalisierte Darstellung von Sachverhalten, Begriffen oder Befehlen  unstrukturiertes Gebilde aus Zeichen  maschinell verarbeitet  enthalten Informationen Datenbanken und Datenbanksysteme  systematisch strukturierte, langfristig verfügbare Sammlung von Daten  DBMS als Schnittstelle für Kommunikation mit DB Netzwerke  Gruppe von PCs, die miteinander verbunden sind  gemeinsame Nutzung von Daten  LAN | WAN Data Mining | Definitionen Data und Web Mining H. Oroszlan, S. Pipal

4 Data Mining - Definitionen 2
Data Mining  Entdecken und Extrahieren von Informationen  Finden von Mustern  Wissensgewinnung Knowledge Discovery in Databases (KDD)  oft Synonym für Data Mining  gesamte Findungsprozess  beschreibt automatisierte Verfahren  nützt Data Mining Methoden Text Mining  Mustererkennung in unformatierten Daten Web Mining  Mustererkennung im WWW Data Mining | Definitionen Data und Web Mining H. Oroszlan, S. Pipal

5 Wozu dient Data Mining? Ziel: aus einer klar definierten Datenmenge Wissen zu extrahieren Data Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

6 Data Mining Vorteile Nachteile Wettbewerbsvorteile Datenschutz
Entdeckung + Gewinnung von Informationen aus Daten relevante Informationen Stütze für Kundenbetreuungssystem Nachteile Datenschutz keine Gewissheit über Richtigkeit hohe Kosten hohe Wissensanforderung Data Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

7 Data Mining Prozess Voraussetzungen – Ansprüche an die Daten
Unvollständigkeit und Spärlichkeit der Daten Dynamik der Daten Datenschmutz Redundanz Irrelevante Felder Datenvolumen Prozessphasen Planungsphase Vorbereitungsphase Miningphase Auswertungsphase Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

8 Planungsphase Beantwortung der Frage: WAS WOLLEN WIR ERREICHEN?
Definition von Erwartungswerten Berechnung des erwarteten Aufwands (Kosten + Zeit) Beschaffung von Fachleuten Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

9 Vorbereitungsphase Datenbeschaffung Datenaufbereitung
Identifikation der Datenquellen Datenextraktion aus verschiedenen Datenquellen Datenintegration zu einem Datenbestand Gesetzliche Vorschriften berücksichtigen Datenaufbereitung Identifikation falscher Werte Identifikation fehlender Werte Identifikation korrelierter Merkmale Algorithmus der Datenerhebung wird festgelegt Daten an die Anforderungen des Algorithmus anpassen Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

10 Miningphase Suche nach Mustern innerhalb großer Datenbestände
Generierung von problemspezifischen Modellen Auswertung der Ergebnisse Rückkopplung ? Visualisierung der Teilergebnisse Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

11 Auswertungsphase Auswertung der Ergebnisse Interpretation der Anwender
Visualisierung der Ergebnisse Wissensgewinnung Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

12 Der Prozess im Überblick
Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

13 Techniken und Methoden 1
Klassifikation = Gruppenbildung ähnlicher Objekte Entscheidungsbaum - neuronale Netze fallbasiertes Schließen Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

14 Techniken und Methoden 2
Segmentierung = Zerlegung in Teile Clusteranalyse Prognose Basis: Werte aus früheren Perioden Ziel: Prognose für Zukunft + Gewinn unbekannter Ausprägungen Abhängigkeitsanalyse Warenkorbanalyse Abweichungsanalyse Objekte mit untypischen Merkmalsausprägungen feststellen = Identifikation von Ausreißern Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

15 Anwendungsgebiete Business Intelligence
Customer Relationship Management (CRM) Einzelhandel Chemie- und Pharmakologie Industrie Fernerkundungsdaten Banken Versicherungen Telefonfirmen Fluglinien Data Mining | Anwendung Data und Web Mining H. Oroszlan, S. Pipal

16 Data Warehouse Datenbanksystem, das Daten aus verschiedenen Quellen verwaltet Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

17 Data Warehouse 2 RDB: Relationale Datenbank | VLRDB: Very Large RDB | OORDB: Objektrelationale DB | OODB: Objektorientierte DB | MDDB: Mehrdimensionale DB Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

18 OLAP (1/4) (Online Analytical Processing)
Methoden und Tools Analyse von Kennzahlen Codd Regeln FASMI Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

19 OLAP – FASMI (2/4) Fast Analysis Shared Multidimensional Information
Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

20 OLAP – Architekturkonzepte (3/4)
ROLAP (relational) MOLAP (multidimensional) HOLAP (hybride) DOLAP (desktop) Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

21 OLAP – Data Cube (4/4) Dimensionen Ausprägungen Zellen Hierarchien
Dimensionen Ausprägungen Zellen Hierarchien Wien Stmk Dimension 1 Bgld Wein Dimension 2 Bier Jan. Feb. Mär. Dimension 3 Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

22 Web Mining Beschaffung und Auswertung von Web Daten 2 Ansätze
Web Content Mining Web Usage Mining Web Mining | Überblick Data und Web Mining H. Oroszlan, S. Pipal

23 Was sind Web Daten? Anzahl der Clicks Zeit auf der Web Seite
Wörter in Suchmaschinen Web Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

24 Web Mining Konzepte Logfiles Cookies Registrierung
Unterschiedliche Konzepte Web Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

25 Analysen von Web Daten Datenauswahl Datenaufbereitung Datenbereinigung
Datenauswahl Datenaufbereitung Datenbereinigung Identifikation v. Nutzen u. Sitzungen Datenintegration Mustererkennung Interpretation Web Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

26 Web Mining Prozess Web Mining | Der Prozess Data und Web Mining
H. Oroszlan, S. Pipal

27 Web Mining Verfahren Path Analyse Assoziationsanalyse Clusteranalyse
Klassifikationsanalyse Sequenzanalyse Web Mining | Verfahren Data und Web Mining H. Oroszlan, S. Pipal

28 Web Mining Tools Pattern Discovery Tools Pattern Analysis Tools
Erkennen verschiedener Patterns WEBMINER Pattern Analysis Tools Analyse der gefundenen Patterns WebViz Data Cube Web Mining | Tools Data und Web Mining H. Oroszlan, S. Pipal

29 Anwendungsgebiete Kundenprofile Platzierung der Werbungen
Strukturierung einer Web Seite Kundenspezifische Werbung Kontakt via Personalisiert Web Seite Web Mining | Anwendung Data und Web Mining H. Oroszlan, S. Pipal

30 Probleme Schnelle Änderung von Web Daten
Logfiles alleine nicht ausreichend Registrierung nicht korrekt Muss interne Daten integrieren Gewisse Auskünfte nicht möglich Web Mining | Probleme Data und Web Mining H. Oroszlan, S. Pipal

31 Danke für Ihre Aufmerksamkeit!