Data und Web Mining KFK Semantic Web: Knowledge Management LV-Leiter: Mag. Peter Höfferer Helena Oroszlan Sybille Pipal

Überblick Data Mining Web Mining Definitionen Allgemeines Data Mining Prozess Methoden und Techniken Anwendungsgebiete Data Warehouse | OLAP | Data Cubes Web Mining Definition Allgemeines Konzepte Analyse von Web Daten Web Mining Verfahren Tools Anwendungsgebiete Probleme Überblick Data und Web Mining H. Oroszlan, S. Pipal

Data Mining - Definitionen 1 Daten  formalisierte Darstellung von Sachverhalten, Begriffen oder Befehlen  unstrukturiertes Gebilde aus Zeichen  maschinell verarbeitet  enthalten Informationen Datenbanken und Datenbanksysteme  systematisch strukturierte, langfristig verfügbare Sammlung von Daten  DBMS als Schnittstelle für Kommunikation mit DB Netzwerke  Gruppe von PCs, die miteinander verbunden sind  gemeinsame Nutzung von Daten  LAN | WAN Data Mining | Definitionen Data und Web Mining H. Oroszlan, S. Pipal

Data Mining - Definitionen 2 Data Mining  Entdecken und Extrahieren von Informationen  Finden von Mustern  Wissensgewinnung Knowledge Discovery in Databases (KDD)  oft Synonym für Data Mining  gesamte Findungsprozess  beschreibt automatisierte Verfahren  nützt Data Mining Methoden Text Mining  Mustererkennung in unformatierten Daten Web Mining  Mustererkennung im WWW Data Mining | Definitionen Data und Web Mining H. Oroszlan, S. Pipal

Wozu dient Data Mining? Ziel: aus einer klar definierten Datenmenge Wissen zu extrahieren Data Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

Data Mining Vorteile Nachteile Wettbewerbsvorteile Datenschutz Entdeckung + Gewinnung von Informationen aus Daten relevante Informationen Stütze für Kundenbetreuungssystem Nachteile Datenschutz keine Gewissheit über Richtigkeit hohe Kosten hohe Wissensanforderung Data Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

Data Mining Prozess Voraussetzungen – Ansprüche an die Daten Unvollständigkeit und Spärlichkeit der Daten Dynamik der Daten Datenschmutz Redundanz Irrelevante Felder Datenvolumen Prozessphasen Planungsphase Vorbereitungsphase Miningphase Auswertungsphase Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Planungsphase Beantwortung der Frage: WAS WOLLEN WIR ERREICHEN? Definition von Erwartungswerten Berechnung des erwarteten Aufwands (Kosten + Zeit) Beschaffung von Fachleuten Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Vorbereitungsphase Datenbeschaffung Datenaufbereitung Identifikation der Datenquellen Datenextraktion aus verschiedenen Datenquellen Datenintegration zu einem Datenbestand Gesetzliche Vorschriften berücksichtigen Datenaufbereitung Identifikation falscher Werte Identifikation fehlender Werte Identifikation korrelierter Merkmale Algorithmus der Datenerhebung wird festgelegt Daten an die Anforderungen des Algorithmus anpassen Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Miningphase Suche nach Mustern innerhalb großer Datenbestände Generierung von problemspezifischen Modellen Auswertung der Ergebnisse Rückkopplung ? Visualisierung der Teilergebnisse Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Auswertungsphase Auswertung der Ergebnisse Interpretation der Anwender Visualisierung der Ergebnisse Wissensgewinnung Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Der Prozess im Überblick Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Techniken und Methoden 1 Klassifikation = Gruppenbildung ähnlicher Objekte Entscheidungsbaum - neuronale Netze fallbasiertes Schließen Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Techniken und Methoden 2 Segmentierung = Zerlegung in Teile Clusteranalyse Prognose Basis: Werte aus früheren Perioden Ziel: Prognose für Zukunft + Gewinn unbekannter Ausprägungen Abhängigkeitsanalyse Warenkorbanalyse Abweichungsanalyse Objekte mit untypischen Merkmalsausprägungen feststellen = Identifikation von Ausreißern Data Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Anwendungsgebiete Business Intelligence Customer Relationship Management (CRM) Einzelhandel Chemie- und Pharmakologie Industrie Fernerkundungsdaten Banken Versicherungen Telefonfirmen Fluglinien Data Mining | Anwendung Data und Web Mining H. Oroszlan, S. Pipal

Data Warehouse Datenbanksystem, das Daten aus verschiedenen Quellen verwaltet Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

Data Warehouse 2 RDB: Relationale Datenbank | VLRDB: Very Large RDB | OORDB: Objektrelationale DB | OODB: Objektorientierte DB | MDDB: Mehrdimensionale DB Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

OLAP (1/4) (Online Analytical Processing) Methoden und Tools Analyse von Kennzahlen Codd Regeln FASMI Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

OLAP – FASMI (2/4) Fast Analysis Shared Multidimensional Information Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

OLAP – Architekturkonzepte (3/4) ROLAP (relational) MOLAP (multidimensional) HOLAP (hybride) DOLAP (desktop) Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

OLAP – Data Cube (4/4) Dimensionen Ausprägungen Zellen Hierarchien       Dimensionen Ausprägungen Zellen Hierarchien Wien Stmk Dimension 1 Bgld Wein Dimension 2 Bier Jan. Feb. Mär. Dimension 3 Data Mining | artverwandte Begriffe Data und Web Mining H. Oroszlan, S. Pipal

Web Mining Beschaffung und Auswertung von Web Daten 2 Ansätze Web Content Mining Web Usage Mining Web Mining | Überblick Data und Web Mining H. Oroszlan, S. Pipal

Was sind Web Daten? Anzahl der Clicks Zeit auf der Web Seite Wörter in Suchmaschinen Web Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

Web Mining Konzepte Logfiles Cookies Registrierung Unterschiedliche Konzepte Web Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

Analysen von Web Daten Datenauswahl Datenaufbereitung Datenbereinigung     Datenauswahl Datenaufbereitung Datenbereinigung Identifikation v. Nutzen u. Sitzungen Datenintegration Mustererkennung Interpretation Web Mining | Allgemeines Data und Web Mining H. Oroszlan, S. Pipal

Web Mining Prozess Web Mining | Der Prozess Data und Web Mining H. Oroszlan, S. Pipal

Web Mining Verfahren Path Analyse Assoziationsanalyse Clusteranalyse Klassifikationsanalyse Sequenzanalyse Web Mining | Verfahren Data und Web Mining H. Oroszlan, S. Pipal

Web Mining Tools Pattern Discovery Tools Pattern Analysis Tools Erkennen verschiedener Patterns WEBMINER Pattern Analysis Tools Analyse der gefundenen Patterns WebViz Data Cube Web Mining | Tools Data und Web Mining H. Oroszlan, S. Pipal

Anwendungsgebiete Kundenprofile Platzierung der Werbungen Strukturierung einer Web Seite Kundenspezifische Werbung Kontakt via E-mail Personalisiert Web Seite Web Mining | Anwendung Data und Web Mining H. Oroszlan, S. Pipal

Probleme Schnelle Änderung von Web Daten Logfiles alleine nicht ausreichend Registrierung nicht korrekt Muss interne Daten integrieren Gewisse Auskünfte nicht möglich Web Mining | Probleme Data und Web Mining H. Oroszlan, S. Pipal

Danke für Ihre Aufmerksamkeit!