Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Martin Vach Technologieberater Business Intelligence Microsoft Deutschland GmbH.

Ähnliche Präsentationen


Präsentation zum Thema: "Martin Vach Technologieberater Business Intelligence Microsoft Deutschland GmbH."—  Präsentation transkript:

1 Martin Vach Technologieberater Business Intelligence Microsoft Deutschland GmbH

2 Einleitung - Data Mining und prediktive Analyse Umfassendes und vollständiges Angebot SQL Server Data Mining-Plattform Data Mining-Add-Ins für Office 2007 Integriertes Data Mining Einbindung und Erweiterbarkeit der Data Mining-Plattform SQL Server 2008 Neuigkeiten im Bereich Data Mining Zusammenfassung

3 Data Mining und prediktive Analyse

4 Data Mining ist die halbautomatische Extraktion von Mustern, Änderungen, Assoziationen, Anomalien und anderen statistisch signifikanten Strukturen aus großen Datenmengen. Robert Grossman Basis sind Methoden und Verfahren aus der Statistik und der künstlichen Intelligenz (KI) Data Mining wird oft als ein Teilgebiet von Business Intelligence betrachtet Abfragen, Reporting, OLAPData Mining Was geschah? Manuell / Interaktiv / Reaktiv Historische Sicht Warum und wie geschieht etwas? Automatisierte Verfahren Historie, Gegenwart & Zukunft

5 Zusammenhänge erkennen (Explorativ) Muster finden Vorhersagen machen (Prediktiv) Analytische CRM: Kundenabwanderungs-Analysen (Churn-Analysis) Kunden-Scoring, Potentialanalysen, Erkennung hochwertiger Kunden Zielgruppen-Marketing: Kampagnen-Optimierung Cross-Selling: Web-Shop Personalisierung, Warenkorbanalyse Aufdeckung von Anomalien und Abweichungen (Schwachstellenanalyse): Entdeckung von Betrugsversuchen (Fraud Detection) Abweichung vom geplanten Verhalten: Prozess- und Produktionsfehler Vorhersage von Risiken (Frühwarnsysteme): Versicherungs-, Kredit- oder Gesundheitsrisiken

6 Männlich Weiblich Sohn Tochter Eltern Alter Einteilung der Daten in homogene Gruppen, wobei die Gruppen sich möglichst stark von einander unterscheiden

7 Bestimmung der relevanten Einflussgrößen für eine vorherzusagende Größe (Bike Buyer Y/N)

8 PräsentationExploration Erkenntnisse Passiv Interaktiv Pro-Aktiv Eigenständigkeit der Software Nutzen und Einsicht Standard-Reporting Ad-Hoc Reporting OLAP Data Mining

9 { Von OLAP zu Data Mining } Kundenverhalten analysieren und vorhersagen A) OLAP-Analyse B) Aufbau eines einfachen Vorhersage-Modells

10 Pervasive Delivery through Microsoft Office Comprehensive Development Environment Enterprise Grade Capabilities Rich and Innovative Algorithms Native Reporting Integration In-Flight Mining during Data Integration Insightful Analysis Predictive KPIs Predictive Programming Custom Algorithms and Visualizations

11 Umfassendes und vollständiges Angebot SQL Server Data Mining-Plattform

12 Rapid Development High Availability Superior Performance and Scalability Robust Security Features Enhanced Manageability Analysis Services

13 Intuitiver Data Mining Wizard Grafischer Data Mining Designer visuelle & statistische Validierung Klassifikations-Matrizen Lift-Charts Profit-Charts Kreuz-Validierung Effizienter Zugriff auf die Quelldaten Caching Filter Aliasing

14 { Vorhersagemodell Kaufverhalten, Teil 2} - Modell-Validierung - Vorhersage-Query

15 Breites Spektrum von Möglichkeiten zur Erstellung optimaler Modelle Standard- Algorithmen wie ARIMA Innovative Algorithmen von Microsoft Research Algorithmen zur Lösung typischer Geschäftsprobleme Algorithmen zur Lösung typischer Geschäftsprobleme Daten - Exploration Warenkorbanalyse Abwanderungsanalyse Kundensegment Analysen Zeitreihenanlayse (Forecast) Unsupervised Learning Webseiten-Analyse Kampagnen-Analyse Daten-Qualitäts-Fragen Text-Analyse/Text Mining

16 Decision Trees Clustering Neural Net Time Series Sequence Clustering Association Naive Bayes Linear RegressionLogistic Regression

17

18 Umfassendes und vollständiges Angebot Data Mining-Addins für Office 2007

19 Table Analysis Tools for Excel 2007Data Mining Client for Excel 2007Data Mining Template for Visio 2007 Kostenlose Add-Ins (Download) für Office Excel 2007, Office Visio 2007 Voraussetzung: Server mit SQL 2005 SP2 / SQL 2008 Neue Version für SQL Server 2008 verfügbar mit SQL 2008 RTM

20 Verstehen der fachlichen Fragestellung Verstehen der Datenbasis Aufbereitung der Daten ModellierungValidierungBereitstellung und Nutzung Data

21 What Microsoft has done is to make data mining available on the desktop to everyone - David Norris, Associate Analyst, Bloor Research

22 Tabellenanalyse-Tool (Table Analysis) für Excel 2007 – Leicht verwendbare Assistenten für einfache Data Mining-Aufgaben Data Mining Client für Excel 2007 – Vollständiger Entwicklungszyklus für alle Data Mining Schritte: Daten-Aufbereitung Modelle erstellen, auch mit Excel-Daten Testen und Validieren der Modelle Modelle untersuchen Modelle verwalten Vorhersagen machen, auch mit Excel-Daten Data Mining Vorlagen für Visio – Darstellung von Data Mining Modellen als Visio-Objekte

23 { Data Mining mit Excel 2007 } Table Analysis Add-In - Key Influencer Data Mining Add-In - Vorhersagemodell

24 { Predict Outcomes } Forecasting with the Time Series algorithm Using the Prediction Calculator

25 Excel 2007 Add- ins Modeling SQL Server Datenbank (oder andere DBs) SQL Server Analysis Services Data Source Data Mining Models Query Excel Data ClientServer Server (optional)

26 Data Preparation Explore, clean and set up your data for data mining Data Modeling Build patterns and trends from data to make predictions Accuracy and Validation Test and validate your model Model Usage & Management Browse, modify, and manage existing mining models that are stored on an instance of Analysis Services Documentation Trace your actions as Data Mining Extensions (DMX) statements or as Analysis Services Scripting Language (ASSL).

27 Integriertes Data Mining

28 Erstellung von Berichten mit Vorhersagen mittels Data Mining-Abfragen als Datenquelle Query-Builder für DMX- Abfragen im Report Designer verfügbar Entwurf von Parameter- getriebenen Berichten auf Basis von Vorhersage- Wahrscheinlichkeiten Z.B. Anzeige von Risiko- Kunden mit Abwanderungs- Wahrscheinlichkeit > 65%

29 Lösung von ETL-Aufgaben Markierung anormaler Daten Klassifizierung von Kunden oder Geschäftsobjekten Erkennung fehlender Werte Aufbereitung von unstrukturierten Daten mittels Text Mining ETL-Erweiterungen Scoring (z.B. von Kunden) mittels der DM-Query-Task Trainieren von DM-Modellen mittels der DM-Training- Destination

30 Nutzung von OLAP- Cubes als Quelle für Data Mining Einbinden von DM- Ergebnissen als OLAP- Dimension, z.B. Kundencluster Nutzung von Vorhersage-Funktionen in MDX-Berechnungen und für KPIs

31 Nutzung der Zeitreihen- Analyse als Analytical View in Dashboards Kombination von prediktiven und historischen KPIs für aussagekräftigere Dashboards Vorhersage der zukünftigen Ergebnisse im Vergleich zu den Zielen zur Erkennung möglicher Herausforderungen Analyse und Monitoring von Trends bei den Haupteinflussgrößen

32 Einbindung und Erweiterbarkeit der Data Mining- Plattform

33 Add custom data mining algorithms Add custom data mining algorithms Plug-in Algorithms Redistributable Viewer - embed standard visualizations in your application Redistributable Viewer - embed standard visualizations in your application Plug-in Viewer APIs - embed custom visualizations in your application Plug-in Viewer APIs - embed custom visualizations in your application Visualizations Exchange models with other software vendors Exchange models with other software vendors PMML Industry standard metadata Industry standard metadata XMLA SQL-like query language SQL-like query language Data mining Extensions (DMX) Access and query models from clients or stored procedures Access and query models from clients or stored procedures ADOMD.NET and OLE DB Management interfaces Management interfaces AMO

34 Einbettung von Data Mining Integration einer Recommendation Engine Aktualisierung von Modellen auf Basis der aktuellsten Daten on the fly Ausreißer-Erkennung on the fly z.B. bei Datenerfassung Muster- Erkennung Anzeige wesentlicher Indikatoren für Metriken Erkennung von Profilen für Abwanderungen oder hochwertige Kunden Vorhersage Empfehlung relevanter Produkte Darstellung von Risiko- Kunden bzw. Abwanderungs- Wahrscheinlichkeit Optimierung von Promotions- Kampagnen für Kunden mit hohem Wert (life time value) Einbindung von Data Mining in Business- Anwendungen mittels komfortabler APIs ?

35 DMX Data Mining Extensions SQL ähnliche Sprache für Erstellung Abfrage von DM Modellen DM-Funktionen Predict(), PredictProbability, CaseLikelihood, etc User-defined functions, Parametrisierte Abfragen DMX Prediction Joins für Vorhersagen SELECT t.ID, CPModel.Plan FROM CPModel PREDICTION JOIN OPENQUERY(…,SELECT * FROM NewStudents) AS t ON CPModel.Gender = t.Gender AND CPModel.IQ = t.IQ IDGenderIQGenderIQPlan DM-CPModell NewStudents

36 SQL Server 2008 Neuigkeiten im Bereich Data Mining

37 Verbesserung der Engine und der Algorithmen Anforderungen vieler professioneller DM-Kunden Verbesserung im Bereich Mining-Strukturen BI Development Studio, Handhabung, Aufwand Data Mining AddIns für Office 2007 Durchgängige und komfortable Benutzerführung Warenkorbanalyse Prediction Calculator

38 SQL Server 2005 Basis ist der ARTXP Zeitreihen-Vorhersage-Algorithmus Entwickelt von MS Research Adressiert ein Kern-Problem: suche die bestmögliche Vorhersage für den nächsten Schritt in der Serie Weniger geeignet für Langzeit-Vorhersagen SQL Server 2008 ARTXP nach wie vor verfügbar Optimal für kurzfristige Vrohersagen Zusätzlich verfügbar: ARIMA Der bekannteste und verbreiteste Zeitreihen-Algorithmus Gute Kenntnisse bei praktisch allen Data Mining-Experten Aktzeptable Vorhersagen bei Projektion auf mehr als 10 Schritte

39 Aufteilung in Trainings- und Test-Partitionen Automatisch, manuell oder programmatisch Abfragen gegen Struktur-Cases und Struktur-Spalten Ermöglicht Drillthrough aus einem Cluster-Modell um zusätzliche Daten anzuzeigen, die nicht im Modell benutzt werden (z.B. eine Mail-Adresse) Filterung von Daten beim Aufbau von Modellen Beispiel: Erstelle getrennte Modelle für männliche und weibliche Kunden Erstellung nicht-kompatibler Modelle in derselben Struktur Modelle, die die kontinuierliche und die diskretisierte Version derselben Spalte nutzen, können dieselben Struktur nutzen Kreuz-Validierung (Cross-validation) Erleichtert Verstehen der Modell-Genauigkeit bzw. Modell-Güte Automatischer Test des Modell gegen mehrere Subsets von Trainingsdaten und Vergleich der Ergebnisse

40 { Weitere Data Mining Beispiele (if we have time…) } Table Analysis - Prediction Calculator Kreuz-Validierung

41 Split data into training and testing partitions more effectively Query against structure data to present complete information beyond the scope of the model Build models over filtered data Create incompatible models within the same structure Use cross-validation to: Test multiple models simultaneously Confirm the stability of results given more or less data Enhanced Mining Structures Accuracy & Stability Combine best of both worlds blending ARTXP for optimized near-term predictions and ARIMA for stable long term predictions Prediction Flexibility Build a forecasting model on one series and apply the patterns to data from another series. What If Anticipate the impact of changes in near-term future values, on long-term forecasts Better Time Series Support New Analysis Tools Generate interactive forms for scoring new cases with Prediction Calculator Discover the relationship between items, which are frequently purchased together with Shopping Basket Analysis New Query and Validation Tools Choose training and test sets from mining structures Render richly-formatted cross validation and accuracy reports in Excel Leverage model documentation for reference and collaboration More Data Mining Add-Ins for Office 2007

42 Zusammenfassung

43 Challenge Selling custom ring tones and other downloadable content for mobile phone users requires staying in tune with the market. Searching transactional data for hints on what to offer users in cross-selling value-added mobile services took days and didnt provide customer- specific recommendations.Solution ABSi deployed Microsoft® SQL Server 2005 to use its data mining feature to determine product recommendations.Benefit More accurate and personalized service recommendations to customers Doubling response rates from marketing campaigns Ad hoc reporting in minutes, not days Eight times faster data mining process Faster data mining prediction Wireless Services Firm Doubles Response Rates with SQL Server 2005 Data Mining Subsidiary of the largest integrated media and entertainment company in the Philippines Our management is very impressed that we could double our response rate through our SQL Server 2005 data mining … managers of other services ask us to provide the same magic for themwhich is what we will do with the full project rollout - Grace Cunanan, Technical Specialist, ABS-CBN Interactive

44 .8 TB SS2005 DW for Ring-Tone Marketing Uses Relational, OLAP and Data Mining 5 TB DW, serving the 2nd largest global HMO with over 3000 OLAP users. Developed data mining solution to identify members who would most benefit from proactive intervention to prevent health deterioration. 3 TB end-to-end BI decision support system Oracle competitive win End-to end DW on SQL Server, including OLAP Extensive use of Data Mining Decision Trees 1.2 TB, 20 billion records Large Brazilian Grocery Chain.88 TB DW at main TV network in Italy Increased viewership by understanding trends.5 TB DW at US Cable company End to end BI, Analysis and Reporting

45 Einfacher Zugang – Erhöhung der Reichweite Data Mining für jeden Knowledge Worker Jede Anwendung kann Data Mining nutzen durch ADOMD.NET - ohne komplexe APIs Anwender und Entwickler nutzen gewohnte Umgebung Kosten und Nutzen Attraktives Lizenzmodell - kein Lizenzkosten-KO mehr Geringe Einstiegskosten - Schnelle Ergebnisse Kein Data Mining mehr im Elfenbeinturm Vollständig – Integriert - Erweiterbar

46 Native Reporting Integration seamlessly infuses prediction into reportsNative Reporting Integration seamlessly infuses prediction into reports In-Flight Mining during Data Integration dynamically enhances data quality & relevanceIn-Flight Mining during Data Integration dynamically enhances data quality & relevance Insightful Analysis enables to slice data by the hidden patterns withinInsightful Analysis enables to slice data by the hidden patterns within Predictive KPIs extend monitoring with insights to future performancePredictive KPIs extend monitoring with insights to future performance Native Reporting Integration seamlessly infuses prediction into reportsNative Reporting Integration seamlessly infuses prediction into reports In-Flight Mining during Data Integration dynamically enhances data quality & relevanceIn-Flight Mining during Data Integration dynamically enhances data quality & relevance Insightful Analysis enables to slice data by the hidden patterns withinInsightful Analysis enables to slice data by the hidden patterns within Predictive KPIs extend monitoring with insights to future performancePredictive KPIs extend monitoring with insights to future performance Predictive Programming embeds prediction within the applicationPredictive Programming embeds prediction within the application Custom Algorithms & Visualizations provide the flexibility to meet uncommon needsCustom Algorithms & Visualizations provide the flexibility to meet uncommon needs Predictive Programming embeds prediction within the applicationPredictive Programming embeds prediction within the application Custom Algorithms & Visualizations provide the flexibility to meet uncommon needsCustom Algorithms & Visualizations provide the flexibility to meet uncommon needs Pervasive Delivery through Microsoft Office empowers all users with predictive insightPervasive Delivery through Microsoft Office empowers all users with predictive insight Comprehensive Development Environment delivers an intuitive and rich environmentComprehensive Development Environment delivers an intuitive and rich environment Enterprise Grade Capabilities provide enhanced server advantagesEnterprise Grade Capabilities provide enhanced server advantages Rich and Innovative Algorithms support common business problems effectivelyRich and Innovative Algorithms support common business problems effectively Pervasive Delivery through Microsoft Office empowers all users with predictive insightPervasive Delivery through Microsoft Office empowers all users with predictive insight Comprehensive Development Environment delivers an intuitive and rich environmentComprehensive Development Environment delivers an intuitive and rich environment Enterprise Grade Capabilities provide enhanced server advantagesEnterprise Grade Capabilities provide enhanced server advantages Rich and Innovative Algorithms support common business problems effectivelyRich and Innovative Algorithms support common business problems effectively

47 Wir freuen uns auf Ihre Fragen: Technische Experten stehen Ihnen während der gesamten Veranstaltung in der Haupthalle zur Verfügung.

48 ACHTUNG: Februar CTP6 Version ist seit heute verfügbar

49

50 © 2007 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

51

52 Success needs… Right problem Right criteria Right data Right results Right delivery

53 Driven by data, or by business rules? Driven by what you know, or what you dont know? Right Problem

54 Cross-sell and up-sell Campaign management Customer acquisition Budget and forecasting Customer retention Right Problem

55 Define scenarios by Data Mining tasks to be performed Classification Estimation Prediction Association Clustering Define tasks by techniques to be used The algorithms used to build models Right Problem

56

57

58 How will you measure success? Technical: Lift and accuracy Business: ROI and KPIs Set good criteria Relevant and actionable Strategic vs. operational relevance Realistic and achievable Right Criteria

59 Data exploration and preparation Dont forget GI-GO Is your data… Complete, accurate, timely, typical? Get to know Integration Services Merge and transform source data Filter and sample Right Data

60 Clean Remove duplicates and missing values Remove out-of-range data Clarify True, False and NULL boolean fields Remove synonyms UnitPrice * Qty = TotalPrice Calculate derived values Simplify Bucket or Group continuous or many-valued columns Age, Profession Right Data

61 Technical Evaluation Use lift charts & classification matrices Compare training and test sets Business Evaluation Test results against business metrics Review regularly Dont take trust for granted Right Results

62 Aim for a seamless experience Enhance existing information Repurpose existing skills Win your users Right Delivery

63 Sales and operations Not software specialists Can be overwhelmed by detail or ambiguity Information workers Explorers, mostly live in Microsoft Office Excel BI Analysts Love their BI tools of choice Executives Dashboards, Scorecards Also overwhelmed by detail or ambiguity Right Delivery

64 © 2007 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.


Herunterladen ppt "Martin Vach Technologieberater Business Intelligence Microsoft Deutschland GmbH."

Ähnliche Präsentationen


Google-Anzeigen