Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Microsoft SQL Server 2005 Analysis Services / Data Warehousing / Data Mining Architektur und Verwendung.

Ähnliche Präsentationen


Präsentation zum Thema: "Microsoft SQL Server 2005 Analysis Services / Data Warehousing / Data Mining Architektur und Verwendung."—  Präsentation transkript:

1 Microsoft SQL Server 2005 Analysis Services / Data Warehousing / Data Mining Architektur und Verwendung

2 Einführung OLTP und OLAP im Vergleich Data Warehouse- Komponenten OLAP-Würfel

3 OLTP und OLAP im Vergleich Mithilfe der analytischen Onlineverarbeitung (Online Analytical Processing, OLAP) können Sie auf aggregierte und organisierte Daten aus Geschäftsdatenquellen, z. B. Data Warehouses, in einer multidimensionalen Struktur, die als Cube bezeichnet wird, zugreifen. Microsoft SQL Server 2005 Analysis Services (SSAS) stellt Tools und Features für OLAP zur Verfügung, mit deren Hilfe Sie Cubes und andere unterstützende Objekte entwerfen, bereitstellen und verwalten können.

4 OLTP und OLAP im Vergleich OLTP OnLine Transaction Processing Merkmale –Verarbeitet Echtzeittransaktionen eines Unternehmens –Enthält für Einträge und Bearbeitungen optimierte Datenstrukturen –Stellt eingeschränkte Entscheidungsfindungsfunktionen bereit Beispiele –Anwendungen zum Nachverfolgen von Aufträgen –Kundendienstanwendungen –Point-of-Sales-Anwendungen OLAP OnLine Analytical Processing Merkmale –Es stellt Daten für Geschäftsanalysevorgänge bereit –Es integriert Daten aus heterogenen Quellsystemen –Es kombiniert überprüfte Quelldaten –Es organisiert Daten in themenspezifischen Gruppen, die sich nicht ständig ändern –Es speichert Daten in physischen Strukturen, die für das Verteilen und Abfragen von Daten optimiert sind Beispiele –Matrix-/Pivot-Untersuchungen –Erweiterte Wissensgenerierung

5 OLTP und OLAP im Vergleich Allgemeine Kennzeichen –Optimiertes Schema für schnelle Benutzerabfragen –Stabiles Berechnungs-modul für numerische Analysen –Vorausberechnete Aggregate, Beziehungs-management –Konzeptionelles, intuitives Datenmodell –Multidimensionale Sicht von Daten Drilldown und Drillup Sichten von Daten mit Hilfe des Pivotprinzips Einsatzmöglichkeiten –EIS-Systeme Leistungswerte Ausnahmeberichts-erstellung –Verkaufs- und Marketinganwendungen Bestellungs- und Rechnungsanwendungen Produktanalysen Kundenanalysen Zeitreihen-Trendanalysen

6 REGION West CA OR East MA NY REGION West East STATEREGION CAWest ORWest MAEast NYEast OLTP und OLAP im Vergleich OLAP-DimensionRelationale Dimension

7 OLTP und OLAP im Vergleich  USA ist die übergeordnete Ebene von North West und South West  North West und South West sind untergeordnete Ebenen von USA  North West und South West sind gleichgeordnete Elemente  North West und California sind nachfolgende Elemente von USA  North West und USA sind vorausgehende Elemente von Washington  Oregon und California sind Elemente mit übergeordneten Ebenen, die gleichgeordnete Elemente sind  Alle sind Elemente ein und derselben Dimension USA North West Oregon Washington South West California

8 Data Warehouse-Komponenten Datawarehouse Datenzugriff Benutzer- zugriff auf Daten Daten- quellen Dateneingabe Staging- bereich Datamarts

9 Data Warehouse-Komponenten RelationaleDatamartsRelationaleDatamartsOLAP-CubesOLAP-Cubes Datenspeicherung Relationale Datenstruktur Relationale Datenstruktur Multidimensionale Datenstrukturen Dateninhalt Detaillierte und zusam- mengefasste Daten Zusammengefasste Daten Datenquellen Relationale und nicht relationale Quellen Relationale und nicht relationale Quellen Relationale und nicht relationale Quellen Relationale und nicht relationale Quellen Datenabruf Gute Abfrageleistung beim Extrahieren von Daten Sehr gute Abfrageleistung beim Extrahieren von Daten

10 OLAP-Würfel: Struktur Q4 Q1Q2Q3 „Time“-Dimension „Products“-Dimension Detroit Denver Chicago „Markets“-Dimension Apples Cherries Grapes Atlanta Melons

11 Q4 Q1Q2Q3 „Time“-Dimension „Products“- Dimension Dallas Denver Chicago „Markets“-Dimension Apples Cherries Grapes Atlanta Sales Fact Melons OLAP-Würfel: Abfragen

12 Apples Q4 Q1Q2Q3 „Time“-Dimension „Products“-Dimension Detroit Denver Chicago Atlanta „Markets“-Dimension Melons Cherries Grapes OLAP-Würfel: Schneiden

13 OLAP-Würfel: Visualisierung

14

15 Fragen...

16 OLAP und SQL Server 2005 Übersicht Server-/Client- Architektur Berichte/Auswertung

17 Übersicht Microsoft SQL Server 2005 Analysis Services (SSAS) verwendet sowohl Server- als auch Clientkomponenten zum Bereitstellen von OLAP-Funktionen (Online Analytical Processing) und von Data Mining-Funktionen für Business Intelligence- Anwendungen: –Die Serverkomponente von Analysis Services ist als Microsoft Windows-Dienst implementiert. SQL Server 2005 Analysis Services unterstützt mehrere Instanzen auf demselben Computer, wobei jede Instanz von Analysis Services als eigene Instanz des Windows-Dienstes implementiert ist. –Clients kommunizieren mit Analysis Services mithilfe des öffentlichen Standards für XMLA (XML for Analysis). Hierbei handelt es sich um ein SOAP-basiertes Protokoll für die Ausgabe von Befehlen und den Empfang von Antworten in Form eines Webdienstes. Clientobjektmodelle werden ebenfalls über XMLA bereitgestellt. Auf diese Modelle kann sowohl ein verwalteter Anbieter (ADOMD.NET) als auch ein eigener OLE DB-Anbieter zugreifen. –Abfragebefehle können mithilfe der folgenden Abfragesprachen ausgegeben werden: SQL; MDX (Multidimensional Expressions), eine Abfragesprache nach Industriestandard für Analysen; oder DMX (Data Mining Extensions), eine am Data Mining orientierte Abfragesprache nach Industriestandard. Zum Verwalten von Analysis Services- Datenbankobjekten kann außerdem ASSL (Analysis Services Scripting Language) verwendet werden.

18 Serverarchitektur Die Serverkomponente von Microsoft SQL Server 2005 Analysis Services (SSAS) ist die Anwendung msmdsrv.exe, die normalerweise als Windows-Dienst ausgeführt wird. Diese Anwendung besteht aus –Sicherheitskomponenten –einer XMLA-Überwachungskomponente (XML for Analysis) –einer Abfrageverarbeitungs-komponente und –zahlreichen internen Komponenten, die die folgenden Funktionen ausführen: –Analysieren von Anweisungen, die von Client empfangen werden –Verwalten von Metadaten –Behandeln von Transaktionen –Verarbeiten von Berechnungen –Speichern von Dimensions- und Zellendaten –Erstellen von Aggregationen –Planen von Abfragen –Zwischenspeichern von Objekten –Verwalten von Serverressourcen

19 Clientarchitektur Microsoft SQL Server 2005 Analysis Services (SSAS) unterstützt eine Thin Client-Architektur. Das Analysis Services- Berechnungsmodul ist vollständig serverbasiert, sodass alle Abfragen auf dem Server aufgelöst werden. Daher ist für jede Abfrage nur ein Roundtrip zwischen dem Client und dem Server erforderlich, was zu skalierbarer Leistung führt, wenn die Komplexität der Abfragen zunimmt. Das native Protokoll für Analysis Services ist XMLA (XML for Analysis). Analysis Services stellt mehrere Datenzugriffsschnittstellen für Clientanwendungen zur Verfügung. Diese Komponenten verwenden jedoch alle XMLA für die Kommunikation mit einer Instanz von Analysis Services.

20 Clientarchitektur Zusammen mit Analysis Services werden mehrere unterschiedliche Anbieter zur Verfügung gestellt, um unterschiedliche Programmiersprachen zu unterstützen. Ein Anbieter kommuniziert mit einem Server mit Analysis Services, indem XMLA in SOAP- Paketen über TCP/IP oder durch Internetinformationsdienste (Internet Information Services, IIS) über HTTP gesendet und empfangen wird. Eine HTTP-Verbindung verwendet ein von IIS instanziiertes COM- Objekt, das als Datapump bezeichnet wird und als Datenleitung für Analysis Services- Daten fungiert.

21 Clientarchitektur Win32-Clientanwendungen können mithilfe von –OLE DB für OLAP-Schnittstellen –Microsoft ActiveX Data Objects- Objektmodell (ADO) für COM- Automatisierungssprachen (Component Object Model) wie Microsoft Visual Basic Verbindungen zu einem Server mit Analysis Services herstellen. Mit.NET-Sprachen codierte Anwendungen können mithilfe von ADOMD.NET eine Verbindung zu einem Server mit Analysis Services herstellen. Programmier- sprache Datenzugriffs- schnittstelle C++OLE DB für OLAP (OLE DB for OLAP) Visual Basic 6ADO MD.NET-SprachenADOMD.NET Alle Sprachen mit SOAP- Unterstützung XMLA (XML for Analysis)

22 Clientarchitektur Analysis Services verfügt über eine Webarchitektur mit einer vollständig skalierbaren mittleren Ebene, die sowohl in kleineren als auch in großen Organisationen bereitgestellt werden kann. Analysis Services stellt umfassende Unterstützung auf mittlerer Ebene für Webdienste zur Verfügung. ASP-Anwendungen werden von OLE DB für OLAP und ADO MD unterstützt, ASP.NET- Anwendungen werden von ADOMD.NET unterstützt. Die mittlere Ebene ist für viele gleichzeitige Benutzer skalierbar.

23 Clientarchitektur Lokale Cubes und lokale Miningmodelle ermöglichen Analysen auf einer Clientarbeitsstation, wenn deren Verbindung zum Netzwerk getrennt ist. Das lokale Cubemodul (Msmdlocal.dll) unterstützt lokale Cubes und lokale Miningmodelle auf Clientcomputern. Das lokale Cubemodul ist ein In-Process- COM-Server. Eine Clientanwendung ruft den OLE DB-Anbieter für OLAP auf, der das lokale Cubemodul zum Erstellen und Abfragen von lokalen Cubes lädt.

24 Clientarchitektur Ein lokaler Cube kann entweder auf einem vorhandenen, in Analysis Services gespeicherten Cube basieren oder auf einer relationalen OLE DB-Datenbank. –Wenn ein lokaler Cube aus einer relationalen Datenquelle erstellt wird, ist dessen Struktur jener von Cubes in Analysis Services sehr ähnlich. –Wenn ein lokaler Cube aus einer OLAP-Datenquelle erstellt wird, ist der lokale Cube an den Quellcube gebunden. Ein lokaler Cube kann auch ohne eine Ausgangsdatenquelle erstellt werden. Sowohl lokale Cubes als auch lokale Data Mining-Modelle werden in multidimensionalen Cubedateien (CUB) auf einem Clientcomputer gespeichert. –Eine CUB-Datei enthält mindestens einen lokalen Cube, kann jedoch mehrere Cubes enthalten. –Abfragen an die lokalen Cubes werden vom lokalen Cubemodul verarbeitet und benötigen keine Verbindung zu einer Analysis Services- Instanz.

25 Clientarchitektur Das lokale Cubemodul kann auch lokale Data Mining-Modelle erstellen, die in lokalen Cubes verarbeitet wurden. Ein lokales Data Mining-Modell basiert auf einem lokalen Cube und wird in derselben CUB-Datei gespeichert, die auch den lokalen Cube definiert. Lokale Miningmodelle können auch ohne eine Verbindung zu einer Analysis Services-Instanz verwendet werden.

26 Berichte Reporting Tool-Optionen Excel Pivot-Tabellen und Pivot-Charts Office Web Components (OWC) Reporting Services Report Builder Strukturierte Berichte (relational) –Reporting Services, Report Builder Strukturierte Gruppierungen (OLAP) –Excel Pivot-Tabellen- Berichte und Diagramme –Office Web PivotTable Reports und Diagramme –Excel Add-In Accelerator Strukturierte Attribute (Data Mining) –Data Mining-Auswertungs- /Anzeigewerkzeuge

27 Berichte: Excel PivotTables und PivotCharts Excel ist bekannt und oft schon vorhanden Unterstützt AS 2005 Arbeitet mit relationalen und OLAP-Daten GetPivotData fügt Flexibilität hinzu

28 Berichte: Office Web Components (OWC) In eigene Anwendungen einbettbar Flexibler als Excel Bessere Diagramm- Erzeugung als in Excel Benutzerdefinierte Aggregate Keine Office-Lizenz erforderlich VBA/ActiveX-Unterstützung Von Microsoft in SQL Server Studios selbst eingesetzt

29 Berichte: Excel Add-In Accelerator Verbesserte Abfragen Freiform-Modus mit asymmetrischen Berichten, mehreren Datenquellen und flexiblen Formeln Verteilung über Arbeitsblatt/Excel-Datei

30 Berichte: Reporting Services Tabellen, Matrizen, Diagramme Vordefinierte Struktur Interaktivität möglich Strukturierte Daten: relational, OLAP, hierarchisch URL-Zugriff und einbettungsfähig in eigenen Anwendungen Web Service- Unterstützung

31 Berichte: Report Builder Zusatzwerkzeug für die direkte Erstellung von Berichten auf Basis eines Datenmodells für Berichte durch Profi-Benutzer Unterstützt prinzipiell die gleichen Layout- /Abfragefähigkeiten wie Visual Studio für die Standard- Reporting Services

32 Fragen...

33 Konzepte Unified Dimensional Model (UDM) Data Mining Objekte

34 UDM Ein Benutzer, der Informationen direkt aus einer Datenquelle abrufen möchte, wie z. B. aus einer ERP-Datenbank (Enterprise Resource Planning), steht mehreren bedeutenden Herausforderungen gegenüber: –Die Inhalte solcher Datenquellen sind häufig schwer verständlich, da sie für Systeme und Entwickler entwickelt wurden, ohne dabei die Anforderungen des Benutzers zu berücksichtigen. –Die vom Benutzer benötigten Informationen werden häufig auf mehrere heterogene Datenquellen verteilt. Umso schwieriger wird es für den Benutzer, wenn diese Datenquellen unterschiedlichster Arten sind, die neben relationalen Datenbanken auch Dateien und Webdienste beinhalten. –Während viele Datenquellen so ausgerichtet sind, dass sie große Mengen an Transaktionsebenendetails aufnehmen, schließen die zur Unterstützung von Geschäftsentscheidungen durchgeführten Abfragen in vielen Fällen zusammengefasste, aggregierte Informationen ein. Bei sehr großen Datenmengen kann die zum Abrufen solcher zusammengefasster Werte für die interaktive Endbenutzeranalyse erforderliche Zeit ein Hindernis darstellen. –Die Geschäftsregeln sind im Allgemeinen nicht in den Datenquellen gekapselt. Die Benutzer müssen daher die Daten selbst interpretieren.

35 UDM Die Rolle eines UDM (Unified Dimensional Model) besteht darin, eine Brücke zwischen dem Benutzer und den Datenquellen bereitzustellen. Ein UDM wird aus mindestens einer physikalischen Datenquelle hergeleitet. Der Benutzer gibt Abfragen für das UDM mithilfe einer Vielzahl von Clienttools wie Microsoft Excel aus. Es ergeben sich Vorteile für den Endbenutzer, auch wenn das UDM nur als minimale Schicht über der Datenquelle erstellt wird: ein einfacheres, verständlicheres Modell der Daten, das Isolieren heterogener Back-End- Datenquellen sowie Leistungsverbesserungen bei Abfragen. Das UDM bietet die folgenden Vorteile: –Deutlich verbessertes Benutzermodell. –Stellt Abfragen mit hoher Leistung bereit und unterstützt so interaktive Analysen von großen Datenmengen. –Erfasst Geschäftsregeln im Modell zur Unterstützung umfangreicherer Analysen. –Ermöglicht eine Rückkopplung, bei der Benutzer auf die angezeigten Daten reagieren können.

36 UDM Direkter Zugriff auf die Datenquellen (traditionell) Zugreifen auf die Datenquellen mithilfe eines UDM

37 UDM Hierarchien Key Performance Indicators (KPIs) Zeitangaben Übersetzungen Kategorisierung Perspektiven Attributsemantik

38 UDM Erweiterte Analytik

39 UDM BI-Anwendungen Berichtswerkzeug(1) WerkzeugDatenquelle OLAP Browser (2) OLAP Browser (1) Berichtswerkzeug(1) XML/A or ODBO DWUDM AnalysisServices Cache MDX

40 Data Mining Data Mining wird oft als "der Prozess des Extrahierens gültiger, authentischer und aussagefähiger Informationen aus großen Datenbanken" beschrieben. Data Mining ist demnach ein Prozess, der Muster und Trends in Daten aufdeckt. Diese Muster und Trends lassen sich zusammenfassen und als Miningmodell definieren. Miningmodelle werden u. a. auf folgende Geschäftsszenarien angewendet: –Erstellen von Verkaufsprognosen –Durchführen von Direktmarketingaktionen, die auf einen bestimmten Kundenkreis abzielen –Ermitteln von Produkten mit Cross- Selling-Potenzial –Ermitteln der Reihenfolge, in der Kunden Produkte in den Einkaufswagen legen Die Erstellung eines Miningmodells muss als Teil eines größeren Prozesses verstanden werden, der sich von der Definition der zentralen Problemstellung bis hin zur Implementierung des Modells in einer Arbeitsumgebung erstreckt. Ein Data Mining-Prozess besteht im Wesentlichen aus sechs Schritten: 1.Definieren der Problemstellung 2.Vorbereiten der Daten 3.Durchsuchen von Daten 4.Erstellen von Modellen 5.Durchsuchen und Validieren von Modellen 6.Bereitstellen und Aktualisieren von Modellen

41 Data Mining

42 Sobald die Miningmodelle in eine Produktionsumgebung integriert wurden, stehen sie je nach Bedarf für zahlreiche Tasks zur Verfügung. Sie können u. a. folgende Tasks ausführen: –Mithilfe der Modelle Vorhersagen erstellen, die für Geschäftsentscheidung herangezogen werden können. SQL Server stellt die DMX-Sprache zur Verfügung, die Sie zum Erstellen von Vorhersageabfragen verwenden können. Darüber hinaus unterstützt Sie der Generator für Vorhersagebabfragen beim Erstellen der Abfragen. –Data Mining-Funktionen in eine Anwendung integrieren. Sie können Analysis Management Objects (AMO) hinzufügen oder ein Assembly mit mehreren Objekten einbetten. Mit diesen Objekten kann Ihre Anwendung Miningstrukturen und -modelle erstellen, ändern, verarbeiten und löschen. Alternativ können Sie XMLA-Nachrichten (XML for Analysis) direkt an eine Instanz von Analysis Services senden. –Mit Integration Services ein Paket erstellen, in dem mithilfe eines Miningmodells eingehende Daten eigenständig aufgeteilt und mehreren Tabellen zugeordnet werden. Wenn eine Datenbank beispielsweise fortlaufend mit potenziellen Neukunden aktualisiert wird, können Sie ein Miningmodell zusammen mit Integration Services dazu verwenden, die eingehenden Daten zwei verschiedenen Kundengruppen zuzuordnen: Einer Gruppe, deren Kunden wahrscheinlich ein Produkt kaufen, und einer anderen, deren Kunden wahrscheinlich kein Produkt kaufen. –Erstellen Sie einen Bericht, mit dem Abfragen direkt für ein vorhandenes Miningmodell ausgeführt werden können.

43 Data Mining Microsoft SQL Server 2005 Analysis Services (SSAS) beinhaltet folgende Algorithmen: –Microsoft Decision Trees-Algorithmus –Microsoft Clustering-Algorithmus –Microsoft Naive Bayes-Algorithmus –Microsoft Association-Algorithmus –Microsoft Sequence Clustering-Algorithmus –Microsoft Time Series-Algorithmus –Microsoft Neural Network-Algorithmus (SSAS) –Microsoft Logistic Regression-Algorithmus –Microsoft Linear Regression-Algorithmus

44 Data Mining Naïve Bayes Decision Trees Clustering Time Series Sequence Clustering Association Neural Net

45 Data Mining: Naïve Bayes Einfaches und am einfachesten z implementierendes Modell Welches Attribut kann das Attribut am besten vorhersagen?

46 Data Mining: Decision Tree Welcher Attributbaum kann das Ergebnis am besten vorhersagen? Zusammenspiel zwischen Attributen.

47 Data Mining: Cluster Welche Untergruppen sind in den Daten enthalten? Wie verschieden sind die Untergruppen? Finde Muster ohne spezielles Ziel.

48 Data Mining: Association Ähnlich Cluster, aber mit Blick auf eine einzige Transaktion. Welche Produkte werden zusammen gekauft (Warenkorban alyse)?

49 Data Mining: Sequence Cluster Wie Cluster, aber mit Berücksichtigung einer Abfolge Welches Ereignis wird wahrscheinlich danach eintreten (Klickpfade)? Benötigt ein Attribut, um die Abfolge abzubilden.

50 Data Mining: Time Series Welche Trends sind vorhanden? Wie interagieren Trends miteinander? Benötigt ein zeitbasiertes Attribut (Vorschau).

51 Data Mining: Neural Net Erstellt eine mehrschichtige Netzwerk von Neuronen Wie ein Entscheidungsbaum, aber mit dreidimensionaler Knotenstruktur

52 Analysis Services-Objekte Datenquellen: Datenquelle in Analysis Services. Datenquellensichten: ein logisches Datenmodell, das auf mindestens einer Datenquelle in Analysis Services basiert. Cubes: Cubes und Cubeobjekte, einschließlich Measures, Measuregruppen, Dimensionsverwendungbeziehungen, Berechnungen, Key Performance Indicators (KPIs), Aktionen, Übersetzungen, Partitionen und Perspektiven. Dimensionen: Dimensionen und Dimensionsobjekte, einschließlich Attribute, Attributbeziehungen, Hierarchien, Ebenen und Elemente. Miningstrukturen: Miningstrukturen und Miningobjekte, einschließlich Miningmodellen. Rollen: eine Rolle, den Sicherheitsmechanismus, der zum Steuern des Zugriffs auf Objekte in Analysis Services verwendet wird. Assemblys: eine Auflistung von benutzerdefinierten Funktionen, die zum Erweitern der Sprachen MDX und DMX in Analysis Services verwendet werden.

53 Fragen...


Herunterladen ppt "Microsoft SQL Server 2005 Analysis Services / Data Warehousing / Data Mining Architektur und Verwendung."

Ähnliche Präsentationen


Google-Anzeigen