Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Oracle Warehouse Technologie Single-Engine-Based-Data-Warehouse.

Ähnliche Präsentationen


Präsentation zum Thema: "Oracle Warehouse Technologie Single-Engine-Based-Data-Warehouse."—  Präsentation transkript:

1

2 Oracle Warehouse Technologie Single-Engine-Based-Data-Warehouse

3 Phasen der Data Warehouse Entwicklung mit Oracle Warehouse Builder 10g R2 (OWB) Stichpunkte zu Ressourcen – schonenden Techniken mit dem Oracle – basierten Data Warehouse Alfred Schlaucher Leitender Berater Business Integration & Data Warehouse ORACLE Deutschland GmbH Tel.: 040 /

4 Themen Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung business intelligence & data warehouse

5 Themen Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung business intelligence & data warehouse

6 Verwaltung und Dokumentation Metadaten Ownerschaften Grid Control Aufbau und Verwaltung von Data Warehouse-Umgebungen Effiziente Datenhaltung Speichertechnik ILM Hardware ASM OLAP Datenintegration schnelles Bereitstellen DB-basiertes Laden MDM ETL-Option Qualitäts- management Data Profiling Data Auditing Daten-Zugriff Security Mandanten BI-Anwendungen Standard-Berichte Interaktive Berichte Data Mining Komplexe Analysen

7 Oracle Warehouse Builder Design des kompletten Data Warehouse Systems Logisches Design und Beschreibungsinformationen Physisches Oracle Datenbank Design Fast alle Datenbankobjekte von Oracle 10g Bereitstellung der Datenbeschaffungsroutinen Runtime – System Universelles Metadatenrepository Automatisiertes ETL durch Scriptsprache Data Quality / Data Profiling Zugang zu allen EAI – Komponenten von Oracle 10g

8 Immer mehr Anwender benutzen Daten Die Anzahl der Systeme und damit der Schnittstellen steigt Die Bereitsstellungszeit der Daten wird zunehmend kürzer Datenmengen wachsen Herausforderungen für Datenintegration und Datenmanagement Neue Anforderungen an Datenintegration und Datenmanagement

9 Datenintegrations- und Datenmanagementaufgaben Zusammenführen von Daten aus heterogenen Systemen Korrigieren von Daten Garantieren von Datenqualität Datenmigration von System zu System Harmonisieren von Datenbeständen Inhaltliches Angleichen Synchronisieren z. B. Abstimmung von verschiedenen Schlüsseln Zuliefern von Daten Benutzergerechtes Bereitstellen Verwalten von Datenbeständen z. B. Historisieren / Archivieren / ILM

10 Lösungen der Vergangenheit Programmierung von Hand Zerstreute Programm-Sourcen Fehler bei der Entwicklung Unnötige Doppelarbeit Schlechte oder fehlende Dokumentation Schlechte Wartbarkeit Enorme Folgekosten Unkündbare Inselexperten Immer wieder Katastrophen im Echtbetrieb Wie war das nur?

11 Die Geschichte der ETL-Tools geht in Richtung integrierter Werkzeuge Handprogrammierung Programm- generatoren Separate Engine-gestützte ETL-Werkzeuge Datenbankbasierte ETL-Werkzeuge 2005

12 Warehouse Datenbank Tabellen Index View MView Sequenz Function Procedure Cube Log Access/Excel MessageBroker Siebel Peoplesoft Webservices DB2 OS390, UDB Sybase, Informix, SQL-Server... Oracle (Remote) XML PL/SQL UTL_FILE XML DB-Link Queue Gateway ODBC DB-Link Queue CDC tcp Adapter Streams Ext. Table SAP Int. Schnittstellenkomponenten Oracle Data Warehouse XML Port XML Port XML FlatFile FTP Port FTP Port FlatFile SQL Loader XML In Memory nnJCACOM+SOAP WSIF & JBI Enterprise Service Bus RoutingQOSBPELTransformRules

13 Repository Variablen Steuertabellen Metadaten gestützte Steuerungslogik für das Data Warehouse Workflow / BPEL A1

14 Graphische Entwicklung des Datenbank-basierten ETL-Verfahrens mit OWB SQL Partition-Exchange-Load Streams Change Data Capture Transport Tablespace External Tables Downstream Capture Table Functions Advanced Q. Multi Table INSERT MERGE Errortable-Verfahren Flashback-Verfahren Datenkomprimierung Faktor 2 – 4 A6

15 Oracle Warehouse Builder ist das ETL- Tool der Wahl in Oracle-Umgebungen! Design des kompletten Data Warehouse Systems Logisches Design und Dokumentation Physisches Oracle Datenbank Design Fast alle Datenbankobjekte von Oracle 10g 100 % SQL 100 % PL / SQL - Generierung Bereitstellung der Datenbeschaffungsroutinen Laufzeit – System zur Fehlerkontrolle Universelles Metadatenrepository Automatisiertes ETL durch Scriptsprache Data Quality / Data Profiling Hat bereits mehr Installationen als andere Mitbewerber

16 Vorteile durch Generieren statt Programmieren Vermindern von Fehlern durch Handprogrammierung Tabellen- und Spaltennamen müssen nicht mehr mühsam geschrieben werden Steuerung vieler Entwicklungsschritte durch Wizards Automatische Steuerung von Ziel- und Quellschemen Automatische Validierung (z. B. Typverträglichkeiten) Debugging der Laderoutinen Laufzeitumgebung steht bereit Dokumentation

17 Datenbank-basiertes Laden

18 Datenbank – basiertes ETL SQL basiert, d. h. die Oracle Datenbank wird ausgenutzt Möglichkeit primär mengenbasierte Operationen durchzuführen Wesentlich höhere Performance Automatisiertes Datenbankgeregelte Parallelisieren Datenbankgestütztes Ressources - Management Unterstützung aller aktuellen Datenbank – ETL – Funktionen wie Multiple Inserts Merge (Insert/Update) Direct Path Load Table Functions Partition Exchange and Load

19 Datenbank – basiertes ETL Vollständige Hints – Bibliothek Verwendung aller Datenbank – Funktionen, z. B. auch analytische Funktionen Im Gegensatz zu den von 3. Herstellern nachgebildeten z. T. unvollständigen Funktionen (Beispiel SQL CASE, Decode) Datennahes Entwickeln Leichtes performantes und mengenbasiertes Updaten von Sätzen Ausnutzen temporärere Strukturen Temp – Tables Cache – Tables Ausnutzen besonders schneller Tabellen – Objekte Index – Based Tables Direkter Zugriff auf Tabelleninhalte

20 Datenbank - basiertes ETL Nähe zu Katalogstrukturen Alle Informationen stehen sofort zur Verfügung Komplett – Definition aller physikalischen Objekte im Data Warehouse (Tables, Index, Materialised Views, Partitioning...)

21 Datenbank – basiertes ETL im Zusammenhang mit OWB ETL - Integriertes Data Quality Data Cleansing / Data Profiling ETL – Makro – Bildung / Experts Integrierte datenbankbasierte Workflow – Umgebung Web – basiertes Auswerten von Metadaten und Laufzeitergebnissen Unterstützung der Datenbank – Near Realtime – Funktionalität wie Queues, Streams, CDC, Web Services

22 Workflow-Steuerung

23 Column Transformation Tabellen- Mapping Teil- Prozess Gesamt- Prozess 4 – Schichten Prozessverwaltung

24 Es gibt 3 Hauptgründe für den Einsatz von OWB 1. Performance 2. Effizientere Warehouse Architekturen 3. Preis

25 Datenmodeller Change Manager Data Viewer Repository Browser Mapper Control Center Scheduler Runtime Audit Process Editor Rules Editor Experts-Macros Dependencies Data Profiler Komponenten OWB

26 Quell-Systeme Ziel-System SRCDWH Oracle 9i /10g Warehouse tabellen Warehouse tabellen Bestellung Tabellen Warehouse tabellen Warehouse tabellen WH_Trans- aktionen Tabellen My_Project PL/SQL Design Metadaten OWB-Modelle Runtime Metadaten (Deploys) Unified Repository OWB Datenfluss Deploy Import Design Location LOC_SRC Location LOC_DWH Modul BestelldatenModul Warehouse BestellungWH_ Transaktionen Das OWB Entwicklungs – Szenario

27 Warehouse Datenbank Tabellen Index View MView Sequenz Function Procedure Cube Log Access/Excel MessageBroker Siebel Peoplesoft Webservices DB2 OS390, UDB Sybase, Informix, SQL-Server... Oracle (Remote) XML PL/SQL UTL_FILE XML DB-Link Queue Gateway ODBC DB-Link Queue CDC tcp Adapter Streams Ext. Table SAP Int. Schnittstellenkomponenten Oracle Data Warehouse XML Port XML Port XML FlatFile FTP Port FTP Port FlatFile SQL Loader XML In Memory nnJCACOM+SOAP WSIF & JBI Enterprise Service Bus RoutingQOSBPELTransformRules

28

29 Themen Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung business intelligence & data warehouse

30 Laufzeit- management Prozess- analyse Quellen- studium Ziel- Daten- modelle Daten- bank- entwurf Test- daten Info FA fehlerhafte Prozesse Info FA Daten- transport System- entwurf Prozessmodell Objektmodell Data Profiling Reverse Engineering Bebauungspläne Komponenten 3NF Dimensional Mdimensional DDL / DML ETL Jobmanagement Metadaten Knowledge Weiter

31 Zurück Hinterlegung fachlicher Beschreibungen

32 Zrück Analyse der Quelldaten - Data Profiling Zurück

33 Das gesamte System modellieren Zurück

34 Datenmodelle entwerfen Zurück

35 Komplette Definition von Tabellen Zurück

36 Transformationen mit Mappings

37 Zusätzliche Hilfsfenster des Mappingeditors

38 Operatoren des Mappingeditors Zurück

39 Testdaten- generierung Zurück

40 Zusammenfassen von Mappings zu Prozessen

41 Prozesssteuerung z. B. mit Schleifen und Variablen

42 Reporting über stattgefundene Ladeläufe Zurück

43 Abhängigkeits- und Auswirkungsanalyse Zurück

44 Individuelle Listenreports über Metadaten HTMLDB Zurück

45 Themen Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung business intelligence & data warehouse

46 Weitere Infos Die neue Software OWB 10G R2 (Paris) kann über OTN bezogen werden. oder Tel.: 040 / Neue Projekte sollten nur mit diesem Release beginnen. Step By Step kann bestellt werden bei:

47

48 Vorgehensweise Entwickeln Multidimensionale Strukturen mit OWB Definition Dimensionen und Fakten Binding / Ableitung Relationale Tabellen Generierung Dimensions und Tabellen Definition Mappings Dim + Fakten Generierung Mappings (PLSQL) Zuweisen Analytical Workspace + Def. Aggregationen Generierung Dimensionale Objekte in Analytical Workspace Definition 1 Mapping Cube Generierung Mappings Cube DML Data Object EditorControl CenterMapping EditorControl Center

49 Themen Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung business intelligence & data warehouse

50 Verschiedene Arten der Erstellung der Zeitdimension

51 Storage Type ROLAP / MOLAP

52 Festlegen Anzahl Jahre

53 Auswahl Hierarchie-Level

54 Mapping Dimensional Table Table Sequence Übersicht generierte Objekte zum Aufbau der Zeitdimension

55 Generiertes Mapping zum Laden der Kalenderdaten

56 Ergebnisdaten (DatenViewer)

57 Themen Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung business intelligence & data warehouse

58 Data Objekt Editor

59 Eine Dimension definieren - Dimensionsattribute

60 Eine Dimension definieren - Dimensionslevel

61 Eine Dimension definieren - Dimensionshierarchie

62 Eine Dimension definieren - Speicherart

63 Sparsity- Eigenschaften definieren

64 Die Art der Vorberechnungen für die Kennzahlen festlegen

65 Themen Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung business intelligence & data warehouse

66 Control Center

67 Generierter Code zur Definition eines Würfels

68 Themen Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung business intelligence & data warehouse

69 Mapping zum Befüllen einer Zwischentabelle

70 Operatoren des Mappingeditors

71 Einfaches Mapping zur Befüllung eines Würfels - Eingeblendet ist die OLAP-Sicht

72 Themen Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung business intelligence & data warehouse

73 Themen Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung business intelligence & data warehouse

74 Process-Editor

75 Metadaten-Dependency-Manager

76 Metadaten-Browser (Web)

77 Job-Kontrolle im Web

78


Herunterladen ppt "Oracle Warehouse Technologie Single-Engine-Based-Data-Warehouse."

Ähnliche Präsentationen


Google-Anzeigen