Oracle Warehouse Technologie Single-Engine-Based-Data-Warehouse

Präsentation zum Thema: "Oracle Warehouse Technologie Single-Engine-Based-Data-Warehouse"—  Präsentation transkript:

1

2 Oracle Warehouse Technologie Single-Engine-Based-Data-Warehouse

3 Phasen der Data Warehouse Entwicklung mit Oracle Warehouse Builder 10g R2 (OWB)
Alfred Schlaucher Leitender Berater Business Integration & Data Warehouse ORACLE Deutschland GmbH Tel.: 040 / Stichpunkte zu Ressourcen – schonenden Techniken mit dem Oracle – basierten Data Warehouse

4 Themen business intelligence & data warehouse
Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that let’s get going

5 Themen business intelligence & data warehouse
Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that let’s get going

6 Aufbau und Verwaltung von Data Warehouse-Umgebungen
Verwaltung und Dokumentation Metadaten Ownerschaften Grid Control Effiziente Datenhaltung Speichertechnik ILM Hardware ASM OLAP Datenintegration schnelles Bereitstellen DB-basiertes Laden MDM ETL-Option Qualitäts- management Data Profiling Data Auditing Daten-Zugriff Security Mandanten BI-Anwendungen Standard-Berichte Interaktive Berichte Data Mining Komplexe Analysen

7 Oracle Warehouse Builder
Design des kompletten Data Warehouse Systems Logisches Design und Beschreibungsinformationen Physisches Oracle Datenbank Design Fast alle Datenbankobjekte von Oracle 10g Bereitstellung der Datenbeschaffungsroutinen Runtime – System Universelles Metadatenrepository Automatisiertes ETL durch Scriptsprache Data Quality / Data Profiling Zugang zu allen EAI – Komponenten von Oracle 10g

8 Neue Anforderungen an Datenintegration und Datenmanagement
Immer mehr Anwender benutzen Daten Herausforderungen für Datenintegration und Datenmanagement Die Anzahl der Systeme und damit der Schnittstellen steigt Die Bereitsstellungszeit der Daten wird zunehmend kürzer Beispiel: Globus hat in seinem Data Warehouse 2000 Benutzer zu gelassen Ca. 200 – 300 sind zu bestimmten Zeiten gleichzeitig angemeldet. Bestimmte Berichte werden alle 30 Minuten aktualisiert. Benutzer fragen bis 10 mal täglich bestimmte aktualisierte Berichte ab. Kampagnen werden gefahren. In welchen Filialen laufen welche Kampagnenartikel besonders gut. Datenmengen wachsen

9 Datenintegrations- und Datenmanagementaufgaben
Zusammenführen von Daten aus heterogenen Systemen Korrigieren von Daten Garantieren von Datenqualität Datenmigration von System zu System Harmonisieren von Datenbeständen Inhaltliches Angleichen Synchronisieren z. B. Abstimmung von verschiedenen Schlüsseln Zuliefern von Daten Benutzergerechtes Bereitstellen Verwalten von Datenbeständen z. B. Historisieren / Archivieren / ILM

10 „Lösungen“ der Vergangenheit
Programmierung von Hand Zerstreute Programm-Sourcen Fehler bei der Entwicklung Unnötige Doppelarbeit Schlechte oder fehlende Dokumentation Schlechte Wartbarkeit Enorme Folgekosten Unkündbare „Inselexperten“ Immer wieder „Katastrophen“ im Echtbetrieb Wie war das nur?

11 Die Geschichte der ETL-Tools geht in Richtung integrierter Werkzeuge
1992 1996 2000 2005 Datenbankbasierte ETL-Werkzeuge Separate Engine-gestützte ETL-Werkzeuge Programm- generatoren Handprogrammierung

12 Enterprise Service Bus
Schnittstellenkomponenten Oracle Data Warehouse In Memory nn JCA COM+ SOAP WSIF & JBI Enterprise Service Bus Routing QOS BPEL Transform Rules FlatFile Oracle (Remote) Log XML FlatFile SAP Int. DB2 OS390, UDB Sybase, Informix, SQL-Server... PL/SQL Warehouse Datenbank Ext. Table XML Port FTP Port Streams tcp CDC Access/Excel Gateway UTL_FILE MessageBroker DB-Link XML ODBC Peoplesoft Queue DB-Link Adapter XML Queue Siebel Tabellen View SQL Loader Sequenz Index Cube Webservices MView Procedure Function FlatFile XML

13 Metadaten gestützte Steuerungslogik für das Data Warehouse
Repository Steuertabellen Variablen Variablen Workflow / BPEL

14 Graphische Entwicklung des Datenbank-basierten ETL-Verfahrens mit OWB
Errortable-Verfahren Flashback-Verfahren Datenkomprimierung Faktor 2 – 4 SQL Partition-Exchange-Load Streams Change Data Capture Transport Tablespace External Tables Downstream Capture Table Functions Advanced Q. Multi Table INSERT MERGE

15 Oracle Warehouse Builder ist das ETL-Tool der Wahl in Oracle-Umgebungen!
Design des kompletten Data Warehouse Systems Logisches Design und Dokumentation Physisches Oracle Datenbank Design Fast alle Datenbankobjekte von Oracle 10g 100 % SQL 100 % PL / SQL - Generierung Bereitstellung der Datenbeschaffungsroutinen Laufzeit – System zur Fehlerkontrolle Universelles Metadatenrepository Automatisiertes ETL durch Scriptsprache Data Quality / Data Profiling Hat bereits mehr Installationen als andere Mitbewerber

16 Vorteile durch Generieren statt Programmieren
Vermindern von Fehlern durch Handprogrammierung Tabellen- und Spaltennamen müssen nicht mehr mühsam geschrieben werden Steuerung vieler Entwicklungsschritte durch Wizards Automatische Steuerung von Ziel- und Quellschemen Automatische Validierung (z. B. Typverträglichkeiten) Debugging der Laderoutinen Laufzeitumgebung steht bereit Dokumentation In der ETL – Tool – Diskussion ist immer darüber gestritten worden, ob es günstiger ist Laderoutinen von Hand zu programmieren oder Tools einzusetzen. Die Entscheidung ist längst gefallen, Tools haben sich durchgesetzt.

17 Datenbank-basiertes Laden

18 Datenbank – basiertes ETL
SQL basiert, d. h. die Oracle Datenbank wird ausgenutzt Möglichkeit primär mengenbasierte Operationen durchzuführen Wesentlich höhere Performance Automatisiertes Datenbankgeregelte Parallelisieren Datenbankgestütztes Ressources - Management Unterstützung aller aktuellen Datenbank – ETL – Funktionen wie Multiple Inserts Merge (Insert/Update) Direct Path Load Table Functions Partition Exchange and Load

19 Datenbank – basiertes ETL
Vollständige Hints – Bibliothek Verwendung aller Datenbank – Funktionen, z. B. auch analytische Funktionen Im Gegensatz zu den von 3. Herstellern nachgebildeten z. T. unvollständigen Funktionen (Beispiel SQL CASE, Decode) Datennahes Entwickeln Leichtes performantes und mengenbasiertes Updaten von Sätzen Ausnutzen temporärere Strukturen Temp – Tables Cache – Tables Ausnutzen besonders schneller Tabellen – Objekte Index – Based Tables Direkter Zugriff auf Tabelleninhalte

20 Datenbank - basiertes ETL
Nähe zu Katalogstrukturen Alle Informationen stehen sofort zur Verfügung Komplett – Definition aller physikalischen Objekte im Data Warehouse (Tables, Index, Materialised Views, Partitioning ...)

21 Datenbank – basiertes ETL im Zusammenhang mit OWB
ETL - Integriertes Data Quality Data Cleansing / Data Profiling ETL – Makro – Bildung / Experts Integrierte datenbankbasierte Workflow – Umgebung Web – basiertes Auswerten von Metadaten und Laufzeitergebnissen Unterstützung der Datenbank – Near Realtime – Funktionalität wie Queues, Streams, CDC, Web Services

22 Workflow-Steuerung

23 4 – Schichten Prozessverwaltung
Column Transformation Tabellen- Mapping Teil- Prozess Gesamt- Ein 4 – stufiges Workflow – Konzept sollte möglich sein. Auf der untersten Ebene sind es die auf Column – Ebene stattfindenden Prüfungen und Bearbeitungen. Das sind letztlich Funktionsbausteine. Die nächste Ebene sind Wandlungen auf dem Level ganzer Tabellen. Transformationen auf eine zusammenhängende Gruppen von Tabellen sind als Teilprozess zusammenzufassen. Der gesamte Befüllungsprozess für ein Warehouse muss über einen Gesamtprozess abgebildet werden.

24 Es gibt 3 Hauptgründe für den Einsatz von OWB
Performance Effizientere Warehouse Architekturen Preis

25 Komponenten OWB Control Center Change Manager Datenmodeller Scheduler
Repository Browser Runtime Audit Data Viewer Experts-Macros Mapper Rules Editor Dependencies Process Editor Data Profiler

26 Das OWB Entwicklungs – Szenario
Design Metadaten OWB-Modelle Runtime Metadaten (Deploys) Unified Repository OWB Datenfluss Deploy Import Design My_Project Modul Bestelldaten Modul Warehouse Bestellung WH_ Transaktionen Quell-Systeme Ziel-System SRC DWH Oracle 9i /10g Oracle 9i/10g Warehouse tabellen Bestellung Tabellen WH_Trans- aktionen Location LOC_SRC LOC_DWH PL/SQL

27 Enterprise Service Bus
Schnittstellenkomponenten Oracle Data Warehouse In Memory nn JCA COM+ SOAP WSIF & JBI Enterprise Service Bus Routing QOS BPEL Transform Rules FlatFile Oracle (Remote) Log XML FlatFile SAP Int. DB2 OS390, UDB Sybase, Informix, SQL-Server... PL/SQL Warehouse Datenbank Ext. Table XML Port FTP Port Streams tcp CDC Access/Excel Gateway UTL_FILE MessageBroker DB-Link XML ODBC Peoplesoft Queue DB-Link Adapter XML Queue Siebel Tabellen View SQL Loader Sequenz Index Cube Webservices MView Procedure Function FlatFile XML

28

29 Themen business intelligence & data warehouse
Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that let’s get going

30 System- Quellen- entwurf studium Ziel- Daten- modelle Prozess- analyse
Data Profiling Reverse Engineering System- entwurf Bebauungspläne Komponenten Quellen- studium Ziel- Daten- modelle 3NF Dimensional Mdimensional Prozess- analyse Prozessmodell Objektmodell Daten- bank- entwurf Info FA fehlerhafte Prozesse DDL / DML Knowledge Daten- transport Metadaten Info FA ETL Test- daten Laufzeit- management Jobmanagement Weiter

31 Hinterlegung fachlicher Beschreibungen
Zurück

32 Analyse der Quelldaten - Data Profiling
Zurück Zrück

33 Das gesamte System modellieren Zurück

34 Datenmodelle entwerfen Zurück

35 Komplette Definition von Tabellen Zurück

36 Transformationen mit Mappings

37 Zusätzliche Hilfsfenster
des Mappingeditors

38 Operatoren des Mappingeditors Zurück

39 Testdaten- generierung Zurück

40 Zusammenfassen von Mappings zu Prozessen

41 Prozesssteuerung z. B. mit Schleifen und Variablen

42 Reporting über stattgefundene Ladeläufe
Zurück

43 Abhängigkeits- und Auswirkungsanalyse
Zurück

44 Individuelle Listenreports über Metadaten
HTMLDB Zurück

45 Themen business intelligence & data warehouse
Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that let’s get going

46 Weitere Infos Die neue Software OWB 10G R2 (Paris) kann über OTN bezogen werden. Neue Projekte sollten nur mit diesem Release beginnen. Step By Step kann bestellt werden bei: oder Tel.: 040 /

47

48 Vorgehensweise Entwickeln Multidimensionale Strukturen mit OWB
Data Object Editor Control Center Mapping Editor Control Center Binding / Ableitung Relationale Tabellen Generierung Dimensions und Tabellen Definition Mappings Dim + Fakten Generierung Mappings (PLSQL) Definition Dimensionen und Fakten Zuweisen Analytical Workspace + Def. Aggregationen Generierung Dimensionale Objekte in Analytical Workspace Definition 1 Mapping Cube Generierung Mappings Cube DML

49 Themen business intelligence & data warehouse
Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that let’s get going

50 Verschiedene Arten der Erstellung der Zeitdimension

51 Storage Type ROLAP / MOLAP

52 Festlegen Anzahl Jahre

53 Auswahl Hierarchie-Level

54 Übersicht generierte Objekte zum Aufbau der Zeitdimension Mapping Dimensional Table Table Sequence

55 Generiertes Mapping zum Laden der Kalenderdaten

56 Ergebnisdaten (DatenViewer)

57 Themen business intelligence & data warehouse
Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that let’s get going

58 Data Objekt Editor

59 Eine Dimension definieren - Dimensionsattribute

60 Eine Dimension definieren - Dimensionslevel

61 Eine Dimension definieren - Dimensionshierarchie

62 Eine Dimension definieren - Speicherart

63 Sparsity- Eigenschaften definieren

64 Die Art der Vorberechnungen
für die Kennzahlen festlegen

65 Themen business intelligence & data warehouse
Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that let’s get going

66 Control Center

67 Generierter Code zur Definition eines Würfels

68 Themen business intelligence & data warehouse
Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that let’s get going

69 Mapping zum Befüllen einer Zwischentabelle

70 Operatoren des Mappingeditors

71 Einfaches Mapping zur Befüllung eines Würfels - Eingeblendet ist die OLAP-Sicht

72 Themen business intelligence & data warehouse
Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that let’s get going

73 Themen business intelligence & data warehouse
Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that let’s get going

74 Process-Editor

75 Metadaten-Dependency-Manager

76 Metadaten-Browser (Web)

77 Job-Kontrolle im Web

78