Oracle Warehouse Technologie Single-Engine-Based-Data-Warehouse

Phasen der Data Warehouse Entwicklung mit Oracle Warehouse Builder 10g R2 (OWB) Alfred Schlaucher Leitender Berater Business Integration & Data Warehouse ORACLE Deutschland GmbH Tel.: 040 / 89091-132 Email: Alfred.Schlaucher@Oracle.com Stichpunkte zu Ressourcen – schonenden Techniken mit dem Oracle – basierten Data Warehouse

Themen business intelligence & data warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that . . . let’s get going

Themen business intelligence & data warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that . . . let’s get going

Aufbau und Verwaltung von Data Warehouse-Umgebungen Verwaltung und Dokumentation Metadaten Ownerschaften Grid Control Effiziente Datenhaltung Speichertechnik ILM Hardware ASM OLAP Datenintegration schnelles Bereitstellen DB-basiertes Laden MDM ETL-Option Qualitäts- management Data Profiling Data Auditing Daten-Zugriff Security Mandanten BI-Anwendungen Standard-Berichte Interaktive Berichte Data Mining Komplexe Analysen

Oracle Warehouse Builder Design des kompletten Data Warehouse Systems Logisches Design und Beschreibungsinformationen Physisches Oracle Datenbank Design Fast alle Datenbankobjekte von Oracle 10g Bereitstellung der Datenbeschaffungsroutinen Runtime – System Universelles Metadatenrepository Automatisiertes ETL durch Scriptsprache Data Quality / Data Profiling Zugang zu allen EAI – Komponenten von Oracle 10g

Neue Anforderungen an Datenintegration und Datenmanagement Immer mehr Anwender benutzen Daten Herausforderungen für Datenintegration und Datenmanagement Die Anzahl der Systeme und damit der Schnittstellen steigt Die Bereitsstellungszeit der Daten wird zunehmend kürzer Beispiel: Globus hat in seinem Data Warehouse 2000 Benutzer zu gelassen Ca. 200 – 300 sind zu bestimmten Zeiten gleichzeitig angemeldet. Bestimmte Berichte werden alle 30 Minuten aktualisiert. Benutzer fragen bis 10 mal täglich bestimmte aktualisierte Berichte ab. Kampagnen werden gefahren. In welchen Filialen laufen welche Kampagnenartikel besonders gut. Datenmengen wachsen

Datenintegrations- und Datenmanagementaufgaben Zusammenführen von Daten aus heterogenen Systemen Korrigieren von Daten Garantieren von Datenqualität Datenmigration von System zu System Harmonisieren von Datenbeständen Inhaltliches Angleichen Synchronisieren z. B. Abstimmung von verschiedenen Schlüsseln Zuliefern von Daten Benutzergerechtes Bereitstellen Verwalten von Datenbeständen z. B. Historisieren / Archivieren / ILM

„Lösungen“ der Vergangenheit Programmierung von Hand Zerstreute Programm-Sourcen Fehler bei der Entwicklung Unnötige Doppelarbeit Schlechte oder fehlende Dokumentation Schlechte Wartbarkeit Enorme Folgekosten Unkündbare „Inselexperten“ Immer wieder „Katastrophen“ im Echtbetrieb Wie war das nur?

Die Geschichte der ETL-Tools geht in Richtung integrierter Werkzeuge 1992 1996 2000 2005 Datenbankbasierte ETL-Werkzeuge Separate Engine-gestützte ETL-Werkzeuge Programm- generatoren Handprogrammierung

Enterprise Service Bus Schnittstellenkomponenten Oracle Data Warehouse In Memory nn JCA COM+ SOAP WSIF & JBI Enterprise Service Bus Routing QOS BPEL Transform Rules FlatFile Oracle (Remote) Log XML FlatFile SAP Int. DB2 OS390, UDB Sybase, Informix, SQL-Server... PL/SQL Warehouse Datenbank Ext. Table XML Port FTP Port Streams tcp CDC Access/Excel Gateway UTL_FILE MessageBroker DB-Link XML ODBC Peoplesoft Queue DB-Link Adapter XML Queue Siebel Tabellen View SQL Loader Sequenz Index Cube Webservices MView Procedure Function FlatFile XML eMail

Metadaten gestützte Steuerungslogik für das Data Warehouse Repository Steuertabellen Variablen Variablen Workflow / BPEL

Graphische Entwicklung des Datenbank-basierten ETL-Verfahrens mit OWB Errortable-Verfahren Flashback-Verfahren Datenkomprimierung Faktor 2 – 4 SQL Partition-Exchange-Load Streams Change Data Capture Transport Tablespace External Tables Downstream Capture Table Functions Advanced Q. Multi Table INSERT MERGE

Oracle Warehouse Builder ist das ETL-Tool der Wahl in Oracle-Umgebungen! Design des kompletten Data Warehouse Systems Logisches Design und Dokumentation Physisches Oracle Datenbank Design Fast alle Datenbankobjekte von Oracle 10g 100 % SQL 100 % PL / SQL - Generierung Bereitstellung der Datenbeschaffungsroutinen Laufzeit – System zur Fehlerkontrolle Universelles Metadatenrepository Automatisiertes ETL durch Scriptsprache Data Quality / Data Profiling Hat bereits mehr Installationen als andere Mitbewerber

Vorteile durch Generieren statt Programmieren Vermindern von Fehlern durch Handprogrammierung Tabellen- und Spaltennamen müssen nicht mehr mühsam geschrieben werden Steuerung vieler Entwicklungsschritte durch Wizards Automatische Steuerung von Ziel- und Quellschemen Automatische Validierung (z. B. Typverträglichkeiten) Debugging der Laderoutinen Laufzeitumgebung steht bereit Dokumentation In der ETL – Tool – Diskussion ist immer darüber gestritten worden, ob es günstiger ist Laderoutinen von Hand zu programmieren oder Tools einzusetzen. Die Entscheidung ist längst gefallen, Tools haben sich durchgesetzt.

Datenbank-basiertes Laden

Datenbank – basiertes ETL SQL basiert, d. h. die Oracle Datenbank wird ausgenutzt Möglichkeit primär mengenbasierte Operationen durchzuführen Wesentlich höhere Performance Automatisiertes Datenbankgeregelte Parallelisieren Datenbankgestütztes Ressources - Management Unterstützung aller aktuellen Datenbank – ETL – Funktionen wie Multiple Inserts Merge (Insert/Update) Direct Path Load Table Functions Partition Exchange and Load

Datenbank – basiertes ETL Vollständige Hints – Bibliothek Verwendung aller Datenbank – Funktionen, z. B. auch analytische Funktionen Im Gegensatz zu den von 3. Herstellern nachgebildeten z. T. unvollständigen Funktionen (Beispiel SQL CASE, Decode) Datennahes Entwickeln Leichtes performantes und mengenbasiertes Updaten von Sätzen Ausnutzen temporärere Strukturen Temp – Tables Cache – Tables Ausnutzen besonders schneller Tabellen – Objekte Index – Based Tables Direkter Zugriff auf Tabelleninhalte

Datenbank - basiertes ETL Nähe zu Katalogstrukturen Alle Informationen stehen sofort zur Verfügung Komplett – Definition aller physikalischen Objekte im Data Warehouse (Tables, Index, Materialised Views, Partitioning ...)

Datenbank – basiertes ETL im Zusammenhang mit OWB ETL - Integriertes Data Quality Data Cleansing / Data Profiling ETL – Makro – Bildung / Experts Integrierte datenbankbasierte Workflow – Umgebung Web – basiertes Auswerten von Metadaten und Laufzeitergebnissen Unterstützung der Datenbank – Near Realtime – Funktionalität wie Queues, Streams, CDC, Web Services

Workflow-Steuerung

4 – Schichten Prozessverwaltung Column Transformation Tabellen- Mapping Teil- Prozess Gesamt- Ein 4 – stufiges Workflow – Konzept sollte möglich sein. Auf der untersten Ebene sind es die auf Column – Ebene stattfindenden Prüfungen und Bearbeitungen. Das sind letztlich Funktionsbausteine. Die nächste Ebene sind Wandlungen auf dem Level ganzer Tabellen. Transformationen auf eine zusammenhängende Gruppen von Tabellen sind als Teilprozess zusammenzufassen. Der gesamte Befüllungsprozess für ein Warehouse muss über einen Gesamtprozess abgebildet werden.

Es gibt 3 Hauptgründe für den Einsatz von OWB Performance Effizientere Warehouse Architekturen Preis

Komponenten OWB Control Center Change Manager Datenmodeller Scheduler Repository Browser Runtime Audit Data Viewer Experts-Macros Mapper Rules Editor Dependencies Process Editor Data Profiler

Das OWB Entwicklungs – Szenario Design Metadaten OWB-Modelle Runtime Metadaten (Deploys) Unified Repository OWB Datenfluss Deploy Import Design My_Project Modul Bestelldaten Modul Warehouse Bestellung WH_ Transaktionen Quell-Systeme Ziel-System SRC DWH Oracle 9i /10g Oracle 9i/10g Warehouse tabellen Bestellung Tabellen WH_Trans- aktionen Location LOC_SRC LOC_DWH PL/SQL

Enterprise Service Bus Schnittstellenkomponenten Oracle Data Warehouse In Memory nn JCA COM+ SOAP WSIF & JBI Enterprise Service Bus Routing QOS BPEL Transform Rules FlatFile Oracle (Remote) Log XML FlatFile SAP Int. DB2 OS390, UDB Sybase, Informix, SQL-Server... PL/SQL Warehouse Datenbank Ext. Table XML Port FTP Port Streams tcp CDC Access/Excel Gateway UTL_FILE MessageBroker DB-Link XML ODBC Peoplesoft Queue DB-Link Adapter XML Queue Siebel Tabellen View SQL Loader Sequenz Index Cube Webservices MView Procedure Function FlatFile XML eMail

Themen business intelligence & data warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that . . . let’s get going

System- Quellen- entwurf studium Ziel- Daten- modelle Prozess- analyse Data Profiling Reverse Engineering System- entwurf Bebauungspläne Komponenten Quellen- studium Ziel- Daten- modelle 3NF Dimensional Mdimensional Prozess- analyse Prozessmodell Objektmodell Daten- bank- entwurf Info FA fehlerhafte Prozesse DDL / DML Knowledge Daten- transport Metadaten Info FA ETL Test- daten Laufzeit- management Jobmanagement Weiter

Hinterlegung fachlicher Beschreibungen Zurück

Analyse der Quelldaten - Data Profiling Zurück Zrück

Das gesamte System modellieren Zurück

Datenmodelle entwerfen Zurück

Komplette Definition von Tabellen Zurück

Transformationen mit Mappings

Zusätzliche Hilfsfenster des Mappingeditors

Operatoren des Mappingeditors Zurück

Testdaten- generierung Zurück

Zusammenfassen von Mappings zu Prozessen

Prozesssteuerung z. B. mit Schleifen und Variablen

Reporting über stattgefundene Ladeläufe Zurück

Abhängigkeits- und Auswirkungsanalyse Zurück

Individuelle Listenreports über Metadaten HTMLDB Zurück

Themen business intelligence & data warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Phasen der Data Warehouse Entwicklung - unterstützt durch OWB Weitere Informationen und Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that . . . let’s get going

Weitere Infos http://www.oracle.com/technology/products/warehouse/index.html Die neue Software OWB 10G R2 (Paris) kann über OTN bezogen werden. http://www.oracle.com/technology/software/products/warehouse/index.html Neue Projekte sollten nur mit diesem Release beginnen. Step By Step kann bestellt werden bei: Email: Alfred.Schlaucher@Oracle.com oder Tel.: 040 / 89091-132

Vorgehensweise Entwickeln Multidimensionale Strukturen mit OWB Data Object Editor Control Center Mapping Editor Control Center Binding / Ableitung Relationale Tabellen Generierung Dimensions und Tabellen Definition Mappings Dim + Fakten Generierung Mappings (PLSQL) Definition Dimensionen und Fakten Zuweisen Analytical Workspace + Def. Aggregationen Generierung Dimensionale Objekte in Analytical Workspace Definition 1 Mapping Cube Generierung Mappings Cube DML

Themen business intelligence & data warehouse Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that . . . let’s get going

Verschiedene Arten der Erstellung der Zeitdimension

Storage Type ROLAP / MOLAP

Festlegen Anzahl Jahre

Auswahl Hierarchie-Level

Übersicht generierte Objekte zum Aufbau der Zeitdimension Mapping Dimensional Table Table Sequence

Generiertes Mapping zum Laden der Kalenderdaten

Ergebnisdaten (DatenViewer)

Themen business intelligence & data warehouse Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that . . . let’s get going

Data Objekt Editor

Eine Dimension definieren - Dimensionsattribute

Eine Dimension definieren - Dimensionslevel

Eine Dimension definieren - Dimensionshierarchie

Eine Dimension definieren - Speicherart

Sparsity- Eigenschaften definieren

Die Art der Vorberechnungen für die Kennzahlen festlegen

Themen business intelligence & data warehouse Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that . . . let’s get going

Control Center

Generierter Code zur Definition eines Würfels

Themen business intelligence & data warehouse Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that . . . let’s get going

Mapping zum Befüllen einer Zwischentabelle

Operatoren des Mappingeditors

Einfaches Mapping zur Befüllung eines Würfels - Eingeblendet ist die OLAP-Sicht

Themen business intelligence & data warehouse Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that . . . let’s get going

Themen business intelligence & data warehouse Einführung: Multidimensionale Modelle im Oracle Data Warehouse Oracle Warehouse Builder 10g R2 (OWB) - allgemein Erstellen multidimensionaler Modelle mit OWB Beispielscreens: Wizard zur Erstellung einer Zeitdimension Data Object Editor Deployment Control Center Der Mapping Editor Ableiten EUL für Discoverer Weitere Aspekte OWB Umsetzung Good morning, my name is _____________ and I’m pleased to be with you this morning. I’m responsible for ______________ within Oracle’s [Automotive] business. The Automotive industry is one of the largest market segments served by Oracle, you’ll see our customer list later in this presentation. Our Automotive customers keep over 600 Oracle employees very busy and after today’s visit I hope that you’ll see several opportunities where Oracle can help solve some of your problems Enough of that . . . let’s get going

Process-Editor

Metadaten-Dependency-Manager

Metadaten-Browser (Web)

Job-Kontrolle im Web