Meta & Referenzdaten Management im DWH …oder wie Fachbereich und IT effizient zusammenarbeiten Ulrich Scheuber & Michael Thölen Mai 2011.

Präsentation zum Thema: "Meta & Referenzdaten Management im DWH …oder wie Fachbereich und IT effizient zusammenarbeiten Ulrich Scheuber & Michael Thölen Mai 2011."—  Präsentation transkript:

1 Meta & Referenzdaten Management im DWH …oder wie Fachbereich und IT effizient zusammenarbeiten Ulrich Scheuber & Michael Thölen Mai 2011

2 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decision. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle. Safe Harbor Statement

3 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Stammdaten im DWH- und BI-Umfeld... wie arbeiten IT- und Fachbereich zusammen? Daten bilden die Basis einer jeden analytischen Auswertung Daten werden in Stammdaten (Meta & Referenzdaten) und in operative/analytische Daten unterteilt Stammdaten im DWH- und im BI-Umfeld sind Dimensionen, Kategorien, und Typisierungen Stammdaten müssen bei Bedarf schnell geändert und angepaßt werden Stammdaten basieren auf fachlichem Wissen und technischer Notwendigkeit Stammdaten, das Kernstück einer jeden DWH- und BI-Lösung werden vom Fachbereich definiert und von der IT verwaltet.

4 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Agenda MDM: Referenz & Metadaten Management - Einführung Herausforderungen im DWH Umfeld Oracle‘s Lösung Wann und Warum? Referenzen, Meinungen, Ansichten

5 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Organisations- MDM Datentypen in operationalen und analytischen Systemen Analytische Daten Beschreiben die Performance: Trends, Segmentierungen, Input, Output, Ziel-/ Wirkungs- controlling, Nachfragemuster nach öffentlichen Leistungen, Vergleich/ Benchmarkt (z.B. PISA).... Master Daten Beschreiben die Stammdaten: Objekte, auf denen die Transaktionen ausgeführt werden Applikationsspezifische Informationen bleiben verteilt Dimensionen, über die die Analysen gefahren werden Transaktionale Daten beschreiben den operationalen Status: Quantitäten, Auftäge, Leist- ungsanträge, Bilanz, Bestände, Serviceanfragen, Zahlungen, Investitionsmaßnahmen... Verwaltungsdaten Operationales MDM Analytisches MDM

6 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Oracle Enterprise Master Data Management Derzeit das vollständigste verfügbare MDM-Angebot am Markt Data Governance Oracle Fusion Middleware Operational MDM Apps Customer Supplier Oracle Product Hub Oracle Product Hub Financial Oracle Customer Hub Oracle Customer Hub Product Application Integration Architecture Oracle Site Hub Oracle Site Hub Site Operational Systems EBS Siebel SAP Custom Apps External Apps External Apps PeopleSoft JDE Budgeting Analytical Systems DW BI &Datamarts Planning Financial Consolidation Dashboards Oracle / Hyperion Data Relationship Management Analytical MDM Apps Analytical

7 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Agenda MDM: Referenz & Metadaten Management - Einführung Herausforderungen im DWH Umfeld Oracle‘s Lösung Wann und Warum? Referenzen, Meinungen, Ansichten

8 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Was verstehen wir unter Referenz und Metadaten Basis Referenz und Metadaten am Beispiel der Dimensionsverwaltung Dimensionen, die in Dimensionstabellen abgelegt sind und den effizienten Zugriff auf die Faktentabellen im Rahmen von vordefinierten und spontanen Auswertungen ermöglichen (z.B. Regionen) Attribute, um die zu ladende Quelldaten angereichert werden, um diese besser auswerten zu können (z.B. Typisierungen, Klassifizierungen und Kategorisierungen) Neue Datenhirarchien und netzwerkartige Verknüpfungen von Daten die für ein Quellsystems oder über Quellsystemgrenzen hinweg (z.B. Terrorgefährdung für Objekte innerhalb einer Region) verwaltet werden Bestehende Hirarchien und Dimensionen aus Quellsystemen werden konsolidiert. Dazu müssen sie verglichen, bereinigt und zusammengefaßt werden (z.B. Konsolidierung von Organisationsstrukturen aus unterschiedlichen Fachverfahren)

9 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Die Problematik … wie werden Informationen verwaltet? Essbase US Planning Corp Oracle APAC Custom LATAM Peoplesoft EMEA SAP E-Mail Review Spreadsheet ETL EAI Accounts Entity Project Product Location Channel DW Spreadsheet Fach- anwender IT AdminOracle Admin Planning Admin Essbase Admin EPM Applications Unterschiedliche Bereiche und Personen sind involviert Prozesse sind manuell und über Applikationen verteilt Fehler und Inkonsistenzen in den Daten sind an der Tagesordnung Nachverfolgung und Rollback sind kaum möglich Aufwand und Kosten sind sehr hoch Das gemeinsame Verständnis der Daten ist unzureichend Consol EMEA Planning

10 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Essbase US Planning Corp Oracle APAC Custom LATAM Peoplesoft EMEA SAP ETL EAI DW Fach- anwender EPM Applications YTD Umsatz 12,994,332 YTD Umsatz 13,509,999 YTD Umsatz 10,650,000 YTD Umsatz 3,800,000 ? ? ? Consol YTD Umsatz 13,480,853 EMEA Planning YTD Umsatz 13,520,781 Unterschiedliche Systeme liefern unterschiedliche Ergebnisse bei gleichen Daten und Auswertungen Unsicherheit besteht bei allen Berichten Fehler und Inkonsistenzen haben vielfältige oft schwer nachvollziehbare Ursachen Die laufenden Kosten für die Fehleranalyse sind immens Revisionssichere Dokumentation, Einhaltung von Compliance Regeln und rechtsverbindliches Berichtswesen sind nahezu unmöglich Die Herausforderungen … wie wirken sich Fehler in den Informationen aus?

11 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Verbrechen - Region Ost Leibzig Dresden Erfurt SachsenThüringen ETL Erstellen und Ändern einer DWH Struktur...heißt Dimesionen bauen – am Beispiel Verbrechen pro Region Faktentabelle – Delikt Anzahl Delikt | Schwere (1 - 5) Auf einer Faktentabelle im Datawarehouse bauen unzählige Dimensionen auf. Jede der Dimensions- Tabellen wird mittels ETL-Prozess geladen. Dimensionen werden von der IT erstellt & gepflegt. Verbrechen - Bundesland München Rosenh. Nürnb. Bayern Oberb. Mittelf. ETL Verbrechen – BL gr. 12 Mio München Nürnb. Köln BayernNRW ETL Verbrechen – Großstadt Kreuzberg ETL München Berlin Hasenbergl Laim

12 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Erstellen und Ändern einer DWH Struktur...heißt flexibel Kategorien erstellen und Daten anreichern um sie in Auswertungen zu nutzen GewehrPistoleMesserStiletteDolch SchußwaffeStichwaffe Verbrechen - Waffe Lizenz K11K12K13K14K15 Frei StockHammerK21K22 SchlagwaffeFrei Um die Daten besser und effizienter auswerten zu können werden innerhalb der Dimensionen unterschiedliche Kategorien vergeben Bei der Überführung der Daten ins DWH werden diese mit neuen Attributen angereichert Kategorien und neue Attribute werden auf allen Ebenen über die ETL Prozesse vergeben IT Anwender setzen die Kategorisierung technisch um ETL K1 K2 K

13 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. ABC D 12 X Qelle 1 ABE F 13 X Quelle 2 ABC D 12 X DWH 3 E F ETL Verknüpfung / Konsolidierung / Erstellen und Ändern einer DWH Struktur...heißt Hirarchien konsolidieren und Daten verknüpfen – Gesamtbild über Quellsystemgrenzen Daten werden über Systemgrenzen hinweg miteinander verknüpft Bestehende Hirarchien aus Quellsystemen müssen konsolidiert werden IT Anwender setzen die Konsolidierung & Verknüpfung technisch um Bestehende Hirarchien können verschoben werden

14 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Essbase US Planning Corp Oracle APAC Custom LATAM Peoplesoft EMEA SAP ETL EAI Accounts Entity Project Product Location Channel DW EPM Applications Hyperion DRM Fach- anwender Consol EMEA Planning Die Lösung … Oracle Hyperion Data Relationship Management Disjunkte Strukturen werden in einer zentralen, leicht wartbaren Gesamtstruktur zusammengefaßt Änderungen werden in einem System für eine zentrale Struktur verwaltet Fach- und IT-Anwender bekommen unmittelbar Feedback über die Auswirkungen im Falle einer Änderung Geschäftsregeln und “Was wäre Wenn” Analysen sind einfach umzusetzen Relevante Änderungen werden pro System verteilt

15 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Essbase US Planning Corp Oracle APAC Custom LATAM Peoplesoft EMEA SAP ETL EAI DW Fach- anwender EPM Applications YTD Umsatz 13,000,000 YTD Umsatz 13,000,000 YTD Umsatz 10,000,000 YTD Umsatz 3,000,000 Consol YTD Umsatz 13,000,000 Vertrauen! EMEA Planning YTD Umsatz 13,000,000 Auswirkungen auf die gesamte Organisation … wie DRM Auswertungen und Prozesse optimieren hilft! DRM stellt sicher, daß Hirarchien und Klassifizierungen über die gesamte Organisation hinweg konsistent sind Berichte und Analysergebnisse stimmen unabhänig von Ort und Quelle überein Aufwände für Verwaltung und Änderung der Stammdaten werden reduziert Änderungen an Daten können zwischen den Fachbereichen untereinander und mit der IT im Vorfeld abgestimmt werden

16 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Agenda MDM: Referenz & Metadaten Management - Einführung Herausforderungen im DWH Umfeld Oracle‘s Lösung Wann und Warum? Referenzen, Meinungen, Ansichten

17 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Oracle Hyperion DRM Trusted Master Data Trusted Master Data Data Model Agnostic Master Data Repository Form-driven config Modular and reusable objects Data Model Agnostic Master Data Repository Form-driven config Modular and reusable objects Batch Import Action Scripts Web Services Blender Application Templates Query & Compare Hierarchy Management Derived Properties Node Types Validations Migration Utility Workflow Dev Kit Workflow Dev Kit Versioning Granular Security Transaction History Attribute Management Exports Books Web Services Batch Client Read-Only Access

18 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Screenshoots zur Verwaltung von Referenz- & Metadaten Die Navigationsleiste ermöglicht den zentralen Zugriff auf alle Funktionen. DRM ist in der Lage mehrere Versionen einer Dimension zu verwalten. Kopien alter Versionen sind jederzeit wiederherstellbar. Dimensionen werden in DRM als Hierarchien abgebildet Dimensionen können nach Themen aufgeteilte werden Jede Version einer Dimension hat einen Status. Dimensionen haben Datenfelder die die Dimension beschreiben wie z.B. Gültig Von - Bis

19 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Screenshoots zur Verwaltung von Referenz- & Metadaten Dimensionen können importiert werden Dimensionen werden durch den Fachanwender gepflegt. Die Dimension können per Drag and Drop bearbeitet werden (z.B. Zusammenführen, Kopieren, Verschieben von Teilbereichen, etc.) Ein Anwender kann nach Dimensionen suchen Ein Anwender kann Dimensionen exportieren.

20 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Screenshoots zur Verwaltung von Referenz- & Metadaten In Dimension können beliebige Datenfelder angelegt werden Datenfelder können in Kategorien aufgeteilte werden. Datenfelder haben Eigenschaften (z.B. vererbt bzw. nicht vererbt) Die Werte einer Eigenschaft können vom Anwender direkt vergeben oder über Formeln automatisch berechnet werden.

21 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Screenshoots zur Verwaltung von Referenz- & Metadaten Es ist möglich fachliche Metadaten und technische Metadaten zu pflegen. Dazu gehören z.B.: Dimensionen, Hirarchien, Organisationsstrukturen, Rollen, usw.

22 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Screenshoots zur Verwaltung von Referenz- & Metadaten Der Abgleich von Version z.B. Für Hirarchien wird in DRM unterstützt. Durch „Drag and Drop“ führen Anwender manuelle Abgleiche durch.

23 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Screenshoots zur Verwaltung von Referenz- & Metadaten DRM - Metadaten DRM - Security DRM Metadaten werden benötige um die Anwendung zu gestalten. Dies gibt Fach- und IT- Anwendern die Möglichkeit, das DRM- System auf Ihre individuellen Bedürfnisse anzupassen.

24 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Screenshoots zur Verwaltung von Referenz- & Metadaten Import und Export werden über einen Wizard gesteuert und sind so für jeden Endanwender möglich. Import & Export Formate sind frei definierbar.

25 Predictive Analytics DRM – Teil von Oracle’s Plannungs- und BI-Lösung Complete, Open, Integrated Copyright © 2011 Oracle and/or its affiliates. All rights reserved. OLTP & ODS Systems Data Warehouse Data Mart Packaged Applications (Oracle, SAP, Others) Excel XML/Office Business Process OLAP Sources Exadata Unstructured & Semi- Structured BI Server Common Enterprise Information Model Essbase Dimension Management ERP Analytics Strategy Management Financial Close and Reporting Planning & Forecasting Profitability Management CRM Analytics Industry Analytics Interactive Dashboards Reporting & Publishing Ad-hoc Analysis Detect & Alert Office Integration SearchEmbedded Data Integration Mobile Scorecards Collaborate Page 25

26 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Agenda MDM: Referenz & Metadaten Management - Einführung Herausforderungen im DWH Umfeld Oracle‘s Lösung Wann und Warum? Referenzen, Meinungen, Ansichten

27 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Im Rahmen der Restrukturierung eines DWHs bietet DRM die Möglichkeit Refernz- und Metadatenprobleme aktiv zu vermeiden Bei der Konsolidierung mehrerer DWHs bietet DRM eine durchgängige Unterstützung des und Migrationsprozesses bezüglich Referenz- und Metadaten Beim Ausbau eines bestehenden DWHs kann DRM ergänzed für die Verwaltung neuer Strukturen und Dimensionen verwendet werden Beim Aufbau neuer DWHs unterstützt DRM durch eine übergreifende Sicht und eine Koordinierte Verwaltung der Refernz- und Metadaten durch den Fachbereich Wenn die Kosten und die Dauer für die Erstellung neuer Dimensionen, die Anreicherung bestehender Quelldaten und die Konsolidierung bestehender Hirarchien zu hoch sind. Wann setzt man DRM ein? Oracle‘s Data Relationship Management lässt sich immer dann einsetzen wenn Veränderungen im DWH geplannt oder erforderlich sind.

28 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Die mit dem Aufbau und der Verwaltung eines DWHs verbundenen Kosten werden durch die zentrale Platform für die Verwaltung der Kerninformationen deutlich reduziert Inkonsistenzen in Analysen und Berichten werden durch die übergreifende Verwaltung der Strukturen weitgehend minimiert Änderungen und Anpassungen im DWH können zeitnah umgesetzt werden Was wäre wenn Analysen - z.b. Beim Einsatz neuer Dimensionen - lassen sich einfach umsetzen und erhöhen die Flexibilität Änderungs – und Genehmigungsprozesse, sowie eine durchgängige Rechtevergabe und eine Versionierung der Stammdaten (z.B. Hirarchien und Dimensionen) verringern das Risiko und verbessern die Nachvollziehbarkeit Die Meta- und Refernzdatenhoheit kann in den Fachbereich verlagert werden. Die Überführung bestehender und neuer Referenz- und Metadaten in das DWH erfolgt größtenteils automatisiert. Warum lohnt es sich DRM einzusetzen?

29 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Agenda MDM: Referenz & Metadaten Management - Einführung Herausforderungen im DWH Umfeld Oracle‘s Lösung Wann und Warum? Referenzen, Meinungen, Ansichten

30 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Deutsche Bank: Hierarchy Management COMPANY OVERVIEW Financial Services 78,000 Employees CHALLENGES/OPPORTUNITIES Multiple projects IES (IT Projects) Navigate (Alignment of structures, global costs) DART (MIS for rev) Need consistent reporting hierarchies Alignment and Mapping of SAP Cost Structures –

31 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. JP Morgan Chase: Financial MDM COMPANY OVERVIEW One of the largest financial services institutions in the world $1.2 trillion in assets; 162,000 employees CHALLENGES/OPPORTUNITIES Corporate growth charter driven by mergers and acquisitions, first at BankOne and then again at JPMorgan Chase Needed to manage SAP cost center & CoA structures following the integration Bank One with First Chicago/NBD, Zurich, and ultimately JP Morgan Chase, tripling maintenance demands Transactional and reporting systems needed a shared view of the reference data daily, weekly, monthly depending on demand RESULTS Saved $3 million on JPMC / Bank One merger using DRM over a 12 week implementation; Merged Bank One and First Chicago financials in eight weeks Standardized corporate organizational views to support legal and management reporting Cost effective enrichment of SAP G/L accounts in DRM for downstream consumption and centralized control within enterprise risk data warehouse Implemented a simpler, standardized process to manage data quality and streamline hierarchy maintenance SOLUTIONS Positioned DRM as the platform to facilitate data governance and agility in the face of mergers and acquisitions Enabled adherence to governance policies via a workflow request front-end Statistics: 120, 000 cost centers; 160,000 accounts, 1500 products

32 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. COMPANY OVERVIEW Leader in Electronic Design Automatic software US$835M Umsatzs 4,200 employees, 70 offices worldwide CHALLENGES/OPPORTUNITIES Finance needed a reliable way to accurately determine headcount globally HR needed to make informed allocation decisions across departments, geographies, and cost centers in near real time Error prone, broken processes with inaccurate formulas, numbers, version control issues, and a lot of back-and-forth Fragmented hierarchies across SAP R/3, Callidus, Siebel CRM, Saas, & Custom RESULTS Replaced 1,200 spreadsheets with a single, Web-based solution, enabling real-time info access and responsiveness to inquiries Improved human resources (HR) allocation decision making Streamlined purchasing authorization in SAP SRM and improved accuracy of sales agent- to-order assignments to ensure proper commission disbursal Simplified maintenance of product hierarchies improved consistency of data through better version control across SAP & D/W SOLUTIONS DRM for reporting hierarchies, purchasing authorization matrix since Feb 2004 Essbase for sales reporting, consolidation, planning, forecasting, HR analytics System of record for master data changes “Today, we use Hyperion Data Relationship Management as the central server to publish master data across heterogeneous systems including multi-dimensional databases, SAP, Callidus and Oracle systems. Hyperion DRM has enabled us to achieve consistency of our data and improve version control of various enterprise hierarchies.” – Jan- Willem Beldman, ERP Finance Manager, IT Enterprise Applications

33 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Gartner‘s Analyse der Meinungen unserer Kunden “The initial deployment was for our sales hierarchy and we were able to distribute maintenance, while it enforces all rules of channel management. We have since extended it to many other hierarchies.” Ein Elektronikunternehmen “All business units have been very happy with the consistent organizational hierarchies and consistent reporting.” Ein Finanzdienstleister “DRM along with our business processes has enabled us to be very successful.” Ein Energieunternehmen “DRM provides a foundation for an enterprise, business driven, single source of truth for hierarchies and reference data with effective management capabilities including change management, control and audit, and data governance.” Ein Speicherhersteller

34 Copyright © 2011, Oracle and/or its affiliates. All rights reserved. Fragen & Antworten