Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

QUALITÄTSKONTROLLE VON DATENINTEGRATIONS- PROZESSEN Christoph Metz WIN – Treffen 02.10.2010.

Ähnliche Präsentationen


Präsentation zum Thema: "QUALITÄTSKONTROLLE VON DATENINTEGRATIONS- PROZESSEN Christoph Metz WIN – Treffen 02.10.2010."—  Präsentation transkript:

1 QUALITÄTSKONTROLLE VON DATENINTEGRATIONS- PROZESSEN Christoph Metz WIN – Treffen

2 Übersicht Auffrischung Herausforderungen bei Datenintegrations-Prozessen Qualitätskontrolle von Datenintegrationsprozessen Abschließende Bemerkung

3 Data Warehouse ERP/CRM XML www Extraktionsschicht XML Extraktionskomponente DWH Datenhaltungsschicht Integrationsschicht Transformationskomponente Ladekomponente Auswertungsschicht Reporting, OLAP

4 Data Warehouse - ETL Typische Transformationen Anpassung von Datentypen Eliminierung von Duplikaten Anpassung von Datenwerten Schlüsselanpassungen Umrechnung von Maßeinheiten Aggregationen Anreicherung von Daten … Daten durchlaufen eine ganze Reihe von Prozessschritten

5 Herausforderungen bei ETL-Prozessen SpezifikationUmsetzungDWH

6 Herausforderungen bei ETL-Tests Batch-Loads Zeitverzug Systemseitige Eingabe Viele Tests müssen systemseitig implementiert werden. Einzelne Transaktionen müssen aufwändig zurückverfolgt werden. Hohes anwachsendes Datenvolumen Menge der Testdaten steigt Anzahl der Testszenarien In DWS sollen alle möglichen Sichten möglich sein. Traditionelle Test-Methoden auf OLTP ausgelegt

7 Teststrategien für ETL-Prozesse Datenvollständigkeit Tupelvergleich, Boundary-Testing,... Datentransformation stare and compare, Datenfluss-Validierung, … Performance + Skalierung Break your system, performance modeling, … Integrationstests Schnittstellen, Ablaufsteuerung, Fehlerprotokolle User Acceptance Tests Regressionstests (Datenqualität)

8 Faktoren der Qualität Designqualität Ausführungsqualität Formulierung und Erfassung von Anforderungen und Spezifikationen Einhaltung der festgelegten Spezifikation

9 Faktoren der Qualität Designqualität stellt höchste erreichbare Grenze für die Qualität der Daten dar Ausführungsqualität drückt Erreichungsgrad der Designqualität aus Gesamtqualität kann durch mangelnde Design- oder Ausführungsqualität negativ beeinflusst werden

10 Messung der Ausführungsqualität Datenpool www Extraktions- komponente DatenintegrationDatenbereitstellung Transformationskomponente Data Warehouse Datenp ool Ladekomponente Datenp ool Prozess- schritt Datenp ool Prozess- schritt M M M M M M M M M M M M M M M M

11 Messung der Ausführungsqualität Grundgedanken: Messung festgelegter Kennzahlen an den Datenpools Soll-Ist-Vergleich während des gesamten Prozessverlaufs Überprüfung der Wirkung von Änderungen an den einzelnen Prozessschritten.

12 Messung der Ausführungsqualität Hohe Anforderungen an die Testszenarien/ Testdaten Abgrenzung von einzelnen Datenprodukten Zeitverzug Systemseitige Eingabe Systemseitige Testimplementierung Aufwändige Zurückverfolgung Hohes Datenvolumen anwachsendes Datenvolumen

13 Abgrenzung von Datenprodukten Datenprodukt Darstellung über Views Einzelner Datensatz Datensatzgruppe Komplette Tabelle Alle Produkte der Kategorie Non-Food am Alle Daten zu Artikelnr

14 Datenprodukte im Prozessverlauf Datenpool Extraktions- komponente DatenintegrationDatenbereitstellung Trans- formationsk ompo-nente Data Warehouse Datenp ool Lade- kompone nte Vollständigkeit Redundanzfreiheit Zeitbezug Schlüsseleindeutigkeit …. AA* A** A*** B

15 Sammlung der Messwerte RelationMesspunktQ_VollQ_RefQ_KorrQ_SchlQ_ZeitZeit Datenprodukt A Quelle80%70%65%.. 15:00 Extraktion80%70%65%.. 15:02 Transform. 1100%70%100%.. 15:10 Transform. 2100% 95%.. 15:20 Laden100%90%100%.. 15:25 Datenprodukt B Quelle.. 15:00 Extraktion.. 15:02 Transform :10 Transform :20 Laden.. 15:25

16 Auswertung der Messungen Kontrolle einzelner Prozessschritte während der Entwicklung Schneller Vergleich von unterschiedlichen Prozessversionen

17 Auswertung der Messungen Verhalten einzelner Prozessschritte in verschiedenen Szenarien Unterstützung von Regressionstests

18 Auswertung der Messungen Auswertungen Zeitverlauf Identifizierung von Änderungsbedarf (proaktiv) Identifizierung von überflüssigen Transformationen

19 Herausforderungen des Ansatzes Schaffung künstlicher Datenpools Definition geeigneter Datenprodukte Definition der Datenprodukte entlang des Prozessverlaufes Stetige Anpassung aller Datenprodukte Interpretation der Messergebnisse

20 Fragen? Anregungen?


Herunterladen ppt "QUALITÄTSKONTROLLE VON DATENINTEGRATIONS- PROZESSEN Christoph Metz WIN – Treffen 02.10.2010."

Ähnliche Präsentationen


Google-Anzeigen