Business Intelligence Jan Weinschenker Projekt Ferienclub Business Intelligence Jan Weinschenker Jan.Weinschenker@informatik.haw-hamburg.de
Agenda Ziele und Aufgaben BI-Architektur Datenmodelle Extraktion, Transformation, Laden Vorgehen im Projekt Zusammenfassung und Ausblick Jan Weinschenker
Ziele und Aufgaben Business Intelligence im Ferienclub Testdaten generieren Unsere Anwendungsfälle realisieren Testschema mit Kundendaten Appointments (Tracking) Jan Weinschenker
BI-Architektur Jan Weinschenker
Basisdatenbank Jan Weinschenker
Ausgangslage: PTT Jan Weinschenker
Extraktion und Transformation Extraktion der Daten Aus Produktivsystem in den Arbeitsbereich Transformation der Daten In eine analyseoptimierte Form Jan Weinschenker
Laden der Daten … in die Basisdatenbank Dort endgültige Lagerung Basis für Analysen Keine Änderungen mehr Jan Weinschenker
Verwendete Werkzeuge Arbeitsbereich und Basisdatenbank BizGres DBMS (ein PostGreSQL-Fork) ETL: Enhydra Octopus Java-basiert Konfiguration über XML Datenbankzugriff per JDBC (kein Bulkload) Diverse JDBC-Treiber Jan Weinschenker
Verwendete Werkzeuge Eclipse-Plugins Fedora Linux Aqua Data Studio Ant XMLBuddy QuantumDB Fedora Linux Aqua Data Studio Ant Jan Weinschenker
Vorgehen im Projekt Installation und Konfiguration der Arbeitsumgebung (MS I) Erzeugen von Testdaten Testdaten und Testdatenschema (MS II) Testdaten für PTT-Schema (MS III) Jan Weinschenker
Vorgehen im Projekt ETL-Jobs verfassen (XML, SQL) Definition von Quell- und Zieldatenbank Quell- und Zielschema Kopier- und Transformationsvorgängen Fehlersuche und Debugging Eigenheiten von JDBC-Implementierungen Änderungen an Datenbankschemata Jan Weinschenker
Zusammenfassung und Ausblick ETL ist Fummelkram Man kennt die Datenschemata aller Beteiligten Ich hätte gerne noch Ein besseres Cleanup der Quelldaten gemacht Eine SOA-Adminschnittstelle implementiert Jan Weinschenker
Fragen? Jan Weinschenker
Quellen BizGres DMBS Enhydra Octopus ETL-Tool http://www.bizgres.org Enhydra Octopus ETL-Tool http://octopus.enhydra.org JTDS JDBC-Treiber (für MS SQLServer) http://jtds.sourceforge.net/ PostgresQL JDBC-Treiber (für BizGres) http://jdbc.postgresql.org/ Jan Weinschenker
Quellen XMLBuddy Eclipse Plugin QuantumDB Eclipse Plugin Fedora Linux http://xmlbuddy.com/ QuantumDB Eclipse Plugin http://quantum.sourceforge.net/ Fedora Linux http://fedora.redhat.com/ Aqua Data Studio http://www.aquafold.com/ Apache Ant http://ant.apache.org/ Jan Weinschenker