Schüle / Locher: Raum-zeit-thematisches Forschungs-DWH für SAS-Datawarehousing'98, Zürich, 25. November 1998 01/07/00 Entwurf eines DWH für Volkswirtschaftliche Analysen (Economic Research) von Hannes Schüle, für das Seminar Warehousing und Mining, WS 99/00 Prof. Schek und Dr. Böhm, ETHZ 1

Intro / Thema ... DWH als Labor: Thesauri, offene Dimensionen Thesauri und offene Dimensionen als "Labor" ... Das DWH soll den Forscher und Forscherinnen im Team des Economic Research als Datenbasis und als Plattform der Zusammenarbeit dienen. Das DWH solle für verschiedene Statistiken offen sein: d.h. keine vorgängige Festlegung auf bestimmte Daten und Dimensionen. Dimensionen sollen die Forschungsmodelle unterstützen können: d.h. Hypothesen sollen abgespreichert und anhand von neuen Analysen getestet werden. Ich stelle den Projektrahmen vor und gehe insbesondere auf die Bedeutung der Thesauri ein. Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Fazit, Literatur, Adressen

Intro / Thema ... DWH im Arbeitsprozess des Economic Research Methoden-basis Analyse Kunden DWH Statistik Ökonometrie Produkte: z.B. Standortquali-tätsindex, Prognosen, Studien Branchenanalyse Regionenanalyse Konjunkturanalyse Immobilienmarktanalyse

Business Case ... Kundenprofil (Economic Research) Team Economic Research Switzerland ist ein Team von rund 15 OekonomInnen und StatistikerInnen. Hauptgeschäftsfelder Erstellen fundierter, wissenschaftlicher Prognosen und Ratings zu Branchen und Regionen der Schweiz Analysen zu aktuellen volkswirtschaftlichen Themen Daten- und Methodenbasis Datenquellen: KOF, BA Statistik, Oberzolldirektion, EU Methoden: eigene Methoden, die laufend erweitert werden Stärken Breite thematische Ausrichtung mit umfassenden Schwerpunkten und Fokussierung auf die Schweiz Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Business Case ... Anforderungen Abfrage/ Export DWH Daten-quellen Methoden-basis Software Know-how Analyse

Business Case ... Anforderungen Ziele, allgemein Einheitliche Datenbasis für alle Analysen und MitarbeiterInnen Rasche Einbindung neuer, aktueller Datenbestände Bessere Zusammenarbeit über das DWH Ziele für den ersten Release Datenschema für hohe Flexibilität Handhabung einer sich über Zeit verändernde geographischen Struktur („Raum“) Interaktives Abfragetool zur Auswahl von Raumeinheiten, Themen, Zeitrahmen und Periodentyp (Monat, Quartal, Semester, Jahr) sowie Export in Exceltabellen Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Business Case ... Anforderungen an Abfrageoberfläche Auswahl je einer Menge von Termen und von geographishen Raumeinheiten, eines Zeitrahmens (von-bis oder Anzahl Perioden retour) und von Periodentypen. Abfragen ausführen, Abfrage-Definitionen speichern, bestellen (über Nacht, Wochenende), bearbeiten und verwalten im Menusystem Code-Generator für Query, sowie für Export und Transformation der Resultate. Term auswählen mit Extras, wie Raumkontrolle (nur Terme zu bereits gewählten Raumeinheiten anzeigen), Filter (Substring), Multi-Selektion von Unterbäumen. Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Business Case ... hohe Anforderungen Schüle / Locher: Raum-zeit-thematisches Forschungs-DWH für SAS-Datawarehousing'98, Zürich, 25. November 1998 01/07/00 Business Case ... hohe Anforderungen An die NutzerInnen Wir dürfen hohe Anforderungen an die BenutzerInnen stellen: Verständnis für die Daten, Zusammenhänge, Abläufe Es braucht eine/n WH-Administrators/in (eine Vollzeitstelle) für Dataload, Koordination, Beratung. An das DWH BenutzerInnen dürfen hohe Anforderungen an das DWH stellen: Flexibilität, Offenheit, bequemes Abfragetool Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen 3

Business Case ... Zuständigkeit geregelt, Zugriff für alle möglich Datenbestand A Datenbestand B Datenbestand C Datenbestand D Verantwortung Ökonom A Ökonom B Ökonom C Ökonom D Zugriff DWH Datenablage

Grundbegriffe ... Erfolgsfaktoren für ein DWH Projekt Definition (Projektsicht): Ein DWH ist ... ... die Beschreibung (und Umsetzung) des Prozesses von der Datenextraktion, -aquistion, Speicherung und zur Verfügung Stellung für unterschiedliche Benutzeranforderungen, Reporting, Analysen. Ein erfolgreiches DWH basiert ... ... auf einem "Buisness Case" (Problemlösungsbedarf), ... dem adäqauten Einsatz der DWH-Technologie und ... auf der engen Zusammenarbeit der Beteiligten auf allen Seiten: EntwicklerInnen des DWH, BetreiberInnen des DWH und (zukünftigen) NutzerInnen des DWH. Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Grundbegriffe ... Glossar spezieller Begriffe Charakteristik Ausprägung einer Dimensionen, wie „Teilzeit über 50%“ der Dimension Beschäftigungsgrad. Term (Begriff) Mass, einschliesslich Einheit, mit den Charakteristika meist mehrerer Dimensionen. Bsp.: „Import Elektrokleinmaterialien in Franken“. In Anlehnung an das von Stefan Waltert vorgestellte Paper zu Dimensional Updates, sind Terme Ausprägungen von „Level Groups“, ohne die Dimensionen Zeit und geographischer Raum. Klassen sind Einteilungen nach Merkmalen Kohorte Gruppe von gleichaltrigen Personen Verdichtungen sind materialisierte Views Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Grundbegriffe... Datenextraktion, -haltung und Exploration ... Schüle / Locher: Raum-zeit-thematisches Forschungs-DWH für SAS-Datawarehousing'98, Zürich, 25. November 1998 01/07/00 Grundbegriffe... Datenextraktion, -haltung und Exploration ... Der Knochen veranschaulicht den DWH-Prozess Extraktion links Datenhaltung in der Mitte und Exploration rechts Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen 4

WH-"Knochen" ... Intro / Thema Business Case Grundbegriffe Schüle / Locher: Raum-zeit-thematisches Forschungs-DWH für SAS-Datawarehousing'98, Zürich, 25. November 1998 01/07/00 WH-"Knochen" ... Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen 5

Abfragen ... Abfrageoberfläche Anforderungen Auswahl je einer Menge von Termen und von geographishen Raumeinheiten, eines Zeitrahmens (von-bis oder Anzahl Perioden retour) und von Periodentypen. Abfragen ausführen, Abfrage-Definitionen speichern, bestellen (über Nacht, Wochenende), bearbeiten und verwalten im Menusystem Code-Generator für Query, sowie für Export und Transformation der Resultate. Term auswählen mit Extras, wie Raumkontrolle (nur Terme zu bereits gewählten Raumeinheiten anzeigen), Filter (Substring), Multi-Selektion von Unterbäumen. Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Abfragen ... Snapshoot Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Abfragen ... Volatile Raumstruktur Anforderung: Handhabung des räumlichen Wandels (v.a. Gemeindefusionen und -aufteilungen): Zu jedem Zeitpunkt gilt für alle Daten genau eine Raumstruktur. Der Wandel muss transparent dargestellt werden. Lösung: Im Thesaurus zum Raum werden Gültigkeitsdauer der Raumeinheiten und der Zuordnung definiert. Bei Abfragen über die Gültigkeitsdauer hinweg, kann die Auswahl auf alle Raumeinheiten des kleinsten gemeinsamen Vielfachen erweitert werden (= iterative Raumerweiterung). Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Datenexport ... Resultate in Excel und SAS-Tabellen Zu jeder Abfrage-Definition gehört entweder / oder: Export in ein bestimmtes Datenblatt eines Excel-Sheets. Dabei wird auch festgelegt, welche der drei Dimensionen (Raum, Zeit, Thema) zu Reihen und welche zu Kolonnen werden sollen. Für Resultate als SAS-Tabelle kann je Periodentyp die Struktur Datenwürfel, Zeitreihe mit wahlweise Termen oder Räumen als Variablen oder eine dimensionale Denormalisierung gewählt werden (Beispiel folgt am Schluss). Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Lösungsansatz ... Allg. DWH-Idee als Datenwürfel Anstelle in einer Vielzahl von relationalen Tabellen werden alle Statistiken einer einzigen Relation, einem „Würfel“ mit den Achsen Raum, Zeit und Thema gehalten (und eventuell einem zweiten Raum für Pendler, Güterströme). Die Achsen Raum und Thema werden über Thesauri kontrolliert (auch die Abfragedefinition erfolgt über diese zwei Thesauri). Diesen bekannten, logischen Datenwürfel haben wir mutig direkt als physikalisches Schema implementiert. Das Schema gilt Zeitreihen UND für Raumdaten. Metadaten stellen sicher, dass die Fakten in ein relationales Tabellensystem umgestellt werden können. Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Lösungsansatz ... Levelgroups: Verpackte Dimensionen im Term Anforderung: Besonders wichtig ist eine flexible Bauweise des Warehouse’. Eine Erweiterung muss so einfach sein, dass sie für einen Ökonomen durchführbar ist ! Zu Beginn einer jeden Erweiterung werden die Daten strukturiert. Intro / Thema ... Lösungsansatz (Mass) (Dimensionen) Term-Code Raum-Code Perioden-Code

Lösungsansatz ... Auch das Mass wird im Term verpackt Standardmodell für ein DWH: Modell WDH Economic Research: D=Dimension, C=Charakteristika, W=Wert, T=Term Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Lösungsansatz ... Datenwürfel Die Faktentabelle, das Kernstück des Datawarehouse, identifiziert jeden einzelnen Wert mittels Term-, Raum- und Perioden-Code. Perioden-Code Term-Code Besch. Index 2.Sekt. >50% Raum-Code Wirtschaftsraum Zentralschweiz 2. Raumbezug Variablen-Wert

Thesauri ... Termthesaurus (Begriffe) Der Thesaurus (Schatz. Tresor) enthält alle Begriffe in poly-hierarchisch geordneter Form. Wir unterscheiden: Basisbegriff , unterster Level („Neubauten, EFH<5 Zimmer, freistehend, aus Holz, private Bauherren“) Kategorie, auch Oberbegriff („Neubauten EFH nach Bauherrschaft“). Oberbegriffe helfen beim Suchen im Thesaurus und erlauben Multi-Selektion aller direkt darunter liegenden Begriffe. Begriff verdichteter Daten , übergeordneter Level („Neubauten, EFH, total, private Bauherren“). Die normalerweise nachgefragten Verdichtungen werden abgelegt (bei Abfrage und Export werden keine Daten berechnet). Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Thesauri ... Termthesaurus Beziehungstyp: TREE: Hierarchie SUMM: summierbar TEIL: nicht disjunkte Teilmenge Tabelle für die hierarchische Gliederung der Terme Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen Term-Tabelle Dient der hierarchischen Gliederung (Kateogorie)

Thesauri ... Termthesaurus: Praxis, Erfahrugen Einlesen und Verdichten der Daten, sowie der Unterhalt des Thesaurus erfolgen gleichzeitig. Aufbau und Verwaltung des Begriffsthesaurus ist eine der zentralen Aufgaben des/der WH-Administrators/in. Ausser eine wachsenden Bibliothek von SQL-Code, SAS DATA-Steps und Summary-Prozeduren sowie Scripts zum iterativen, parametrisierten Aufruf stehen zur Adminstration „nur“ noch das grosse Fachwissen über die jeweils bearbeiteten Statistiken zur Verfügung. Ein Tool zur Handhabung von Level Groups oder ein Viewgitter stehen bisher nicht zur Verfügung. Nur eine gute Systematik erlaubt es, hunderttausende von Begriffen „im Griff“ zu haben. Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Thesauri ... Dimensionen und ihre Charakteristika Erst mittels der Dimensionen lassen sich Statistiken verbinden: Auch Dimensionen und ihrer Charakteristika sind polyhierarchisch strukturiert und werden als generisches Snowflake-Schema abgelegt. Die „verpackten“ Dimensionen aus Termen und Räumen sind Charakteristika zugeordent: Der Term „Neubauten, EFH<5 Zimmer, freistehend, aus Holz, private Bauherren“ folgenden Charakteristika: - Neubauten (Dimension: Hauptbegriff [=Mass]) - EFH<5 Zimmer (D: Wohnobjekt nach Zimmerzahl) - freistehend (D: Bauobjekt-Standort) - aus Holz (D: Bauobjekt-Hauptmaterial) - private Bauherren (D: Bauherrschaft) Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Thesauri ... Beispiel Dimension Alterskohorten Schüle / Locher: Raum-zeit-thematisches Forschungs-DWH für SAS-Datawarehousing'98, Zürich, 25. November 1998 01/07/00 Thesauri ... Beispiel Dimension Alterskohorten Dimensionen: Charakteristika: Beziehungen: 5-J. und 10-Jahres- 20-29-jährige 25-29-j. (5-J.-Kohorte) in Alterskohorten 25-29-jährige 20-29-j. (Oberdim. 10-J) Charakteristika-Charakteristika-Bez. (CC) Oberdimension/Ch. Unterdimension/Ch. D_KEY1 C_KEY1 D_KEY2 C_KEY2 BRANCH LEBMIT BERUFG BÄCK MILCHW ...... J10 J20_29 J05 J20_24 J25_29 Dimensionen (D_) D_KEY D_NAME Berufsgruppen Branchen 10-J. -Kohorten 5-Jahres-Kohorten Charakteristika (C_) C_KEY C_NAME 20- bis 29-jährige 20- bis 24-jährige 25- bis 29-jährige Lebensmittel Bäckereiberufe METZG Metzgereiberufe B. Milchwirtsch. 17

Thesauri ... Offene Dimensionen: Status Offene Dimensionen als Analyseinstrument: Offen heisst, dass neue (Zwischen-) Levels eingefügt werden können und zweitens. Abbilden von Hypothesen als Klassen (Dimensionen). Beispielsweise das Klassieren von Gemeinden nach Beschäftigungsstreuung und das Testen dieser Streuung zusammen mit anderen Faktoren zur Erklärung der „Gesundheit“ der Gemeindefinanzen. Verbinden von Statistiken, etwa Daten zu finden, welche über 5 Jahre hinweg mit mindestens vier Dimensionen mit der Zahl der Arbeitslosen verbunden werden können. Zur Analyse werden oft denormalisierte Tabellen benötigt. Das Beispiel Erstellen von MDDB Datamarts folgt. Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Thesauri ... MDDB: Denormalisierung ausgewählter Fakten (1) Schüle / Locher: Raum-zeit-thematisches Forschungs-DWH für SAS-Datawarehousing'98, Zürich, 25. November 1998 01/07/00 Thesauri ... MDDB: Denormalisierung ausgewählter Fakten (1) Aus normalisierten Daten kann eine MDDB erstellt werden: 19

Thesauri ... MDDB: Denormalisierung ausgewählter Fakten (2) Schüle / Locher: Raum-zeit-thematisches Forschungs-DWH für SAS-Datawarehousing'98, Zürich, 25. November 1998 01/07/00 Thesauri ... MDDB: Denormalisierung ausgewählter Fakten (2) Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen Ausschnitt aus den Dimensionen 20

Thesauri ... MDDB: Denormalisierung ausgewählter Fakten (3) Schüle / Locher: Raum-zeit-thematisches Forschungs-DWH für SAS-Datawarehousing'98, Zürich, 25. November 1998 01/07/00 Thesauri ... MDDB: Denormalisierung ausgewählter Fakten (3) Term und Raum sind mit Dimensionen verbunden, diese haben wiederum Beziehungen (nicht dargestellt) zu Oberdimensionen. 21

Gesamtsicht Datenschema, Thesauri Abfrage „Datenwürfel“ (Raum-Zeit-Thema), Klassen Abfragedefinition A_: Grunddaten AT: Abfr.-Term AR: Abfr,-Raum AR: Abfr,-Raum 2 (AP: A.-Perioden) P_: Perioden Thema Raum D_: Daten TT: Term-Bez. RR: Raum-Bez. Q_: Quellen T_: Term R_: Raum TC: Term-Charakterisitka.- H_: Help-Texte RC: Raum- Charakterisitka -Bez. Bez. Dimensionen D_: Dimensionen M:M 1:M 1:1 CC: Charakterisitka-Bez C_: Charakteristika

Fazit ... Wir haben eine Basis gelegt, um alle notwendigen Metadaten für eine vielfältige Weiterentwicklung des Data Handling von WH-Fakten aus sich rasch verändernden Quellen sicherzustellen. Die Grundanforderungen - offen, generisch, flexibel, ausbaufähig - sind erfüllt und eine Reihe von „Goodies“, wie etwa die Raumerweiterung oder die Periodenverdichtung, entwickelt worden. Es müssen nun Methoden für die Operationen auf Thesaurus und Dimensionen implementiert werden. Die neuere Literatur zeigt, dass hier ein grosses Potential sinnvoller Werkzeuge entwicklet worden ist. Über eine Erweiterung wird offen nachgedacht: Export von ausgewählten Data und Information Marts ins Web von Kunden des Economic Research. Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Fazit Ganz persönlich Das Projekt verband - für mich persönlich - meine Erfahrungen aus der historischen Fachinformatik mit raum-zeit-thematischen Datenbanken und -analysen mit der WH-Technologie. Mit dem Wissen, das ich in den letzten Monaten an der ETH mitbekommen habe, hätte ich mir einiges Kopfzerbrechen ersparen können, wohl aber auch mehr Arbeit aufgeladen (ich denke da v.a. Level-Groups, Viewgitter, Thesaurusoperationen). Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Literatur Zum Projekt DWH Economic Research Schüle, H. (1998): SAS-Data Warehouse Technologie für die Forschung. Eine raum-zeit-thematische Datenbank für Economic Research. In: - Geschichte und Informatik / Histoire et Informatique Vol 9. Bern. S. 159-181. Rappl, K. (1998): Ein Data Warehouse für sektorale und regionale Analysen - Anforderungen der Nutzer. Referat in: Warehosing‘98, Proceedings. Zürich. Ohne Seitenzahlen Schüle, H.; Locher R. (1998): Ein raum-zeit-thematisches SAS-Data Warehouse für ein Economic Research Team - offenes, generisches Datenschema und Abfrageoberfläche. Referat in: Warehosing‘98, Proceedings. Zürich. Ohne Seitenz. [Internes Dokument] (1998): CCV - DWH - Benutzerhandbuch. [Internes Dokument] (1999): Economic Research - DWH-Administratorenhandbuch. Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Literatur Zum Dimension Handling Zu Dimension Handling, Level Groups, Views: Carlos A. Hurtado, Alberto O. Mendelzon, Alejandro Vaisman (1999): Maintaining Data Cubes under Dimension Updates. Proc. of the Int'l Conference on Data Engineering. H. Schouten (1999): Analysis and Design of Data Warehouses. In: Proceedings of the Intl. Workshop Design and Management of Data Warehouses. Heidelberg. P. 5.1 - 5.12. C. Quix (1999): Repository Support for Data Warehouse Evolution. In: Proceedings of the Intl. Workshop Design and Management of Data Warehouses. Heidelberg. P. 4.1 - 4.9. M.O. Akinde, M.H. Böhlen (1999): Constructing GPSJ View Graphs In: Proceedings of the Intl. Workshop Design and Management of Data Warehouses. Heidelberg. P. 8.1 - 8.12 Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen

Literatur und Adressen Zum Projektvorgehen J.A. Rodero, M.G. Piattini, J.A. Toval (1999): The Audit of the Data Warehouse Framework. In: Proceedings of the Intl. Workshop Design and Management of Data Warehouses. Heidelberg. P. 14.1-14.12 Rapid Data Warehousing with the SAS System. Cary 1996, 1998. Adressen: Hannes.Schuele @ gmx.ch Mit-Realisierung: RLocher @ iiic.ethz.ch WH-Administrator (Kunde): Ueli Braun, Economic Research, CREDIT SUISSE, Zürich, ulrich.braun @ credit-suisse.ch Intro / Thema Business Case Grundbegriffe Abfragen, Datenexport, Lösungsansatz Thesauri Fazit, Literatur, Adressen