© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Langzeitarchivierung für Oracle Datenbanken Stefan Brandl, Dipl.-Inf., CSP GmbH & Co. KG Projektbericht

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Inhalt Einleitung Herausforderungen Lösung Architektur Demonstration Einleitung

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Reduzierung des Speicherplatzbedarfs Optimierung der Performanz Reduzierung der Kosten Rechtliche Vorgaben (GDPdU, GoBS, Basel II) Vorgaben durch Zertifikate Interne Qualitätsansprüche Wieso Archivierung? Datenexplosion Einleitung

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Speicherplatz (DB) Performance Zeit Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Oracle Bordmittel Online - / Offline – Sicherung Export / Import, DataPump RMAN External Tables Datenbankinterne Archivierung Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Oracle BordmittelOnline Sicherung Dict I Dict II Dict III SGA -alter tablespace … begin backup -copy --alter tablespace … end backup Datendateien Kontrolldateien Redolog-Gruppen Archivierte RedoLog-Dateien Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Oracle BordmittelOffline Sicherung Dict I Dict II Dict III SGA ( ( ( Datendateien ( Kontrolldateien Redolog-Gruppen Archivierte RedoLog-Dateien -shutdown -copy -startup Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Oracle BordmittelExport Sicherung Dict I Dict II Dict III SGA Datendateien export Redolog-Gruppen Archivierte RedoLog-Dateien Kontrolldateien ( ( Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Data pumpOracle Bordmittel Dict I Dict II Dict III SGA Datendateien expdp Redolog-Gruppen Archivierte RedoLog-Dateien Kontrolldateien ( ( Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Oracle Bordmittelexternal tables Dict I Dict II Dict III SGA Datendateien Redolog-Gruppen Archivierte RedoLog-Dateien Kontrolldateien ( ( Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Oracle BordmittelRMAN Dict I Dict II Dict III SGA Datendateien Kontrolldateien Redolog-Gruppen Archivierte RedoLog-Dateien RMAN backup sets Backup Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Oracle BordmittelSQL*Loader Dict I Dict II Dict III SGA Datendateien Redolog-Gruppen Archivierte RedoLog-Dateien Kontrolldateien >sqlldr SQL*Loader:Release Copyright (c) Oracle Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Oracle Datenbankinterne Archivierung Datendateien Redolog-Gruppen Archivierte RedoLog-Dateien Kontrolldateien PROCEDURE TRANSFER ( archiveStopDate IN date DEFAULT ) IS -- Transfer of data from production to archive Person Date Comments K. Zuse Creation CURSOR c_readMainTable IS SELECT data FROM maintabel Dict I Dict II Dict III SGA Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Oracle read-only tablespaces Dict I Dict II Dict III SGA Datendateien Redolog-Gruppen Archivierte RedoLog-Dateien Kontrolldateien Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Oracle Shadow Datenbank Archivierte RedoLog-Dateien Kontrolldateien Dict I Dict II Dict III SGA Datendateien Redolog-Gruppen Dict I Dict II Dict III SGA Datendateien Redolog-Gruppen Kontrolldateien Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Nachteile Keine Bestimmung des Archivumfangs möglich Proprietäres Format des Archives Reimport bei Strukturänderungen Teilweiser Reimport Herausforderungen

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Was erwarten Sie von einer Archivierungslösung? Flexible und komfortable Beschreibung der zu archivierenden Daten Offenes Archivformat Beschreibung der Archivdaten –z.B. Datentypen, relationale Abhängigkeiten Komprimierung der Archivdaten Lösung

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Was erwarten Sie von einer Archivierungslösung? Auswahl der Daten bei Rearchivierung Nachverfolgung von Schemaänderungen über einen längeren Archivierungszeitraum Abbildung der Datentypen für Migrationsmöglichkeit über mehrere Oracle Versionen hinweg Indizierung der Archivdaten Lösung

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Die Lösung: Der Einsatz von CHRONOS Lösung Speicherplatz (DB) Speicherplatz (Archivierung) Performance Zeit

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Einordnung Zeit Produktivdaten (im täglichen Zugriff)Altdaten (nicht mehr im täglichen Zugriff) Online-/Offline-Sicherung Export/Import bzw. DataPump RMAN … Lösung

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Beispiel TPC Schema Lineitem Order Customer Nation Orderkey Custkey Name Address Nationkey Totalprice Status Orderdate Orderkey Linenumber Quantity Price Status Name Custkey Nationkey Lösung

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Lösung Archivierung – ein Beispiel Lineitem OrderkeyLinenumberPriceQuantityStatus 1123,251O 125,455F 21270,003F 3156,147O 32411,502O 4186,115F 5197,43F Order OrderkeyTotalpriceStatusOrderdateCustkey 150,50O ,00F ,98O ,50F ,20F Customer CustkeyNameAddressNationkey 1UllrichMusterstraße 51 2Armstrong th2 3VirenqueRue de la roi 35 Nation NationkeyName 1Deutschland 2USA

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Lösung Aufteilung der Daten im Archiv Lineitem OrderkeyLinenumberPriceQuantityStatus 21270,003F 3156,147O 32411,502O Order OrderkeyTotalpriceStatusOrderdateCustkey 2810,00F ,98O Customer CustkeyNameAddressNationkey 2Armstrong th2 Nation NationkeyName 2USA

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Das Archiv von CHRONOS Lösung

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Datenbank Web-/Applikations- Server Web- Client Web- Client Index- Struktur Search- Engine Export- Server Import- Server Dateisystem Java Applikation Administration und Datenzugriff Architektur

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Praxisbeispiel Einsatz zum Archivieren von großen Datenmengen, z.B. im produzierenden Gewerbe Datenmenge: 1,5 Mio Datensätze pro Tag  600 MB Nutzdaten Archivgröße: 40 MB pro Tag

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Livedemonstration Demonstration

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Zusammenfassung Archivierung ≠ Backup Oracle Tools nicht für Langzeitarchivierung geeignet Vorstellung der Archivierungslösung CHRONOS Architektur von CHRONOS Livedemonstration

© CSP GmbH & Co. KG 2005 Einleitung HerausforderungenLösung Architektur Demonstration Stefan Brandl CSP GmbH & Co. KG Herrenäckerstraße Großköllnbach Internet: Vielen Dank für Ihre Aufmerksamkeit!