Langzeitarchivierung von Klimamodelldaten am Beispiel WDC Climate und DKRZ Michael Lautenschlager (WDCC / MPI-M, Hamburg) Wolfgang Stahl (DKRZ, Hamburg) Workshop: Speicherkonzepte digitaler Langzeitarchivierung November 2006 Niedersächsische Staats- und Universitätsbibliothek, Göttingen

Inhalt Einführung Klimamodellierung Datenzuwachs und Probleme Lösungen: Datenmanagement Lösungen: Technische Umsetzung Zusammenfassung

Schematische Darstellung Klimasystem Einführung

Schematische Darstellung des Hamburger IPCC-Klimamodells ECHAM5/MPI-OM Einführung

Schematische Darstellung signifikanter Prozesse im Atmosphären- modell Einführung

Antrieb Klimaprojektionen IPCC AR4 Einführung

Temperatur- änderungen in Erdbodennähe in den Szenarien A1B und B1. Gezeigt ist die Differenz der 30-Jahresmittel minus Einführung

Änderung des Meeresspiegels (m) im Jahr 2100 relativ zum Zustand des Jahres 2000 für das A1B-Szenario. Einführung

Vergleich der heutigen Meereisbedeckung im März und September (oben) mit den Projektionen für das Szenario A1B (unten) im Jahr Ebenfalls dargestellt ist die Schneebedeckung über Land. Einführung

URL: /fileadmin/grafik/presse/Kli maprojektionen2006.pdf Einführung

Räumliche Auflösung des Nordatlantischen Sektors Datenzuwachs und Probleme

Datenvolumina in Klimaprognosen: IPCC AR4: ECHAM5[T63L19]/MPI-OM produziert 23 TB/Jahr Klimaprognose 240 Jahre ( ): 5,5 TB und ca. 2 Mon. Maschinenzeit Ausblick: ECHAM5[T106L31] produziert 44 GB/Jahr Klimaprognose 240 Jahre ( ): 106 TB, d.h. Aufwand ist ca. 20 * T63

Datenzuwachs und Probleme Aktueller Bestand: 5 Billiarden Byte Auf Bändern Medienverteilung: Kapazität

Datenzuwachs und Probleme lokale Systeme CS DS NW entfernte Systeme GFS Systemübersicht

Datenzuwachs und Probleme x 32 LAN x 16x 35 UCFM Cache 17 TB 9840C x B x 18 T10000 x 8 LTO2 x 2 x 16 GFS Disk 70 TB x 32 x 48 DBMS Disk 30 TB x 20 x 112 x 36 x 24 x 12SX-6SX-6SX-6SX-6SX-6SX-6SX-6SX-6SX-6SX-6SX-6SX-6SX-6SX-6 IXS 24 nodes x 2 DXUL-DB Oracle9i 6 * 4/8 3 * 16/32-48 x 12 x 6 GFS/UVDM UDSN UCFM 3 * 4/8 SUN ApplSrv x 6 x 8 x 6 DS test 8/16 UDSN 2 * 16/32 UCFM GFS/UVDM HSM DBMS 8/16 Az archive backup X compile user appl x 2 x 12 2 * 8/16 GFS x 4 x 12 System, Detailansicht

Datenzuwachs und Probleme

Betrieb: Bandwartezeiten 2004/2006

Datenzuwachs und Probleme Medienverteilung: Dateien

Datenzuwachs und Probleme Datenverteilung: Nutzungsklassen

Datenzuwachs und Probleme HLREC90C2 SX4T3D Datenbestand: Historie

Datenzuwachs und Probleme HLREC90C2 T3DSX4 Datenbestand: jährl. Wachstum

Datenzuwachs und Probleme HLRE2HLREC90 MPP Datenbestand: zukünftiges Wachstum

Datenzuwachs und Probleme HLRE2HLREC90 MPP Datenbestand: zukünftige Datenmenge

Datenzuwachs und Probleme Medien-Kostenexplosion trotz sinkender Bandpreise /9 2006/7

Datenzuwachs und Probleme Anforderungen an Daten-Service: Sicherstellung der Langzeitarchivierung Kostenverschiebung in Richtung Daten-Service stoppen bzw. umkehren zu Gunsten Compute-Service Es ist nicht mehr finanzierbar, alle Daten dauerhaft zu archivieren. Welche Daten werden ausgewählt? ( Datenmanagement) Wie erfolgt die Datensicherung? ( Technische Umsetzung)

Lösungen: Datenmanagement Bisher: Alle Daten werden dauerhaft archiviert. Zukünftig: Nur ausgewählte Daten mit Dokumentation werden dauerhaft archiviert, Alle anderen besitzen nur begrenzten Lebensdauer (Zeitfenster bestimmt durch Projektlaufzeit) Umsetzung: Projektorientiertes Datenmanagement am DKRZ mit wissenschaftlicher Entscheidung für Langzeitarchivierung

Lösungen: Datenmanagement Grundlage des neuen Konzeptes bildet die Umstellung der bisher nutzerbezogenen Datenhaltung auf eine projektbezogene Datenhaltung in einer mehrstufigen Speicherhierarchie: docu arch work temp Diese neue Hierarchie spiegelt die Qualität und die erwartete Lebensdauer der Daten wieder. Langzeitarchivierung in dieser Hierarchie setzt eine bewußte und sorgfältige Entscheidung des projekt- / datenverantwortlichen Wissenschaftlers voraus und erfordert die vollständige Dokumentation der Daten.

Lösungen: Datenmanagement Datenverteilung: Archivklassen

Lösungen: Datenmanagement Hierarchieebene "docu" (Magnetband) Daten werden mit einer vereinheitlichten XML- Dokumentation (CERA Metadaten) versehen und im Rahmen des WDC Climate (WDCC) mit Zweitkopie gespeichert. Sie sind nicht mehr änderbar und stehen für Referenzuntersuchungen zur allgemeinen Verfügung. Daten von allgemeinem Interesse können im Rahmen des Primärdatenpublikationskonzeptes des WDCC als eigenständige Datenentitäten veröffentlicht werden. Diese Daten durchlaufen im Rahmen der Publikation einen Review- und Qualitätssicherungsprozess. Publizierte Daten sind derzeit über den Katalog der Technischen Informationsbibliothek in Hannover allgemein such- und zugreifbar Lebensdauer: Entsprechend dokumentierte und nicht mehr veränderbare Daten können im Sinne der Unterstützung der Benutzer bis 10 Jahre nach Projektende gespeichert bleiben, publizierte Daten im Rahmen der Bibliotheksrichtlinien auch länger.

Lösungen: Datenmanagement Hierachieebene "arch" (Magnetband): Dies ist der Archivbereich für Referenzdaten eines Projektes, für die zwar nicht die doppelte Sicherung erforderlich ist, die aber für die gesamte Projektlaufzeit aufbewahrt werden sollen und für die der zur Verfügung stehende Plattenplatz nicht reicht. Diese Daten werden in einfacher Kopie auf Bändern gehalten. Lebensdauer Die normale Lebensdauer dieser Daten ist die Projektlaufzeit plus 1 Jahr. Nach Erreichen dieser Zeitmarke werden die Daten nach rechtzeitiger Ankündigung automatisch gelöscht.

Lösungen: Datenmanagement Hierarchieebene "work" (in Zukunft Platte): Hier sollen Daten gehalten werden, auf die während der Projektzeit häufig zugegriffen werden muss. Angestrebt ist ein plattenresidenter Bereich, in dem der überwiegende Teil der Interimsprojektdaten bearbeitet werden kann, ohne auf Bänder zugreifen zu müssen. Lebensdauer Jedem Projekt steht hier ein festes selbst zu verwaltendes Kontingent zu. Die hier abgelegten Daten werden bei Projektende gelöscht. Hierarchieebene "temp" (Platte): Diese Daten sind rein plattenresident und haben nur eine kurze Lebensdauer. Die Daten liegen auf schnellen, maschinennahen Plattenbereichen.

Lösungen: Technologische Umsetzung Datensicherung Vermeidung von Medienfehlern Zweitkopien auf unabhängigen Bändern in der Ebene "doku Zweitkopien auf Technologie eines anderen Herstellers Zweitkopien an getrenntem Standort Umkopieren auf neue Bändern nach max. Anzahl von Bandaufrufen Gewährleistung der Zugriffssicherheit Wechsel zu neuer Technologie muss abwärts kompatibel sein Transfer der Datenleseprogramme auf neue Plattform

Zusammenfassung Datensicherheit durch Doppelte Kopien auf unabhängigen Medien + Technologien Medienverwaltung Abwärts kompatiblen Technologiewechsel Begrenzung des Datenwachstums Langzeitarchiv Begrenzung des Datenwachstums im Langzeitarchiv Langzeitarchivierung als wissenschaftliche Entscheidung Daten werden a priori nur noch zeitlich befristet gespeichert Auf Antrag und mit Dokumentation ist ein Langzeitarchivierung im Rahmen des WDCC möglich