M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,

Präsentation zum Thema: "M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET,"—  Präsentation transkript:

1 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 1 HLRE ( 1 ) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate (M&D/MPIMET, Hamburg) DFG-Rundgespräch Frauenchiemsee, 06+07.11.2003 ( 1 ) Höchstleistungsrechenzentrum für die Klima- und Erdsystemforschung Beiträge von DKRZ, WDC MARE, WDC RSAT

2 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 2 HLRE Infrastruktur Externer Zugang Langzeitdatenarchivierung WDC-Verbund Erdsystemforschung ICSU-WDC's: WDC-MARE, WDC-RSAT, WDC-CLIMATE Datenpublikation Service der Datenzentren Kosten Nicht: Infrastruktur für Anwendung von GCM's internationale Kooperationen (EU Projekte) Aufbau und Zugang zu WDC's

3 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 3 HLRE Hardware

4 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 4 24 NEC SX-6 Nodes, 1.5 TeraFlops Peak (1 Node: 8 Vector CPUs, je 8 Gflops peak, 64 Gbyte Mem. ) IXS Crossbar switch (Bandbreite 8 Gbyte/s pro Node) Platz 33 der Top 500 (7/2003) 6 NEC AzusA (je 16 IA-2; 1000 Mhz; Linux) 4 STK Silos (ca. 1.5 PetaByte) HLRE Hardware

5 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 5 Application: FLAME (MOM2 ocean model) Purpose: Investigation of Deep Water Formation and Transport Grid Points: up to 1021 x 1406 x 45 Main Memory: up to 25 GB Parallel.: MPI Sust. Perf: 45 GF on 2 nodes Efficiency: 35 % Sust. Perf: 72 GF on 4 nodes Efficiency: 28 % HLRE Applikation

6 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 6 DKRZ: "Konservative Abschätzung"

7 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 7 MPI-M M&D Shareholder DKRZ WLA German Scientific Community Cooperation Advise Service Requirements Externer Zugang 50% der Ressourcen am DKRZ für Projekte (BMBF, DFG,EU) Unterstützung bei Anwendung und Implementierung von numerischen Modellen Wissenschaftliches Datenmanagement: WDC for Climate IPCC DDC

8 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 8 WDC Verbund Erdsystemforschung Wurde am 25.04.03 von den 3 deutschen ICSU WDC's in Oberpfaffenhofen gegründet. WDC for Climate: M&D / DKRZ, Hamburg http://www.mad.zmaw.de/wdcc/ http://www.mad.zmaw.de/wdcc/ WDC MARE (Marine Environmental Sciences): Marum, Bremen und Bremerhaven http://www.wdc-mare.org/ http://www.wdc-mare.org/ WDC RSAT (Remote Sensing for the Atmosphere): DFD/DLR, Oberpfaffenhofen http://wdc.dlr.de/ http://wdc.dlr.de/ Verpflichtung: Langzeit-Datenarchivierung und freier, unbeschränkter Datenzugang für alle Wissenschaftler (ICSU Rules for WDC's und Regeln zur guten wissenschaftlichen Praxis)

9 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 9 WDC-CLIMATE Data Content Climate Model Data (Continuous stream of new data) IPCC DDC (Data Distribution Centre) Will be continued for the Fourth Assessment Report CEOP (Coordinated Enhanced Observing Period) Model output retention and handling Centre Part of WCRP that was motivated by GEWEX with focus on water and energy cycles within the climate system (01.10.2002 – 31.12.2004) Observational Data Model related observations: ERA15/40 (ECMWF), NCEP 40 Y. Reanal. Instrumental data: WOCE (World Ocean Circulation Experiment) Earth observations: Access to SST's from NOAA AVHRR in cooperation with WDC RSAT (distributed archive) Project Support (encourage Good Scientific Practice) HOAPS (Hamburg Ocean Atmosphere Parameters and Fluxes from Satellite Data) CARIBIC (Civil Aircraft for Regular Investigation of the Atmosphere Based on an Instrumentation Container), MPI Mainz Different model applications

10 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 10 CERA Database: 7.1 TB (12.2001) * Data Catalogue * Processed Climate Data * Pointer to Raw Data files Mass Storage Archive: 210 TB neglecting Security Copies (12.2001) CERA Database System Web-Based User Interface Catalogue Inspection Climate Data Retrieval DKRZ Mass Storage Archive InternetAccess Current database size is 23.251 Terabyte Number of experiments: 304 Number of datasets: 30201 Number of blob within CERA at 29-OCT-03: 1403519699 Typical BLOB sizes: 17 kB and 100 kB Number of data retrievals: 1500 – 8000 / month WDC-CLIMATE More than 23 TB climate (model) data web accessible!

11 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 11 WDC-MARE

12 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 12 WDC-MARE

13 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 13 WDC-RSAT Leitbild Forschung, Entwicklung, und Dienstleistungen um die Fernerkundung der Atmosphäre zu fördern - als ein unentbehrliches Instrument um umweltorientierte Geoinformation abzuleiten - für alle mögliche wissenschaftliche, wirtschaftliche, soziale, und politische Zwecke - als ein Hauptbeitrag um Raumtechniken als ein Schlüssel für ein besseres Verständnis der Erde zu etablieren

14 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 14 Datenarchiv - Besonderheiten - Spektroskopische und klimatologische Datenbanken - Atmosphärische Spurengasverteilungen - Meterologische und physikalische Wolkenparameter - Boden- und Ozeanflächenparameter (LST, SST, NDVI) - Operationelle Satellitensensoren: ATOVS, AVHRR, GOME, GOMOS, HALOE, MERIS, MIPAS, MODIS, SAGE II, SCIAMACHY, TOMS - Space Shuttle Missionen: ATMOS, CRISTA, MAS, SSBUV - Sammlung, Archivierung, und Verteilung der atmosphärischen Daten - Entwicklung der value-added Daten und Produkte durch Modellierung und Datenassimilation WDC-RSAT Benutzte Sensoren - Besonderheiten Dienstleistungsoptionen - Besonderheiten

15 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 15 WDC Verbund Erdsystemforschung Grundsatzerklärung Datenpublikation - Die Daten selbst sollen unabhängig vom archivierenden System eindeutig identifizierbar, referenzierbar und universell zugreifbar sein (z.B. Vergabe von DOI's oder URN's ). - DFG Projekt "Publikation und Zitierfähigkeit wissenschaftlicher Primärdaten" (12 Monate, Beginn 01.10.03) Service der Datenzentren - Qualifizierte thematische Datenzentren übernehmen die Rolle für die Archivierung und Publikation von wissenschaftlichen Daten. - Die Zentren garantieren eine langfristige und freie Verfügbarkeit archivierter Daten im Rahmen der Richtlinien der ISCU Weltdatenzentren. - Datenzentren stehen mit ihrer Expertise den Fördereinrichtungen, den Gutachtern und der Wissenschaft beratend zur Verfügung.

16 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 16 WDC Verbund Erdsystemforschung Grundsatzerklärung Aufwand bezogene Finanzierung - Die Grundfinanzierung der Datenzentren sollte aus den Haushalten der tragenden Forschungseinrichtungen bestritten werden. Diese übernehmen damit die Verantwortung für einen langfristigen Betrieb. - Drittmittelanträge sollten ein Datenmanagementkonzept beinhalten, das definiert, welche neuen Daten erhoben bzw. existierenden Daten erfasst werden sollen. - Für diese projektrelevanten Datenmanagementaufgaben sind anteilige Mittel vorzusehen. - Ein ausgewiesenes Kostenmodell der Langfristdatenzentren soll diesen Aufwand kalkulierbar machen.

17 M.Lautenschlager (WDCC, Hamburg) / 03.11.03 / 17 Beispiel für Zugriff auf WDC Verbund Erdsystemforschung