Qualitätskontrolle der IPCC-AR5 Daten

Präsentation zum Thema: "Qualitätskontrolle der IPCC-AR5 Daten"—  Präsentation transkript:

1 Qualitätskontrolle der IPCC-AR5 Daten
Martina Stockhause, Michael Lautenschlager, Heinke Höck, Heinz-Dieter Hollweg DACH2010,

2 Überblick CMIP5 / IPCC-AR5 CMIP5 Infrastruktur
IPCC-AR5 Qualitätskontrollen Martina Stockhause et al. DACH2010 2 / 20

3 CMIP5 / IPCC-AR5 Martina Stockhause et al. DACH2010 3 / 20

4 CMIP5 / IPCC-AR5 in Zahlen
Coupled Model Intercomparison Project (CMIP5) Teilnehmer: ca. 20 teilnehmende Modellierungszentren mit ca. 40 Modellkonfigurationen (i.W. versch. Auflösungen) Experimente: Experimente mit t.w. mehreren Realisationen (Ensemble) über ca Modelljahre ca. 2 Mio. Datensätze von ca. 400 Experimenten Datenumfang: ca. 10 PByte output, davon ca. 2 PByte requested und ca. 1 PByte replicated : IPCC-AR5 Martina Stockhause et al. DACH2010 4 / 20

5 Datenstruktur: Datenformat
Verwendete Standards: Format: netcdf3 (selbst-beschreibend) Climate and Forecast (CF): Konvention zur Beschreibung von wiss. Parametern gridspec: Konvention zu Gitterdefinitionen Controlled Vocabulary (CMIP5): DRS (Data Reference Syntax) + digital Identifier für die File-Identifizierung CMOR2: Tool zum Eintrag/Kontrolle in Datenheadern Martina Stockhause et al. DACH2010 5 / 20

6 Data Reference Syntax (DRS):
Datenstruktur: DRS Data Reference Syntax (DRS): Bsp.: CMIP5.output.MPI-M.ECHAM6-MPIOM-LR.rcp45.mon.atmos.v1.tas.r1i1p1. tas_Amon_ECHAM6-MPIOM-LR_rcp45_r1i1p1.nc Martina Stockhause et al. DACH2010 6 / 20

7 CMIP5 Infrastruktur Martina Stockhause et al. 24.09.2010 DACH2010
7 / 20

8 CMIP5 Infrastruktur: Earth System Grid Federation (ESGF)
ESGF Partner - PCMDI, BADC, DKRZ : ESG Gateway Daten-Replikation des IPCC-AR5-Subsets der CMIP5-Daten Verteilte Qualitätskontrollen der Daten für Level 2 ESGF Martina Stockhause et al. DACH2010 8 / 20

9 CMIP5 Infrastruktur: Earth System Grid Federation (ESGF)
Aufgaben der ESGF-Partner: PCMDI: BADC: WDCC / DKRZ: Daten- und Sicherheits- Infrastruktur ESG Metadaten-Infrastruktur METAFOR / CIM Qualitätskontrollen und Datenpublikation (STD-DOI) Martina Stockhause et al. DACH2010 9 / 20

10 CMIP5 Qualitätskontrollen
Martina Stockhause et al. DACH2010 10 / 20

11 Qualitätskontrollen: Überblick
Statistical or Record Checks of Data STD-DOI: Double Check of Data and Metadata / Author Approval Scientific Control of Questionnaire Input Martina Stockhause et al. DACH2010 11 / 20

12 Qualitätskontrolle: QC Level 1
QC Level 1 (automated conformance checks passed): CMOR2 checks: ESG Publisher checks: Metadata checks: DRS syntax check Axis checks Variable checks (CF standard name, unit) cross-check of file name vs. netcdf header File readable and of size>0 bytes axis and variables recognizable time is monotonic, calendar recognizable METAFOR / CIM conformance (technical validity of questionnaire entries) Martina Stockhause et al. DACH2010 12 / 20 12 / 16 12 / 16

13 Qualitätskontrolle: Level 2
File System Data Node Metadata THREDDS Data Server MD on data Metafor / CIM Questionnaire MD on model+simulation Data in prescribed DRS Syntax MD Quality Checks L2 Data Quality Checks L2 QC DB Quality MD Data MD Information MD Metadata Repository Martina Stockhause et al. DACH2010 13 / 20

14 Qualitätskontrolle: QC Level 2
QC Level 2 (subjective quality control passed): Performed on IPCC-AR5 subset of CMIP5 data at all ESGF partners Data checks: Check of statistical global values and additional DRS checks Record checks against predefined thresholds for data unchecked by 1. Subjective metadata control by scientist Metadata checks: Martina Stockhause et al. DACH2010 14 / 20

15 Qualitätskontrolle: QC Level 2 Daten
QC level 2 checks on data (statistical checks): Files Check against table with CMIP5 requirements: - name - unit - cf standard name - field dimensions Time Values Check: - time step ≥ 0 - no identical time points Variables Checks on global time series: statistical values: average, standard deviation, minimum, maximum - check for constant fields and filling value fields - check for runaway points Martina Stockhause et al. DACH2010 15 / 20

16 Qualitätskontrolle: L3/STD-DOI Publication
DOI Target Page access to data and metadata TIB:DOI Registration Agency STD-DOI MD Information MD STD-DOI Catalogue Filesystem Data Longterm Archive Data Node Metadata QC DB THREDDS Data Server MD on data Metafor / CIM MD on model+simulation +data+quality Quality MD Data MD Information MD Data Quality Checks L3 double checks, cross checks, author approval WDCC:DOI Publication Agency Martina Stockhause et al. DACH2010 16 / 20

17 Qualitätskontrolle: QC Level 3 / STD-DOI
QC Level 3 (approved by author): Subjective controls (double checks) of data and metadata Author check and approval of data and metadata STD-DOI publication of data: persistent identifiers DOI/URN assigned to persistent data as citation direction E.g. doi: /WDCC/CMIP5_MXELr4 Martina Stockhause et al. DACH2010 17 / 20

18 Zusammenfassung CMIP5 Infrastruktur:
Verteilte Datenhaltung in Grid Infrastruktur (ESG) Detaillierte Metadaten (Metafor – CIM) über Modelle, Simulationen und Qualität. Qualitätschecks (Level 1 bis 3) mit Einfluss auf die Zugriffsrechte Durchführung durch die drei ESGF-Partner: PCMDI, BADC, WDCC/DKRZ; Level 3 nur am WDCC Am Ende der Qualitätschecks steht die Datenpublikation nach STD- DOI (dataCite), die eine Zitiervorschrift für die Daten liefert. Metadaten des Questionnaires, aus den Datenheadern und aus den Qualitätskontrollen werden bei der STD-DOI Publikation zusammengeführt. CMIP5 Qualitätskontrollen: Martina Stockhause et al. DACH2010 18 / 20

19 WDCC Metadata Concept Relational DB RDF XML WDCC GUI
SIMULA- TION ACCESS TOPIC ENTRY MODEL PLAT- FORM WDCC GUI Scientific Portal (e.g. IS-ENES) CERA2 Data Model Information Model performant easy-to-use complete flexible 19 / 20

20 http://www.wdc-climate.de http://cmip-pcmdi.llnl.gov/cmip5/
Martina Stockhause et al. DACH2010 20 / 20

21 Technische Infrastruktur: Earth System Grid Federation (ESGF)
BADC DKRZ PCMDI ESGF Partner: PCMDI, BADC, DKRZ ESG Gateway Replikation des IPCC-AR5 Subsets der CMIP5-Daten Martina Stockhause et al. DACH2010

22 Technische Infrastruktur: Earth System Grid Federation (ESGF)
Qualitätskontrolle: Workflow STD-DOI Publication 22 / 20