Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Qualitätskontrolle der IPCC-AR5 Daten Martina Stockhause, Michael Lautenschlager, Heinke Höck, Heinz-Dieter Hollweg DACH2010, 24.09.2010.

Ähnliche Präsentationen


Präsentation zum Thema: "Qualitätskontrolle der IPCC-AR5 Daten Martina Stockhause, Michael Lautenschlager, Heinke Höck, Heinz-Dieter Hollweg DACH2010, 24.09.2010."—  Präsentation transkript:

1 Qualitätskontrolle der IPCC-AR5 Daten Martina Stockhause, Michael Lautenschlager, Heinke Höck, Heinz-Dieter Hollweg DACH2010,

2 Martina Stockhause et al. DACH2010 Überblick CMIP5 / IPCC-AR5 CMIP5 Infrastruktur IPCC-AR5 Qualitätskontrollen 2 / 20

3 Martina Stockhause et al. DACH2010 CMIP5 / IPCC-AR5 3 / 20

4 Martina Stockhause et al. DACH2010 CMIP5 / IPCC-AR5 in Zahlen Teilnehmer: ca. 20 teilnehmende Modellierungszentren mit ca. 40 Modellkonfigurationen (i.W. versch. Auflösungen) Experimente: 60 Experimente mit t.w. mehreren Realisationen (Ensemble) über ca Modelljahre ca. 2 Mio. Datensätze von ca. 400 Experimenten Datenumfang: ca. 10 PByte output, davon ca. 2 PByte requested und ca. 1 PByte replicated : IPCC-AR5 Coupled Model Intercomparison Project (CMIP5) 4 / 20

5 Martina Stockhause et al. DACH2010 Datenstruktur: Datenformat Verwendete Standards: Format: netcdf3 (selbst-beschreibend) Climate and Forecast (CF): Konvention zur Beschreibung von wiss. Parametern gridspec: Konvention zu Gitterdefinitionen Controlled Vocabulary (CMIP5): DRS (Data Reference Syntax) + digital Identifier für die File-Identifizierung CMOR2: Tool zum Eintrag/Kontrolle in Datenheadern 5 / 20

6 Martina Stockhause et al. DACH2010 Datenstruktur: DRS Data Reference Syntax (DRS): CMIP5.output.MPI-M.ECHAM6-MPIOM-LR.rcp45.mon.atmos.v1.tas.r1i1p1. tas_Amon_ECHAM6-MPIOM-LR_rcp45_r1i1p1.nc Bsp.: 6 / 20

7 Martina Stockhause et al. DACH2010 CMIP5 Infrastruktur 7 / 20

8 Martina Stockhause et al. DACH2010 CMIP5 Infrastruktur: Earth System Grid Federation (ESGF) ESGF Partner - PCMDI, BADC, DKRZ : ESG Gateway Daten-Replikation des IPCC-AR5-Subsets der CMIP5-Daten Verteilte Qualitätskontrollen der Daten für Level 2 ESGF 8 / 20

9 Martina Stockhause et al. DACH2010 CMIP5 Infrastruktur: Earth System Grid Federation (ESGF) Aufgaben der ESGF-Partner: PCMDI: BADC: WDCC / DKRZ: Daten- und Sicherheits- Infrastruktur ESG Metadaten-Infrastruktur METAFOR / CIM Qualitätskontrollen und Datenpublikation (STD-DOI) 9 / 20

10 Martina Stockhause et al. DACH2010 CMIP5 Qualitätskontrollen 10 / 20

11 Martina Stockhause et al. DACH2010 Qualitätskontrollen: Überblick Scientific Control of Questionnaire Input Statistical or Record Checks of Data STD-DOI: Double Check of Data and Metadata / Author Approval 11 / 20

12 12 / Martina Stockhause et al. DACH2010 Qualitätskontrolle: QC Level 1 QC Level 1 (automated conformance checks passed): CMOR2 checks: ESG Publisher checks: Metadata checks: DRS syntax check Axis checks Variable checks (CF standard name, unit) cross-check of file name vs. netcdf header File readable and of size>0 bytes axis and variables recognizable time is monotonic, calendar recognizable METAFOR / CIM conformance (technical validity of questionnaire entries) 12 / 16

13 Qualitätskontrolle: Level Martina Stockhause et al. DACH2010 File SystemData NodeMetadata Data in prescribed DRS Syntax Data Quality Checks L2 MD Quality Checks L2 THREDDS Data Server MD on data Metafor / CIM Questionnaire MD on model+simulation QC DB Quality MD Metadata Repository Data MD Information MD 13 / 20

14 Martina Stockhause et al. DACH2010 Qualitätskontrolle: QC Level 2 QC Level 2 (subjective quality control passed): Performed on IPCC-AR5 subset of CMIP5 data at all ESGF partners Data checks: 1.Check of statistical global values and additional DRS checks 2.Record checks against predefined thresholds for data unchecked by 1. Subjective metadata control by scientist Metadata checks: 14 / 20

15 Martina Stockhause et al. DACH2010 Qualitätskontrolle: QC Level 2 Daten QC level 2 checks on data (statistical checks): Files Check against table with CMIP5 requirements: - name - unit - cf standard name - field dimensions Time Values Check: - time step 0 - no identical time points Variables Checks on global time series: statistical values: average, standard deviation, minimum, maximum - check for constant fields and filling value fields - check for runaway points 15 / 20

16 DOI Target Page access to data and metadata TIB:DOI Registration Agency STD-DOI MDInformation MD STD-DOI Catalogue Qualitätskontrolle: L3/STD-DOI Publication Data NodeMetadata THREDDS Data Server MD on data QC DB Quality MD Data MDInformation MD Filesystem Data Longterm Archive Data Quality Checks L3 double checks, cross checks, author approval WDCC:DOI Publication Agency Metafor / CIM MD on model+simulation +data+quality Martina Stockhause et al. DACH / 20

17 17 / 20 E.g. doi: /WDCC/CMIP5_MXELr Martina Stockhause et al. DACH2010 Qualitätskontrolle: QC Level 3 / STD-DOI QC Level 3 (approved by author): Subjective controls (double checks) of data and metadata Author check and approval of data and metadata STD-DOI publication of data: persistent identifiers DOI/URN assigned to persistent data as citation direction

18 Martina Stockhause et al. DACH2010 Zusammenfassung 18 / 20 CMIP5 Infrastruktur: Verteilte Datenhaltung in Grid Infrastruktur (ESG) Detaillierte Metadaten (Metafor – CIM) über Modelle, Simulationen und Qualität. Qualitätschecks (Level 1 bis 3) mit Einfluss auf die Zugriffsrechte Durchführung durch die drei ESGF-Partner: PCMDI, BADC, WDCC/DKRZ; Level 3 nur am WDCC Am Ende der Qualitätschecks steht die Datenpublikation nach STD- DOI (dataCite), die eine Zitiervorschrift für die Daten liefert. Metadaten des Questionnaires, aus den Datenheadern und aus den Qualitätskontrollen werden bei der STD-DOI Publikation zusammengeführt. CMIP5 Qualitätskontrollen:

19 WDCC Metadata Concept Relational DB TOPIC ENTRY CERA2 Data Model RDF XML Information Model ACCESS MODEL PLAT- FORM SIMULA- TION WDCC GUI Scientific Portal (e.g. IS-ENES) performant easy-to-use complete flexible 19 / 20

20 Martina Stockhause et al. DACH / 20

21 Martina Stockhause et al. DACH2010 Technische Infrastruktur: Earth System Grid Federation (ESGF) PCMDI DKRZ BADC ESGF Partner: PCMDI, BADC, DKRZ ESG Gateway Replikation des IPCC-AR5 Subsets der CMIP5-Daten

22 Technische Infrastruktur: Earth System Grid Federation (ESGF) 22 / 20 Qualitätskontrolle: Workflow STD-DOI Publication


Herunterladen ppt "Qualitätskontrolle der IPCC-AR5 Daten Martina Stockhause, Michael Lautenschlager, Heinke Höck, Heinz-Dieter Hollweg DACH2010, 24.09.2010."

Ähnliche Präsentationen


Google-Anzeigen