Workflow - Diagnosetool -

Präsentation zum Thema: "Workflow - Diagnosetool -"—  Präsentation transkript:

1 Workflow - Diagnosetool -
IGMK und ZAIK Universität zu Köln IfM Freie Universität Berlin

2 Workflow Intention Wissenschaftliche Zielsetzung, die Workflow erfordert: Interpretation und Vergleich von Modellexperimenten und „Beobachtungsdaten“ hinsichtlich bestimmter wiss. Fragestellungen. Dazu Standard-Berechnungen von Parametern für die Basisdaten durch Diagnosetools. Problematik der Workflows - gewöhnlich sehr große Menge an Daten, von der nur ein Teil gebraucht wird. - räumliche Datenverteilung oft unklar (gibt es Kopien, etc) - Zwischenprodukte werden nach Plattenplatz und „Gefühl“ der Bearbeiter aufgehoben. - Anforderungen und Zeit für Workflow-Abarbeitung passen nicht notwendig zu einander – Optimierung auf Basis Erfahrung.

3 Workflow Intention Vorstellung, wie C3-Ergebnis aussehen könnte
- Benutzeroberfläche, die auf Bedürfnisse der Anwender abgestimmt ist, - Automatisierte Erkennung der Verfügbarkeit geeigneter Datensätze (auch: 90%) - Abschätzung der Realisierbarkeit und des Aufwands vor Auftragsvergabe - Automatisierte Abarbeitung, mit Möglichkeit, Replikate / Kopien / Zwischenergebnisse und bestimmte Plattformen zu erzwingen. - Eignung nicht nur für Beispielworkflows, Verfahren verallgemeinerbar!!

4 Beispiel: Workflow I (Baroklinitätsberechnung)
Diagnosecluster Datenfluss am Beispiel eines der Diagnose-Tools (Baroklinität) Beispiel: Workflow I (Baroklinitätsberechnung) Als Berechnungsgrundlage für angegebenen Speicherplatzbedarf dient ein Konsortiallauf des Klimamodells ECHAM5: ECHAM5 A1B 1 Auflösung: horizontal: T63 (entspricht Gauss-Gitter: 192 x 96) vertikal: (troposphärische) p-Level zeitlich: 4 x täglich (6h) Zeitraum: Jahre für die Berechnung des Eady-Parameters werden aus zwei Niveaus je 4 Parameter verwendet.

5 WDC Climate / DKRZ RRZK IGM K / FU B
Diagnosecluster Datenfluss am Beispiel eines der Diagnose-Tools (Baroklinität) WDC Climate / DKRZ RRZK IGM K / FU B CERA 1 DKRZ (UTF) 2 RRZK (SAN) 3 RRZK (SAN) 4 K / B (home) Speicherplatz: Monthly mean: MB MB MB Daily mean: GB GB ,4 GB 6 hourly: GB GB ,6 GB GRIB-Format GRIB-Format LOLA-Format LOLA-Format Aktueller Beispiel-Workflow (globale Daten als Ergebnis) 1 Datentransfer per jblob von der CERA-Datenbank auf die UTF-Platte des DKRZ. 2 Datentransfer per ftp vom DKRZ auf die SAN-Festplatte des RRZK. 3 Datenkonvertierung mit PINGO / CDO: vom GRIB- zum LOLA-Format. 4 Eady-Programm liest 8 Parameter ein und gibt den berechneten EADY-Parameter ins home-Verzeichnis des IGMK aus.

6 Bei Berechnung für eine Region (hier Atlantik-Europa 90W-50E, 80N-20N)
Diagnosecluster Datenfluss am Beispiel eines der Diagnose-Tools (Baroklinität) WDC Climate / DKRZ CERA 1 DKRZ (UTF) 2 RRZK (SAN) 3 RRZK (SAN) 4 K / B (home) Speicherplatz: Monthly mean: MB MB MB Daily mean: GB GB ,4 GB 6 hourly: GB GB ,6 GB Bei Berechnung für eine Region (hier Atlantik-Europa 90W-50E, 80N-20N) deutlich reduzierte Datenmenge (57x25=1425 Gitterpunkte) Speicherplatz: reduzierter Speicherplatz Monthly mean: MB MB MB Daily mean: GB GB ,4 GB 6 hourly: GB GB ,6 GB

7 Diagnosecluster Datenfluss für weitere Diagnose-Tools
Feuchteflüsse Dateninput: Wind (zonal, meridional), spezifische Feuchte (berechnet aus rel. Feuchte, daher auch Temperatur benötigt) Druckniveaus auswählen oder integriert (falls ab Boden: Bodendruck und bodennahe Wind- und Feuchtefelder benötigt) CAPE Dateninput: Temperatur, relative Feuchte, integriert über variable Höhenbereiche Bodendruck, falls ab Boden (Evtl Flüssigwasser in einzelnen Niveaus) Stormtracks Dateninput: Geopotenzial in einem Niveau Zeitserien (tägliche oder noch höher aufgelöste Daten) Berechnungen der Stromfunktion, meridionale Ableitungen (Gradienten) besser aus KFFK statt aus Gitterpunktsdaten!

8 Workflow Diagnosetool -alt-
CERA long term storage WORK- SHARE scratch IGMK (IGMK) b a c d d‘ e Extraktion der Daten aus Datenbank Konvertierung der Daten in anderes Datenformat Transfer der Daten ins IGMK Berechnung der gewünschten Daten mit Hilfe des Diagnosetools d‘: ggf. Statistische Analyse der Ausgangsdaten Grafische Aufbereitung der Ergebnisdaten

9 Workflow Diagnosetool -neu-
(RRZK / IGMK) WORK- SHARE d‘ e b a c d scratch RRZK scratch IGMK CERA scratch RRZK scratch RRZK e b Extraktion der Daten aus Datenbank Transfer der Daten ins IGMK Konvertierung der Daten in anderes Datenformat Berechnung der gewünschten Daten mit Hilfe des Diagnosetools d‘: ggf. Statistische Analyse der Ausgangsdaten Grafische Aufbereitung der Ergebnisdaten long term storage

10 Workflow - neu - Extraktion von Daten aus dem Datenarchiv / Datenpool in Hamburg Transfer der Daten nach Köln Konvertierung / Aufbereitung der Daten für das Diagnosetool am ZAIK Berechnung der atmosphärischen Parameter mit Hilfe des Diagnosetools Ggf. weitere Datenverarbeitung / Statistische Analysen Visualisierung des Datensatzes

11 Workflow - aktuelle Arbeiten -
Transfer des Konvertierungstools marion (Fortran-Program) von NEC SX-6 ► SUN-Opteron Cluster Transfer des Diagnosetools incl. Job-Umgebung von SUN-Workstation ► SUN-Opteron Cluster Später: Erweiterung des Diagnosetools für netCDF und Grib Daten, damit ggf. keine weitere Konvertierung mehr notwendig ist und weniger Plattenplatz benötigt wird ► weiterhin ein direkter, effektiver Nutzen der cdo‘s möglich

12 Workflow - alt - Extraktion von Daten aus dem Datenarchiv / Datenpool in Hamburg (long-term storage) Konvertierung und Aufbereitung der Daten für das Diagnosetool am DKRZ ► Vergrößerung des Datenvolumens Transfer der Daten nach Köln Berechnung der atmosphärischen Parameter mit Hilfe des Diagnosetools Ggf. weitere Datenverarbeitung / Statistische Analysen Visualisierung des Datensatzes