Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Uwe Ulbrich, Freie Universität Berlin Workflow - Diagnosetool - IGMK und ZAIK Universität zu Köln IfM Freie Universität Berlin.

Ähnliche Präsentationen


Präsentation zum Thema: "Uwe Ulbrich, Freie Universität Berlin Workflow - Diagnosetool - IGMK und ZAIK Universität zu Köln IfM Freie Universität Berlin."—  Präsentation transkript:

1 Uwe Ulbrich, Freie Universität Berlin Workflow - Diagnosetool - IGMK und ZAIK Universität zu Köln IfM Freie Universität Berlin

2 Uwe Ulbrich, Freie Universität Berlin Workflow Intention Wissenschaftliche Zielsetzung, die Workflow erfordert: Interpretation und Vergleich von Modellexperimenten undBeobachtungsdaten hinsichtlich bestimmter wiss. Fragestellungen. Dazu Standard-Berechnungen von Parametern für die Basisdaten durch Diagnosetools. Problematik der Workflows - gewöhnlich sehr große Menge an Daten, von der nur ein Teil gebraucht wird. - räumliche Datenverteilung oft unklar (gibt es Kopien, etc) - Zwischenprodukte werden nach Plattenplatz und Gefühl der Bearbeiter aufgehoben. - Anforderungen und Zeit für Workflow-Abarbeitung passen nicht notwendig zu einander – Optimierung auf Basis Erfahrung.

3 Uwe Ulbrich, Freie Universität Berlin Workflow Intention Vorstellung, wie C3-Ergebnis aussehen könnte - Benutzeroberfläche, die auf Bedürfnisse der Anwender abgestimmt ist, - Automatisierte Erkennung der Verfügbarkeit geeigneter Datensätze (auch: 90%) - Abschätzung der Realisierbarkeit und des Aufwands vor Auftragsvergabe - Automatisierte Abarbeitung, mit Möglichkeit, Replikate / Kopien / Zwischenergebnisse und bestimmte Plattformen zu erzwingen. - Eignung nicht nur für Beispielworkflows, Verfahren verallgemeinerbar!!

4 Uwe Ulbrich, Freie Universität Berlin Beispiel: Workflow I (Baroklinitätsberechnung) Als Berechnungsgrundlage für angegebenen Speicherplatzbedarf dient ein Konsortiallauf des Klimamodells ECHAM5: ECHAM5 A1B 1 Auflösung: horizontal: T63 (entspricht Gauss-Gitter: 192 x 96) vertikal: 13 (troposphärische) p-Level zeitlich: 4 x täglich (6h) Zeitraum: 200 Jahre für die Berechnung des Eady-Parameters werden aus zwei Niveaus je 4 Parameter verwendet. Diagnosecluster Datenfluss am Beispiel eines der Diagnose-Tools (Baroklinität)

5 Uwe Ulbrich, Freie Universität Berlin Diagnosecluster Datenfluss am Beispiel eines der Diagnose-Tools (Baroklinität) GRIB-Format WDC Climate / DKRZ CERA DKRZ (UTF) K / B (home) RRZK (SAN) RRZK (SAN) LOLA-Format Speicherplatz: Monthly mean: 700 MB 1400 MB 180 MB Daily mean: 21 GB 42 GB 5,4 GB 6 hourly: 84 GB 168 GB 21,6 GB Aktueller Beispiel-Workflow (globale Daten als Ergebnis) 1 Datentransfer per jblob von der CERA-Datenbank auf die UTF-Platte des DKRZ. 2 Datentransfer per ftp vom DKRZ auf die SAN-Festplatte des RRZK. 3 Datenkonvertierung mit PINGO / CDO: vom GRIB- zum LOLA-Format. 4 Eady-Programm liest 8 Parameter ein und gibt den berechneten EADY-Parameter ins home-Verzeichnis des IGMK aus. RRZK IGM K / FU B GRIB-Format

6 Uwe Ulbrich, Freie Universität Berlin CERA DKRZ (UTF) K / B (home) RRZK (SAN) Diagnosecluster Datenfluss am Beispiel eines der Diagnose-Tools (Baroklinität) WDC Climate / DKRZ RRZK (SAN) Bei Berechnung für eine Region (hier Atlantik-Europa 90W-50E, 80N-20N) deutlich reduzierte Datenmenge (57x25=1425 Gitterpunkte) Speicherplatz: reduzierter Speicherplatz Monthly mean: 700 MB100 MB 13 MB Daily mean: 21 GB 3 GB 0,4 GB 6 hourly: 84 GB 12 GB 1,6 GB Speicherplatz: Monthly mean: 700 MB 1400 MB 180 MB Daily mean: 21 GB 42 GB 5,4 GB 6 hourly: 84 GB 168 GB 21,6 GB

7 Uwe Ulbrich, Freie Universität Berlin Diagnosecluster Datenfluss für weitere Diagnose-Tools Feuchteflüsse Dateninput: Wind (zonal, meridional), spezifische Feuchte (berechnet aus rel. Feuchte, daher auch Temperatur benötigt) Druckniveaus auswählen oder integriert (falls ab Boden: Bodendruck und bodennahe Wind- und Feuchtefelder benötigt) CAPE Dateninput: Temperatur, relative Feuchte, integriert über variable Höhenbereiche Bodendruck, falls ab Boden (Evtl Flüssigwasser in einzelnen Niveaus) Berechnungen der Stromfunktion, meridionale Ableitungen (Gradienten) besser aus KFFK statt aus Gitterpunktsdaten! Stormtracks Dateninput: Geopotenzial in einem Niveau Zeitserien (tägliche oder noch höher aufgelöste Daten)

8 Uwe Ulbrich, Freie Universität Berlin Workflow Diagnosetool -alt- a)Extraktion der Daten aus Datenbank b)Konvertierung der Daten in anderes Datenformat c)Transfer der Daten ins IGMK d)Berechnung der gewünschten Daten mit Hilfe des Diagnosetools d: ggf. Statistische Analyse der Ausgangsdaten e)Grafische Aufbereitung der Ergebnisdaten CERA long term storage WORK- SHARE scratch IGMK (IGMK) WORK- SHARE b a b c d d e e

9 Uwe Ulbrich, Freie Universität Berlin Workflow Diagnosetool -neu- CERA long term storage WORK- SHARE scratch IGMK scratch RRZK (RRZK / IGMK) scratch RRZK b a b a)Extraktion der Daten aus Datenbank b)Transfer der Daten ins IGMK c)Konvertierung der Daten in anderes Datenformat d)Berechnung der gewünschten Daten mit Hilfe des Diagnosetools d: ggf. Statistische Analyse der Ausgangsdaten e)Grafische Aufbereitung der Ergebnisdaten c d d e e

10 Uwe Ulbrich, Freie Universität Berlin Workflow - neu - Extraktion von Daten aus dem Datenarchiv / Datenpool in Hamburg Transfer der Daten nach Köln Konvertierung / Aufbereitung der Daten für das Diagnosetool am ZAIK Berechnung der atmosphärischen Parameter mit Hilfe des Diagnosetools Ggf. weitere Datenverarbeitung / Statistische Analysen Visualisierung des Datensatzes

11 Uwe Ulbrich, Freie Universität Berlin Workflow - aktuelle Arbeiten - Transfer des Konvertierungstools marion (Fortran- Program) von NEC SX-6 SUN-Opteron Cluster Transfer des Diagnosetools incl. Job-Umgebung von SUN-Workstation SUN-Opteron Cluster Später: Erweiterung des Diagnosetools für netCDF und Grib Daten, damit ggf. keine weitere Konvertierung mehr notwendig ist und weniger Plattenplatz benötigt wird weiterhin ein direkter, effektiver Nutzen der cdos möglich

12 Uwe Ulbrich, Freie Universität Berlin Workflow - alt - Extraktion von Daten aus dem Datenarchiv / Datenpool in Hamburg (long-term storage) Konvertierung und Aufbereitung der Daten für das Diagnosetool am DKRZ Vergrößerung des Datenvolumens Transfer der Daten nach Köln Berechnung der atmosphärischen Parameter mit Hilfe des Diagnosetools Ggf. weitere Datenverarbeitung / Statistische Analysen Visualisierung des Datensatzes


Herunterladen ppt "Uwe Ulbrich, Freie Universität Berlin Workflow - Diagnosetool - IGMK und ZAIK Universität zu Köln IfM Freie Universität Berlin."

Ähnliche Präsentationen


Google-Anzeigen