FME Server als multidimensionale Rasterdatendrehscheibe FME Server als multidimensionale Rasterdatendrehscheibe. Zwei Jahre Erfahrung Estelle Grüter, MeteoSchweiz / Pierre Terrettaz, INSER

MeteoSchweiz / INSER Estelle Grüter / Pierre Terrettaz The Mission: Integration von Rasterdaten aus diversen Datenquellen ins MeteoSchweiz Data Warehouse The Solution: ETL mit FME Server Import in eine zentrale Ablage (inkl. zentralem Metadaten Repository) Realisierung eines generischen Auszugstools für Rasterdaten, die im DWH abgelegt sind. Einbindung in Applikationen (Data Streaming Service): Direkter Zugriff auf Datenbasis mit R (Statistikpaket) Direkter Zugriff auf Datenbasis zur Datenvisualisierung mit Climap Räumliche Aggregierung: Applikation zur Erstellung von aggregierten Statistiken 23/05/2013 FME World Tour 2013

Raster Daten bei MeteoSchweiz MeteoSchweiz produziert verschiedenste Arten von Rasterdaten: Interpolierte Klimadaten (NetCDF) Analysen für Kurzfristprognosen (GRIB) Derivate aus Satellitendaten (NetCDF) Radardaten (GIF) Modelldaten (GRIB) 23/05/2013 FME World Tour 2013

Vor dem Data Warehouse R7 Bisherige Verarbeitung von Rasterdaten bei MeteoSchweiz nur mit Zusatzaufwand möglich NetCDF NetCDF Climate analysis GIF GIF Dezentrale Archivierung Radar information extern gerechnet Grafiken auf Internet ASCII Diverse Analysis KML OGC All raster data in individual formats GIS, .... etc. 23/05/2013 FME World Tour 2013

Mit dem DWH R7 und FME Server Spatial aggregation XML NetCDF MAP (PNG, PDF, JPG) Climate analysis Spatial data transformation IMAGE (NetCDF, TIFF, ASCIIGRID, GIF) GIF Geodata Mgmt Radar information Geodatabase Products combining different data sources Climap (via HTTP) Central repository for metadata ASCII R Interface (via HTTP) Datasets: full extent or subset Diverse Analysis GIS, .... GIS etc. 23/05/2013 FME World Tour 2013

Automatischer Import Daten FME Server Ungefähr 1500 Bilder pro Tag Schon ungefähr 1 Mio Bilder im Raster Catalog FME Server Performant und stabil 23/05/2013 FME World Tour 2013

Export (automatisch – kundenspezifisch) Flexibel, performant und stabil Unterschiedliche Formate Pixelinhalt Transformation Coded/physical content Unterschiedliche Regionen Bounding Box Region Unterschiedliche Zeitperiode Previous hour/day/month/year Last_n_minutes Scheduling Realtime (synchronisiert mit dem Import) Scheduled (daily, monthly) + code MHS 23/05/2013 FME World Tour 2013

Integration mit anderen Applikationen Flexibel HTTP test_4320 <- gridget(pname="AQC_04320",t.beg="201108010000",t.end="201108030000")  load(url(‘http://ZUEGIS301:80/fmedatastreaming/RSS_R/MeteoSchweizRasterCatalog2RdataView_WhereClause.fmw?rdataraster_object_name=test_4320&SDERASTER_IN_WHERE_SDERASTER=RPD_NAME_TX+%3D+%27AQC_04320%27+AND+REFERENCE_TS+%3E%3D+TO_DATE%28%272011-08-01+00%3A00%27%2C%27YYYY-MM-DD+HH24%3AMI%27%29++AND+REFERENCE_TS+%’) REST interface 23/05/2013 FME World Tour 2013

Schlussfolgerung FME Server  Zentrale, entscheidende Komponente für erfolgreiche Implementation des zentralen Rasterdatenrepositories Flexibel - z.B. im Hinblick auf die Integration neuer Rasterdatenformate Stabile und performante Lösung trotz rasant wachsendem Datenzuwachs Zusammenarbeit mit Safe und INSER Es war beeindruckend, wie aufgeschlossen , flexibel und entgegenkommend Safe.com auf unsere teilweise ungewöhnlichen Anforderungen reagiert hat (z. Bsp. Schnittstelle zu R, NetCDF Writer) Sehr positive Zusammenarbeit mit INSER mit hoher Fachkompetenz der involvierten Mitarbeiter, die viel zum Erfolg der implementierten Lösung beigetragen haben. Herzlichen Dank an Safe.com und INSER ! 23/05/2013 FME World Tour 2013