Informationsdienste Torsten Rathmann (Deutsches Klimarechenzentrum, Hamburg) Workshop: Virtuelle Forschungsumgebungen aufbauen – mit D-Grid Abstract: Thema.

Präsentation zum Thema: "Informationsdienste Torsten Rathmann (Deutsches Klimarechenzentrum, Hamburg) Workshop: Virtuelle Forschungsumgebungen aufbauen – mit D-Grid Abstract: Thema."—  Präsentation transkript:

1 Informationsdienste Torsten Rathmann (Deutsches Klimarechenzentrum, Hamburg) Workshop: Virtuelle Forschungsumgebungen aufbauen – mit D-Grid Abstract: Thema des Vortrags sind Dienste zur Beschaffung von Daten und Metadaten im Grid anhand von Beispielen aus C3Grid und AstroGrid. Der Schwerpunkt liegt auf höheren Diensten, also solchen, die im Funktionsumfang über die mit der Middleware gelieferten hinausgehen.

2 Vortragsinhalte Klimadaten aus C3Grid (Corporate Climate Community)
Metadatensuchdienst Datenmanagementdienst Informationsdienste in AstroGrid-D Informationsdienste der Middlewares

3 Metadatensuchdienst C3Grid-Portal zentraler Metadaten- katalog lokale
Suche Indexierung zentraler Metadaten- katalog Harvesting mit Hilfe von OAI-PMH (Open Archives Initiative – Protocol for Metadata Harvesting) Zu den Aufgaben des Metadatensuchdienstes gehört auch das Harvesten von Metadaten, d.h. das Einsammeln aus den lokalen Metadatenkatalogen. Die geharvesteten Metadaten werden in einen zentralen Metadatenkatalog geschrieben und indexiert. Das Harvesten geschieht mit Hilfe der OAI-Standardsoftware OAI-PMH, die leicht implementierbar ist. lokale Metadaten- kataloge Climate Mare RSAT DWD Forschungsinstitute und Universitäten Weltdatenzentren

4 Suchformular des C3-Portals
Suchformular des C3-Portals. Die Formularinhalte werden an den Metadatensuchdienst übergeben, der die Suche nach den Vorgaben des Nutzers ausführt.

5 Suchergebnisse

6 GNDMS (Generation N Data Management System)
Co-Scheduling für alle Datenmanagement-Aktivitäten, z.B. Bereitstellen und Transferieren von Daten Verhandlungsprotokoll (Offer-Request-Mechanismus), Umfang des Datentransports wird minimiert Staging Failover-Recovery Log-Meldungen auf Master aggregierbar Erweiterbar durch Plugin-Architektur Neben dem Metadatensuchdienst gibt es im C3Grid den Datenmanagementdienst, dessen wichtigste Aufgaben und Eigenschaften hier zusammengestellt sind.

7 GNDMS C3Grid-Portal Scheduling GNDMS-Master GNDMS Datenprovider-
1 C3Grid-Portal Downloadbereich 2 Job Scheduling 3 GNDMS-Master Job Datentransfer per GridFTP Verhandlungen, Job 4 11 Anforderung GNDMS Datenprovider- software Größenschätzung 5 6 Downloadgröße 7 Anforderung Ablauf einer Datenherausgabe unter Mitwirkung des Datenmanagementdienstes GNDMS. Zur Zeit sind Daten im C3Grid nur einmal vorhanden, so dass die Verhandlungen in Schritt 4 reine Formsache sind. Die Größenschätzung (Schritte 5 und 6) wird benötigt, damit genügend Platz für die Daten bereitgestellt wird (Staging). Alle klimaspezifischen Arbeitsschritte wie Größenschätzung, Daten holen, ausschneiden, Formatkonvertierung und Schreiben der Provenienz-Metadaten sind in lokale Programme beim jeweiligen Datenprovider ausgelagert. Damit könnte GNDMS auch für andere Communities interessant sein. Im letzten Schritt kommt GridFTP zum Einsatz. Es handelt sich hierbei um ein schnelles Übertragungsprotokoll, das mehrere Datenleitungen zugleich nutzen kann. Daten holen 8 Anforderung Archiv Daten ausschneiden 9 10 Übergabe Kopie Formatkonvertierung Provenienz

8 Informationsdienste in AstroGrid
Datenbank-Management-Dienst Interaktive Abfragen: Größe beschränkt Abfragen im Batch: unbeschränkte Größe und Dauer Teilhabe: Nutzer bestimmt, wer Abfrageergebnisse lesen kann Metadaten-Management-Dienst Stellaris Austausch von Metadaten zw. Ressourcen (wichtig: Wetter-Metadaten) Hinzufügen, Erneuern, Löschen und Abfragen von Metadaten Zugriffsberechtigung Datenstrom-Management-Dienst Timeline und Ressourcenübersicht

9 Datenstrom-Management
Zugang zu verteilten Archiven Filterung irrelevanter Daten Speicherung von Zwischenergebnissen in Datenbanken Indexierung Gemeinsamer Zugriff Anmeldung und Abonnieren von Datenströmen Einbeziehung automatisch arbeitender Teleskope Teleskope können Daten publizieren und Daten anderer Teleskope abonnieren. Andere Teleskope werden benachrichtigt, wenn interessantes Ereignis geschieht (z.B. ɣ-Ausbruch, Gravitationslinsen-Anomalie).

10 Datenstrom-Management
Sprecher-Peer optimiert Anfragen. Passen frühere Anfragen? Optimaler Lastausgleich Super-Peer verarbeitet Datenströme. Thin-Peer publiziert und abonniert Datenströme.

11 Job-Monitoring mit Timeline

12 Ressourcenübersicht

13 Informationsdienste der Grid-Middlewares
Globus Toolkit MDS (Monitoring and Discovery System) BDII (Berkeley Database Information Index) R-GMA (Relational Grid Monitoring Architecture) CIS (Common Information System) Häufig nicht ausreichend, deshalb Einsatz z.B. von Nagios