Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Informationsdienste Torsten Rathmann (Deutsches Klimarechenzentrum, Hamburg) Workshop: Virtuelle Forschungsumgebungen aufbauen – mit D-Grid 1.

Ähnliche Präsentationen


Präsentation zum Thema: "Informationsdienste Torsten Rathmann (Deutsches Klimarechenzentrum, Hamburg) Workshop: Virtuelle Forschungsumgebungen aufbauen – mit D-Grid 1."—  Präsentation transkript:

1 Informationsdienste Torsten Rathmann (Deutsches Klimarechenzentrum, Hamburg) Workshop: Virtuelle Forschungsumgebungen aufbauen – mit D-Grid 1

2 2 Klimadaten aus C3Grid (Corporate Climate Community) – Metadatensuchdienst – Datenmanagementdienst Informationsdienste in AstroGrid-D Informationsdienste der Middlewares Vortragsinhalte

3 Metadatensuchdienst 3 C3Grid-Portal Suche ClimateMareRSATDWD Weltdatenzentren Forschungsinstitute und Universitäten zentraler Metadaten- katalog Indexierung Harvesting mit Hilfe von OAI-PMH (Open Archives Initiative – Protocol for Metadata Harvesting) lokale Metadaten- kataloge

4 4

5 5

6 GNDMS (Generation N Data Management System) Co-Scheduling für alle Datenmanagement-Aktivitäten, z.B. Bereitstellen und Transferieren von Daten Verhandlungsprotokoll (Offer-Request-Mechanismus), Umfang des Datentransports wird minimiert Staging Failover-Recovery Log-Meldungen auf Master aggregierbar Erweiterbar durch Plugin-Architektur 6

7 GNDMS 7 C3Grid-Portal Job Scheduling Downloadbereich GNDMS-Master GNDMS Datenprovider- software Größenschätzung Daten holen Daten ausschneiden Formatkonvertierung Provenienz Archiv Downloadgröße Anforderung Datentransfer per GridFTP Anforderung Job Verhandlungen, Job Kopie Übergabe 10

8 Informationsdienste in AstroGrid Datenbank-Management-Dienst – Interaktive Abfragen: Größe beschränkt – Abfragen im Batch: unbeschränkte Größe und Dauer – Teilhabe: Nutzer bestimmt, wer Abfrageergebnisse lesen kann Metadaten-Management-Dienst Stellaris – Austausch von Metadaten zw. Ressourcen (wichtig: Wetter-Metadaten) – Hinzufügen, Erneuern, Löschen und Abfragen von Metadaten – Zugriffsberechtigung Datenstrom-Management-Dienst Timeline und Ressourcenübersicht 8

9 Datenstrom-Management Zugang zu verteilten Archiven Filterung irrelevanter Daten Speicherung von Zwischenergebnissen in Datenbanken Indexierung Gemeinsamer Zugriff – Anmeldung und Abonnieren von Datenströmen Einbeziehung automatisch arbeitender Teleskope – Teleskope können Daten publizieren und Daten anderer Teleskope abonnieren. – Andere Teleskope werden benachrichtigt, wenn interessantes Ereignis geschieht (z.B. ɣ-Ausbruch, Gravitationslinsen-Anomalie). 9

10 Datenstrom-Management 10 Super-Peer verarbeitet Datenströme. Sprecher-Peer optimiert Anfragen. Passen frühere Anfragen? Optimaler Lastausgleich Thin-Peer publiziert und abonniert Datenströme.

11 Job-Monitoring mit Timeline 11

12 Ressourcenübersicht 12

13 Globus Toolkit MDS (Monitoring and Discovery System) BDII (Berkeley Database Information Index) R-GMA (Relational Grid Monitoring Architecture) CIS (Common Information System) Informationsdienste der Grid-Middlewares 13 Häufig nicht ausreichend, deshalb Einsatz z.B. von Nagios


Herunterladen ppt "Informationsdienste Torsten Rathmann (Deutsches Klimarechenzentrum, Hamburg) Workshop: Virtuelle Forschungsumgebungen aufbauen – mit D-Grid 1."

Ähnliche Präsentationen


Google-Anzeigen