Die deutsche Grid-Initiative D-GRID Volker Gülzow DESY http://www.d-grid.de/  D-Grid 1

 D-Grid 2 Gliederung Vorgeschichte, Idee und Auftrag Aufbau des D-Grid Organisation Architektur und Infrastruktur Ziele und Ergebnisse Wie geht es weiter? Zusammenfassung  D-Grid 2

 D-Grid 3 Historie Vorprojekt D-Grid Global Grid Forum (GGF=GF+eGrid+apGrid) Cyberinfrastructure- Report (USA) Projektstart D-Grid Grid-Forum (GF) D-Grid-Initiative 2001 UK eScience Project (£ 200M für 2001-2006) Ankündigung und Ausschreibung D-Grid Call 1 Open Grid Forum (OGF=GGF+EGA) 6. EU-Rahmen-programm (€ 350M für Grid) 5. EU-Rahmenprogramm (€ 58M für Grid) D-Grid Call 2 Review D-Grid Call 1 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007  D-Grid 3

Grid Infrastructure at DESY: Grid Schema grid-ui grid-rb grid-cat grid-vo grid-ce grid100-110 grid-se LRC/MDC CAT JDL UI RB ssh output BDII certs $HOME/.globus/ VO RB CE SE CE dCache- SE world ldap://grid-vo.desy.de/ GIIS GRIS GRIS PBS /etc/grid-security/grid-mapfile dcap WN disk tape Site A Site B Site C  D-Grid 4

D-Grid, Teil der BMBF – eScience Initiative z.B. BMBF-Programme: E-Science Initiative des BMBF E-Wissensmanagement D-Grid E-learning  D-Grid 5

 D-Grid 6 D-Grid 1 Projekte  D-Grid 6

 D-Grid 7 AstroGrid  D-Grid 7

 D-Grid 8 AstroGrid  D-Grid 8

 D-Grid 9 C3-Grid  D-Grid 9

 D-Grid 10 C3-Grid Software Stack  D-Grid 10

Entwicklung von Anwendungen und Komponenten zur Datenauswertung in der Hochenergiephysik in einer nationalen e-Science Umgebung  D-Grid 11

 D-Grid 12 Die HEP CG Partner: Projektpartner: Uni Dortmund, TU Dresden, LMU München, Uni Siegen, Uni Wuppertal, DESY (Hamburg & Zeuthen), GSI via Unterauftrag: Uni Freiburg, Konrad-Zuse-Zentrum Berlin, Assoziierte Partner: Uni Mainz, HU Berlin, MPI f. Physik München, LRZ München, Uni Karlsruhe, MPI Heidelberg, RZ Garching, John von Neumann Institut für Computing, FZ Karlsruhe  D-Grid 12

 D-Grid 13 HEPCG Das HEP CG setzt auf der gLite Infrastruktur auf und konzentriert sich auf vielversprechende Erweiterungen in den Bereichen: AP 1: Datenmanagement AP 2: Entwicklung von Werkzeugen zum Job-Monitoring und einer automatisierten Benutzerunterstützung AP 3: Datenanalyse unter Verwendung von Grid Ressourcen ==> Pionierarbeit von Physikern und Informatikern mit internationaler Sichtbarkeit.  D-Grid 13

 D-Grid 14 Grid Storage Fabric Abstraction SRM Client Data Transfer GRID Middleware gsiFTP Transfer Protocol Negotiation (ssl) HTTP dCap SRM Virtual Storage Layer Storage Element Desy Grid Fermi San Diego CERN Jefferson Karlsruhe SRM SRM SRM SRM SRM dCache.ORG HPSS Castor Jasmine OSM Tsm Enstore  D-Grid 14

Skalierbares Storage Element auf der Basis von dCache - Mehrere tausend Pool Knoten - Weit über ein Peta Byte Disk Storage - Mehrere hundert File Transfers pro Sekunde - Nicht mehr als 2 FTEs - Nur ein einziger Host - Um die 10 TeraBytes - Zero Maintenance dCache Projekt wird finanziert durch DESY, FERMI Lab, OpenScience Grid und z.T. durch Nordic Data Grid Facility Der HEP CG Beitrag: Professionelles Produktmanagement, wie Code Versioning, Packaging und User Support und Test Suiten. dCache.ORG  D-Grid 15

dCache: Die Einbindung Storage Element Firewall IN - SITE Compute Element Information System FTS Channels gsiFtp SRM Storage Resource Manager Protocol File Transfer Service dCap/rfio/root OUT - SITE  D-Grid 16

 D-Grid 17 InGrid  D-Grid 17

 D-Grid 18 InGrid  D-Grid 18

 D-Grid 19 MediGRID  D-Grid 19

 D-Grid 20 MediGRID  D-Grid 20

 D-Grid 21 Textgrid  D-Grid 21

 D-Grid 22 Textgrid  D-Grid 22

D-Grid, Teil der BMBF – eScience Initiative BMBF-Programme: e-learning <->e-Wissensmanagement <->D-Grid Im Wissensnetz (FZI Uni Karlsruhe, www.im-wissensnetz.de) InstantGrid (http://instant-grid.de) Ontoverse (www.ontoverse.org) Wikinger (www.wikinger-escience.de) Wisent (s.u.)  D-Grid 23

 D-Grid 24 Wisent  D-Grid 24

Das D-Grid Integrationsprojekt DGI, mitwirkende Einrichtungen

 D-Grid 26 Auftrag an das DGI Das DGI soll helfen, Hemmschwellen für die Grid-Nutzung aus unterschiedlichen Wissenschaftsdisziplinen weitgehend abzubauen. Das DGI soll den Aufwand für die Integration von neuen Ressourcen in das Grid so gering wie möglich halten. Das DGI soll verschiedene Standardkomponenten technisch einheitlich integrieren und so eine bessere Nutzung der künftigen Grid-Infrastruktur in Deutschland erreichen. Das DGI soll sicherstellen, dass zum Wohle der weltweiten Kooperation sowohl Entwicklungen aus dem D-Grid in den internationalen Standardisierungsprozess einfließen als auch im D-Grid die neuesten internationalen Entwicklungen berücksichtigt werden.  D-Grid 26

 D-Grid 27 Organisation Das DGI unterteilt sich in vier Fachgebiete (FG): Middleware und Datenmanagement (Uni Dortmund, DESY) – 224 PM Kern-D-Grid (FZJ, RRZN) – 302 PM Netze und Sicherheit (DFN) – 240 PM Projektleitung und Nachhaltigkeit (FZK) – 60 PM Das DGI ist mit jedem FG direkt im Steuerungsausschuss vertreten. Die Fachgebietsleiter koordinieren die Kommunikation mit den CGs und innerhalb des DGI.  D-Grid 27

Struktur der D-Grid Architektur Communities Nutzer-/ Anwendungs- schnittstellen Eigenständiges Portal (GridSphere-Basis) UNICORE GAT API Grid Service- Funktionen D-Grid Dienste Nutzer Scheduling und Workflow Management LCG/gLite Monitoring Accounting und Billing Globus Toolkit Basisdienste Sicherheit und VO-Management Datenmanagement Daten Schnittstellen D-Grid Ressourcen Verteilte Datenarchive Daten/ Software Verteilte Rechen- ressourcen Netzwerk- infrastruktur  D-Grid 28

Aufbau der Infrastruktur Das DGI unterstützt die CGs beim Aufbau einer für die jeweilige Community geeigneten Softwareinfrastruktur. Workshops und Training für Standardverfahren Community-spezifische Beratung Kommunikation mit den Softwareherstellern Das DGI übernimmt Entwicklungen aus den CGs, falls diese von Interesse für mehrere Communities sind. Kompatibilitätsüberprüfungen Beratung zur Anpassung Das DGI stellt Rahmenkonzepte für neue Software-Entwicklungen bereit. Berücksichtigung der Community-Interessen DGI Standard DGI CG-Software DGI Software  D-Grid 29

 D-Grid 30 Architektur In der ersten Phase erarbeitet das DGI Grundfunktionalitäten und Basisdienste für die Grid-Einrichtung und den Betrieb. Middleware, Nutzerschnittstellen, Kern-D-Grid Höherwertige Dienste sollen in einer zweiten Phase aufgrund der dann bekannten technischen Anforderungen der CGs hinzukommen. Programmierunterstützung, Scheduling und Workflowmanagement, SLA-Unterstützung, Security Betrieb der Sonderinvestitionen Für einige höherwertige Dienste wurden Rahmenkonzepte entwickelt und es werden Prototypen betrieben. VO-Management, Accounting und Billing In einigen Bereichen gibt es bereits konzeptionell und betrieblich Kooperationen mit CGs. Monitoring, Datenmanagement, Netznutzung und AAI  D-Grid 30

Betrieb der Infrastruktur Das DGI stellt ein Testbed zur Erprobung von D-Grid Middleware und Anwendungen zur Verfügung. Test unter Produktionsbedingungen Berücksichtigung der Ressourcenvielfalt Das DGI baut eine Support-Struktur auf. Middleware und höhere Softwaredienste Infrastrukturdienste Das DGI hilft neuen Ressourcenbetreibern bei der Integration ihrer Ressourcen in das D-Grid. Schulungen und Beratung Installationsvorgaben DGI Test DGI Support DGI Hardware  D-Grid 31

Besonderheiten der D-Grid Architektur Aufgrund der Heterogenität der CGs unterstützt das DGI drei Middlewares und zwei Zugriffsmethoden. Berücksichtigung aller Communities. Änderungen des Portfolios sind aufgrund klar definierter und breiter Anforderungen möglich. Ziel ist eine möglichst breite Unterstützung aller Middlewares durch die Ressourcenanbieter Höhere Effizienz, wenn viele unterschiedliche Communities auf einer möglichst gemeinsamen Plattform arbeiten. Vermeidung von Zusatzaufwänden durch schrittweise Erweiterung bei den Ressourcenbesitzern. Grid Application Toolkit  D-Grid 32

Sonderinvestitionen für Infrastruktur Die genehmigten Projekte des D-Grid Call 1 beinhalten keine Infrastrukturförderung. Die für das D-Grid notwendige Hardware wurde von Projektpartnern in Form von Eigenanteilen zur Verfügung gestellt. Die Verfügbarkeit dieser Ressourcen unterliegt den Regeln der jeweiligen Institution. Eine Installation aller oder vieler Standardkomponenten des DGI auf einem System wurde nicht realisiert. Das BMBF erweiterte die Förderung der laufenden Projekte im Dezember 2006 durch eine Infrastrukturkomponente mit Installations- und Nutzungsauflagen. Volumen: 5,3 Mio Euro Die Wahl der Ressourcen und die Verteilung auf verschiedene Standorte wurde vom D-Grid Steuerungsausschuss beschlossen.  D-Grid 33

Verteilung der Sonderinvestitionen Universität Marburg Universität Wuppertal Universität Siegen FZK Karlsruhe Fraunhofer SCAI DKRZ Hamburg FZJ Jülich Zuse-Institut Berlin Universität Dortmund RRZN Hannover LRZ München HLRS Stuttgart Universität Köln DESY Hamburg Universität Freiburg ZIH TU-Dresden Universität Leipzig GWDG Göttingen ARI Heidelberg  D-Grid 34

Referenzinstallation Generierung von Installationspaketen und Aufbau von physikalischen Referenzinstallationen Testen der Interoperabilität von verschiedenen Middlewares auf einem Rechnersystem Erfahrungen bei der Installation werden anderen D-Grid Partnern zur Verfügung gestellt Beispielsinstallation ohne Pflicht zur exakten Kopie Kooperation von mehreren Partnern aus dem D-Grid DGI, AstroGrid, HEPCG Möglichst schneller Produktionsbetrieb für alle Sonderinvestitionen CG-übergreifende Verfügbarkeit der Sonderinvestitionen Unterstützung für D-Grid Partner mit neuen Ressourcen Mögliche Übernahme der Referenzinstallation auch für weitere D-Grid Partner  D-Grid 35

Monitoring der D-Grid-Infrastruktur DGUS (D-Grid User Support) Anwendungen Oberflächen Gridsphere Portals WebMDS Unicore Client SFT Middleware Informations-dienste BDII/LDAP R-GMA gLite MDS4 Globus Toolkit UNICORE Andere* Batch Systeme LSF PBS LoadLeveler Condor Schnittstellen: Geplant im Aufbau Möglich Besteht Im Aufbau Demo Prototyp Andere*: Nagios, Netperf Archive, NetLogger, GRASP, GridICE, GridCAT, Ganglia, MonALISA usw.  D-Grid 36

Installation von Grid-Middleware für einen Server  D-Grid 37

Das DGI und der Ressourcennutzer Das DGI stellt Werkzeuge zur einfachen Nutzung des Grids zur Verfügung. Nutzung der Ressourcen über Grid-Middleware Client Software Verwendung der Benutzerschnittstelle der D-Grid Ressourcen oder Installation auf eigener Hardware Voraussetzung zur Nutzung von D-Grid Ressourcen Gültiges Grid-User-Zertifikat Mitgliedschaft in einer virtuellen Organisation des D-Grid  D-Grid 38

Das DGI und der Ressourcenanbieter Das DGI stellt dem Ressourcenanbieter Anleitungen für die Installation der Grid-Middleware und für die Einbindung in die D-Grid-Infrastruktur zur Verfügung und unterstützt ihn bei Problemen. Das DGI betreibt eine Plattform für Update- und Aktualisierungsinformationen zu den jeweiligen Softwarepaketen. Das DGI betreibt verschiedene Dienste für die Infrastruktur. Das DGI bietet eine PKI/AAI bei der Ressourcennutzung. Das DGI berät zur Netzkonnektivität der Ressourcen. Das DGI informiert den Ressourcenanbieter über potentielle Sicherheitsrisiken. Das DGI führt Schulungskurse durch.  D-Grid 39

 D-Grid 40 Trouble-Ticket-System  D-Grid 40

GridSphere (www.gridsphere.org) Die Communities HEP, C3, MediGrid und AstroGrid verwenden Portallösungen auf GridSphere-Basis mit Community-spezifischen Erweiterungen.  D-Grid 41

Portallösungen mit GridSphere Integration der Visualisierung des nutzerzentrischen Job-Monitoring in GridSphere (HEPCG) Interaktive Grafiken zur Darstellung des Status und der Ressourcennutzung der Jobs (HEPCG) Optimierung für die typischen HEP-Szenarien mit Hunderten oder Tausenden von Jobs der Nutzer (HEPCG) Unterstützung einer optimierten Suche in Datensätzen einschließlich Teilselektion (C3) Dynamische Suche nach Parametern und Ergebnissen über laufende und abgeschlossene Simulationen (AstroGrid) Ergebnisdarstellung in Bild und Datei (C3) Anwendungsschnittstellen für bisher sechs Anwendungen aus Bioinformatik und medizinischer Bildverarbeitung (MediGrid) GWES Workflow System mit Portal GUI (MediGrid) Erstellung eines D-GRDL Portlets (MediGrid) Anbindung an den AstroGrid Informationsserver, VOMRS, User Management (MediGrid, AstroGrid)  D-Grid 42

 D-Grid 43 Netze und Sicherheit X-WiN erfüllt derzeit alle bekannten Anforderungen der CGs. Die internationale Einbettung von CGs ist über X-WiN und Geant2 problemlos möglich. Die Zertifikatdienstleistung ist durch EUGridPMA akkreditiert und über GridKa und DFN nachhaltig organisiert. Vereinheitlichung der verwendeten Portbereiche im gesamten D-Grid mit Empfehlungen zur Konfiguration von Grid Middlewares und Firewalls Support der Communities durch eine Grid spezifische CERT-Hotline und Sicherheitstutorien  D-Grid 43

 D-Grid 44 Rolle des DGI im D-Grid Das DGI übernimmt die Koordinierung im D-Grid und die Vertretung des D-Grid in internationalen Gremien, soweit sie nicht Community-spezifisch sind. Alle weiteren Infrastruktur- und Betriebsprojekte müssen in das DGI integriert und von ihm kontrolliert werden. Das DGI muss eng mit den CGs kooperieren. Die Partner im DGI übernehmen die Verantwortung für die Nachhaltigkeit der durch das DGI geleisteten Arbeiten. Das DGI verstärkt die D-Grid Infrastruktur durch Verteilung und Verbreitung der Ergebnisse auf weitere Infrastrukturzentren unterschiedlicher Größe. DGI-2 als Nachfolgeprojekt des DGI geplant  D-Grid 44

Das Folgeprojekt DGI 2, ein Vorschlag FG 1: Benutzer- und Providersupport (FZK) Verteiltes Kompetenzzentrum Middleware Referenzinstallation Helpdesk  D-Grid 45

Das Folgeprojekt DGI 2, ein Vorschlag FG 2: Betrieb der D-Grid-Infrastruktur (FZJ) Betrieb der VO- und Nutzerdienste Betrieb der Ressourcen im D-Grid Einheitliche Betriebsumgebung für Produktionsjobs Ausbau der Redundanz für die D-Grid-Infrastruktur  D-Grid 46

Das Folgeprojekt DGI 2, ein Vorschlag FG 3: Sicherheit (DFN) AAI/VO z.B. Kurzzeit X.509-Zertifikate (SLCS) Firewalls (Dynamische) Konfiguration, Performance FG 4: Daten- und Informationsmanagement (DESY) Support Datenmanagement Datenmanagementsysteme SRM/dCache und iRODS Grid-Zugriff auf Datenbanken Metadaten  D-Grid 47

Das Folgeprojekt DGI 2, ein Vorschlag FG 5: Entwicklungsprojekte (RRZN) Accounting Für Fakturierung Gridshere Communityspezifische Portlets etc Monitoring Nutzer- und Anwendungsspezifisch FG 6: Nachhaltigkeit und Koordination (Uni Dortmund)  D-Grid 48

D-Grid 2: Bewilligte Anträge BauVOGrid: TU Dresden (Vernetzung von Subunternehmern, mobile Nutzung, VO‘s) SUGI: Uni Köln (Grid in die Fläche, Schulung) ProGrid: Science.computing AG ( Grid für verteilte Produktentwicklung (Automobilindustrie)) FinGrid: Uni Frankfurt (Grid zur Prozessoptimierung in der Finanzwelt) BIS-Grid: OFFIS e.V. (Grid Technologie zur Integration betrieblicher Informationssysteme) Aero-Grid: DLR (Grid Technologie für die Luftfahrtforschung) F&L Grid: T-Systems SFR (generisches Service Grid konzipieren) PartnerGrid: FHG-IAO (Entwicklung einer konfigurierbaren Softwareplattform für industrielle Nutzer) D-MON: LRZ München (Integration des Ressourcen- und Dienstemonitoring)  D-Grid 49

 D-Grid 50 Wie geht es weiter? Technische Entwicklungen, Erweiterungen notwendig Verbesserte Security Verbesserte Rollenkonzepte Interoperabilität Monitoring auf allen Ebenen Stabilität/Robustheit der Software Datamanagement Wissensmanagement (Metadaten, Ontologien,…) …  D-Grid 50

 D-Grid 51 Wie geht es weiter? Ein Schritt auf dem Weg zu e-Science Öffnung hin zu Geistes-, Sozial- und Wirtschaftswissenschaften Nachhaltige Finanzierung der Infrastruktur Organisatorische Einbindung in die Wissenschaftorganisationen Entwicklung von Geschäftsmodellen Service Level Agreements D-Grid 3 Call steht vor der Tür  D-Grid 51

 D-Grid 52 Zusammenfassung D-Grid 3 Call ? D-Grid 2 Call Projekte „Wissens-Projekte“ Nachfolgeprojekte? Community-Projekte DGI DGI-2 ? 9/2005 9/2007 9/2008 9/2010  D-Grid 52

 D-Grid 53 Zusammenfassung Die D-Grid Initiative ist wissenschaftlich und wissenschaftspolitisch sehr wichtig und ein Erfolg. Viele neue Communities entdecken das Potential Ein nachhaltiges Betriebsmodell fehlt noch. Die D-Grid Initiative ist nur ein Schritt hin zu vernetzten Wissenschaftsstrukturen. Spannende technische Fragen warten noch darauf, gelöst zu werden.  D-Grid 53

 D-Grid 54 IVOM Integration und Interoperabilität des VO-Managements Problemerkenntnis auf einem Workshop Widersprechende Anforderungen aus den Communities Analyse im DGI mit den Communities Entdeckung einer Lücke mit Entwicklungsbedarf Diskussion im Steuerungsausschuss Unterstützung für ein Entwicklungsprojekt Konzeption eines Projektes Mitarbeiter aus dem DGI und interessierten CGs Integration des Projektes in das DGI Sicherung des Berücksichtigung des Ergebnisses in der Infrastruktur DGI  D-Grid 54