Präsentation herunterladen
Die Präsentation wird geladen. Bitte warten
1
Die deutsche Grid-Initiative D-GRID Volker Gülzow DESY
D-Grid
2
D-Grid 2
Gliederung Vorgeschichte, Idee und Auftrag Aufbau des D-Grid Organisation Architektur und Infrastruktur Ziele und Ergebnisse Wie geht es weiter? Zusammenfassung D-Grid
3
D-Grid 3
Historie Vorprojekt D-Grid Global Grid Forum (GGF=GF+eGrid+apGrid) Cyberinfrastructure- Report (USA) Projektstart D-Grid Grid-Forum (GF) D-Grid-Initiative 2001 UK eScience Project (£ 200M für ) Ankündigung und Ausschreibung D-Grid Call 1 Open Grid Forum (OGF=GGF+EGA) 6. EU-Rahmen-programm (€ 350M für Grid) 5. EU-Rahmenprogramm (€ 58M für Grid) D-Grid Call 2 Review D-Grid Call 1 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 D-Grid
4
Grid Infrastructure at DESY: Grid Schema
grid-ui grid-rb grid-cat grid-vo grid-ce grid grid-se LRC/MDC CAT JDL UI RB ssh output BDII certs $HOME/.globus/ VO RB CE SE CE dCache- SE world ldap://grid-vo.desy.de/ GIIS GRIS GRIS PBS /etc/grid-security/grid-mapfile dcap WN disk tape Site A Site B Site C D-Grid
5
D-Grid, Teil der BMBF – eScience Initiative
z.B. BMBF-Programme: E-Science Initiative des BMBF E-Wissensmanagement D-Grid E-learning D-Grid
6
D-Grid 6
D-Grid 1 Projekte D-Grid
7
D-Grid 7
AstroGrid D-Grid
8
D-Grid 8
AstroGrid D-Grid
9
D-Grid 9
C3-Grid D-Grid
10
D-Grid 10
C3-Grid Software Stack D-Grid
11
Entwicklung von Anwendungen und Komponenten
zur Datenauswertung in der Hochenergiephysik in einer nationalen e-Science Umgebung D-Grid
12
D-Grid 12
Die HEP CG Partner: Projektpartner: Uni Dortmund, TU Dresden, LMU München, Uni Siegen, Uni Wuppertal, DESY (Hamburg & Zeuthen), GSI via Unterauftrag: Uni Freiburg, Konrad-Zuse-Zentrum Berlin, Assoziierte Partner: Uni Mainz, HU Berlin, MPI f. Physik München, LRZ München, Uni Karlsruhe, MPI Heidelberg, RZ Garching, John von Neumann Institut für Computing, FZ Karlsruhe D-Grid
13
D-Grid 13
HEPCG Das HEP CG setzt auf der gLite Infrastruktur auf und konzentriert sich auf vielversprechende Erweiterungen in den Bereichen: AP 1: Datenmanagement AP 2: Entwicklung von Werkzeugen zum Job-Monitoring und einer automatisierten Benutzerunterstützung AP 3: Datenanalyse unter Verwendung von Grid Ressourcen ==> Pionierarbeit von Physikern und Informatikern mit internationaler Sichtbarkeit. D-Grid
14
D-Grid 14
Grid Storage Fabric Abstraction SRM Client Data Transfer GRID Middleware gsiFTP Transfer Protocol Negotiation (ssl) HTTP dCap SRM Virtual Storage Layer Storage Element Desy Grid Fermi San Diego CERN Jefferson Karlsruhe SRM SRM SRM SRM SRM dCache.ORG HPSS Castor Jasmine OSM Tsm Enstore D-Grid
15
Skalierbares Storage Element auf der Basis von dCache
- Mehrere tausend Pool Knoten - Weit über ein Peta Byte Disk Storage - Mehrere hundert File Transfers pro Sekunde - Nicht mehr als 2 FTEs - Nur ein einziger Host - Um die 10 TeraBytes - Zero Maintenance dCache Projekt wird finanziert durch DESY, FERMI Lab, OpenScience Grid und z.T. durch Nordic Data Grid Facility Der HEP CG Beitrag: Professionelles Produktmanagement, wie Code Versioning, Packaging und User Support und Test Suiten. dCache.ORG D-Grid
16
dCache: Die Einbindung
Storage Element Firewall IN - SITE Compute Element Information System FTS Channels gsiFtp SRM Storage Resource Manager Protocol File Transfer Service dCap/rfio/root OUT - SITE D-Grid
17
D-Grid 17
InGrid D-Grid
18
D-Grid 18
InGrid D-Grid
19
D-Grid 19
MediGRID D-Grid
20
D-Grid 20
MediGRID D-Grid
21
D-Grid 21
Textgrid D-Grid
22
D-Grid 22
Textgrid D-Grid
23
D-Grid, Teil der BMBF – eScience Initiative
BMBF-Programme: e-learning <->e-Wissensmanagement <->D-Grid Im Wissensnetz (FZI Uni Karlsruhe, InstantGrid ( Ontoverse ( Wikinger ( Wisent (s.u.) D-Grid
24
D-Grid 24
Wisent D-Grid
25
Das D-Grid Integrationsprojekt DGI, mitwirkende Einrichtungen
26
D-Grid 26
Auftrag an das DGI Das DGI soll helfen, Hemmschwellen für die Grid-Nutzung aus unterschiedlichen Wissenschaftsdisziplinen weitgehend abzubauen. Das DGI soll den Aufwand für die Integration von neuen Ressourcen in das Grid so gering wie möglich halten. Das DGI soll verschiedene Standardkomponenten technisch einheitlich integrieren und so eine bessere Nutzung der künftigen Grid-Infrastruktur in Deutschland erreichen. Das DGI soll sicherstellen, dass zum Wohle der weltweiten Kooperation sowohl Entwicklungen aus dem D-Grid in den internationalen Standardisierungsprozess einfließen als auch im D-Grid die neuesten internationalen Entwicklungen berücksichtigt werden. D-Grid
27
D-Grid 27
Organisation Das DGI unterteilt sich in vier Fachgebiete (FG): Middleware und Datenmanagement (Uni Dortmund, DESY) – 224 PM Kern-D-Grid (FZJ, RRZN) – 302 PM Netze und Sicherheit (DFN) – 240 PM Projektleitung und Nachhaltigkeit (FZK) – 60 PM Das DGI ist mit jedem FG direkt im Steuerungsausschuss vertreten. Die Fachgebietsleiter koordinieren die Kommunikation mit den CGs und innerhalb des DGI. D-Grid
28
Struktur der D-Grid Architektur
Communities Nutzer-/ Anwendungs- schnittstellen Eigenständiges Portal (GridSphere-Basis) UNICORE GAT API Grid Service- Funktionen D-Grid Dienste Nutzer Scheduling und Workflow Management LCG/gLite Monitoring Accounting und Billing Globus Toolkit Basisdienste Sicherheit und VO-Management Datenmanagement Daten Schnittstellen D-Grid Ressourcen Verteilte Datenarchive Daten/ Software Verteilte Rechen- ressourcen Netzwerk- infrastruktur D-Grid
29
Aufbau der Infrastruktur
Das DGI unterstützt die CGs beim Aufbau einer für die jeweilige Community geeigneten Softwareinfrastruktur. Workshops und Training für Standardverfahren Community-spezifische Beratung Kommunikation mit den Softwareherstellern Das DGI übernimmt Entwicklungen aus den CGs, falls diese von Interesse für mehrere Communities sind. Kompatibilitätsüberprüfungen Beratung zur Anpassung Das DGI stellt Rahmenkonzepte für neue Software-Entwicklungen bereit. Berücksichtigung der Community-Interessen DGI Standard DGI CG-Software DGI Software D-Grid
30
D-Grid 30
Architektur In der ersten Phase erarbeitet das DGI Grundfunktionalitäten und Basisdienste für die Grid-Einrichtung und den Betrieb. Middleware, Nutzerschnittstellen, Kern-D-Grid Höherwertige Dienste sollen in einer zweiten Phase aufgrund der dann bekannten technischen Anforderungen der CGs hinzukommen. Programmierunterstützung, Scheduling und Workflowmanagement, SLA-Unterstützung, Security Betrieb der Sonderinvestitionen Für einige höherwertige Dienste wurden Rahmenkonzepte entwickelt und es werden Prototypen betrieben. VO-Management, Accounting und Billing In einigen Bereichen gibt es bereits konzeptionell und betrieblich Kooperationen mit CGs. Monitoring, Datenmanagement, Netznutzung und AAI D-Grid
31
Betrieb der Infrastruktur
Das DGI stellt ein Testbed zur Erprobung von D-Grid Middleware und Anwendungen zur Verfügung. Test unter Produktionsbedingungen Berücksichtigung der Ressourcenvielfalt Das DGI baut eine Support-Struktur auf. Middleware und höhere Softwaredienste Infrastrukturdienste Das DGI hilft neuen Ressourcenbetreibern bei der Integration ihrer Ressourcen in das D-Grid. Schulungen und Beratung Installationsvorgaben DGI Test DGI Support DGI Hardware D-Grid
32
Besonderheiten der D-Grid Architektur
Aufgrund der Heterogenität der CGs unterstützt das DGI drei Middlewares und zwei Zugriffsmethoden. Berücksichtigung aller Communities. Änderungen des Portfolios sind aufgrund klar definierter und breiter Anforderungen möglich. Ziel ist eine möglichst breite Unterstützung aller Middlewares durch die Ressourcenanbieter Höhere Effizienz, wenn viele unterschiedliche Communities auf einer möglichst gemeinsamen Plattform arbeiten. Vermeidung von Zusatzaufwänden durch schrittweise Erweiterung bei den Ressourcenbesitzern. Grid Application Toolkit D-Grid
33
Sonderinvestitionen für Infrastruktur
Die genehmigten Projekte des D-Grid Call 1 beinhalten keine Infrastrukturförderung. Die für das D-Grid notwendige Hardware wurde von Projektpartnern in Form von Eigenanteilen zur Verfügung gestellt. Die Verfügbarkeit dieser Ressourcen unterliegt den Regeln der jeweiligen Institution. Eine Installation aller oder vieler Standardkomponenten des DGI auf einem System wurde nicht realisiert. Das BMBF erweiterte die Förderung der laufenden Projekte im Dezember 2006 durch eine Infrastrukturkomponente mit Installations- und Nutzungsauflagen. Volumen: 5,3 Mio Euro Die Wahl der Ressourcen und die Verteilung auf verschiedene Standorte wurde vom D-Grid Steuerungsausschuss beschlossen. D-Grid
34
Verteilung der Sonderinvestitionen
Universität Marburg Universität Wuppertal Universität Siegen FZK Karlsruhe Fraunhofer SCAI DKRZ Hamburg FZJ Jülich Zuse-Institut Berlin Universität Dortmund RRZN Hannover LRZ München HLRS Stuttgart Universität Köln DESY Hamburg Universität Freiburg ZIH TU-Dresden Universität Leipzig GWDG Göttingen ARI Heidelberg D-Grid
35
Referenzinstallation
Generierung von Installationspaketen und Aufbau von physikalischen Referenzinstallationen Testen der Interoperabilität von verschiedenen Middlewares auf einem Rechnersystem Erfahrungen bei der Installation werden anderen D-Grid Partnern zur Verfügung gestellt Beispielsinstallation ohne Pflicht zur exakten Kopie Kooperation von mehreren Partnern aus dem D-Grid DGI, AstroGrid, HEPCG Möglichst schneller Produktionsbetrieb für alle Sonderinvestitionen CG-übergreifende Verfügbarkeit der Sonderinvestitionen Unterstützung für D-Grid Partner mit neuen Ressourcen Mögliche Übernahme der Referenzinstallation auch für weitere D-Grid Partner D-Grid
36
Monitoring der D-Grid-Infrastruktur
DGUS (D-Grid User Support) Anwendungen Oberflächen Gridsphere Portals WebMDS Unicore Client SFT Middleware Informations-dienste BDII/LDAP R-GMA gLite MDS4 Globus Toolkit UNICORE Andere* Batch Systeme LSF PBS LoadLeveler Condor Schnittstellen: Geplant im Aufbau Möglich Besteht Im Aufbau Demo Prototyp Andere*: Nagios, Netperf Archive, NetLogger, GRASP, GridICE, GridCAT, Ganglia, MonALISA usw. D-Grid
37
Installation von Grid-Middleware für einen Server
D-Grid
38
Das DGI und der Ressourcennutzer
Das DGI stellt Werkzeuge zur einfachen Nutzung des Grids zur Verfügung. Nutzung der Ressourcen über Grid-Middleware Client Software Verwendung der Benutzerschnittstelle der D-Grid Ressourcen oder Installation auf eigener Hardware Voraussetzung zur Nutzung von D-Grid Ressourcen Gültiges Grid-User-Zertifikat Mitgliedschaft in einer virtuellen Organisation des D-Grid D-Grid
39
Das DGI und der Ressourcenanbieter
Das DGI stellt dem Ressourcenanbieter Anleitungen für die Installation der Grid-Middleware und für die Einbindung in die D-Grid-Infrastruktur zur Verfügung und unterstützt ihn bei Problemen. Das DGI betreibt eine Plattform für Update- und Aktualisierungsinformationen zu den jeweiligen Softwarepaketen. Das DGI betreibt verschiedene Dienste für die Infrastruktur. Das DGI bietet eine PKI/AAI bei der Ressourcennutzung. Das DGI berät zur Netzkonnektivität der Ressourcen. Das DGI informiert den Ressourcenanbieter über potentielle Sicherheitsrisiken. Das DGI führt Schulungskurse durch. D-Grid
40
D-Grid 40
Trouble-Ticket-System D-Grid
41
GridSphere (www.gridsphere.org)
Die Communities HEP, C3, MediGrid und AstroGrid verwenden Portallösungen auf GridSphere-Basis mit Community-spezifischen Erweiterungen. D-Grid
42
Portallösungen mit GridSphere
Integration der Visualisierung des nutzerzentrischen Job-Monitoring in GridSphere (HEPCG) Interaktive Grafiken zur Darstellung des Status und der Ressourcennutzung der Jobs (HEPCG) Optimierung für die typischen HEP-Szenarien mit Hunderten oder Tausenden von Jobs der Nutzer (HEPCG) Unterstützung einer optimierten Suche in Datensätzen einschließlich Teilselektion (C3) Dynamische Suche nach Parametern und Ergebnissen über laufende und abgeschlossene Simulationen (AstroGrid) Ergebnisdarstellung in Bild und Datei (C3) Anwendungsschnittstellen für bisher sechs Anwendungen aus Bioinformatik und medizinischer Bildverarbeitung (MediGrid) GWES Workflow System mit Portal GUI (MediGrid) Erstellung eines D-GRDL Portlets (MediGrid) Anbindung an den AstroGrid Informationsserver, VOMRS, User Management (MediGrid, AstroGrid) D-Grid
43
D-Grid 43
Netze und Sicherheit X-WiN erfüllt derzeit alle bekannten Anforderungen der CGs. Die internationale Einbettung von CGs ist über X-WiN und Geant2 problemlos möglich. Die Zertifikatdienstleistung ist durch EUGridPMA akkreditiert und über GridKa und DFN nachhaltig organisiert. Vereinheitlichung der verwendeten Portbereiche im gesamten D-Grid mit Empfehlungen zur Konfiguration von Grid Middlewares und Firewalls Support der Communities durch eine Grid spezifische CERT-Hotline und Sicherheitstutorien D-Grid
44
D-Grid 44
Rolle des DGI im D-Grid Das DGI übernimmt die Koordinierung im D-Grid und die Vertretung des D-Grid in internationalen Gremien, soweit sie nicht Community-spezifisch sind. Alle weiteren Infrastruktur- und Betriebsprojekte müssen in das DGI integriert und von ihm kontrolliert werden. Das DGI muss eng mit den CGs kooperieren. Die Partner im DGI übernehmen die Verantwortung für die Nachhaltigkeit der durch das DGI geleisteten Arbeiten. Das DGI verstärkt die D-Grid Infrastruktur durch Verteilung und Verbreitung der Ergebnisse auf weitere Infrastrukturzentren unterschiedlicher Größe. DGI-2 als Nachfolgeprojekt des DGI geplant D-Grid
45
Das Folgeprojekt DGI 2, ein Vorschlag
FG 1: Benutzer- und Providersupport (FZK) Verteiltes Kompetenzzentrum Middleware Referenzinstallation Helpdesk D-Grid
46
Das Folgeprojekt DGI 2, ein Vorschlag
FG 2: Betrieb der D-Grid-Infrastruktur (FZJ) Betrieb der VO- und Nutzerdienste Betrieb der Ressourcen im D-Grid Einheitliche Betriebsumgebung für Produktionsjobs Ausbau der Redundanz für die D-Grid-Infrastruktur D-Grid
47
Das Folgeprojekt DGI 2, ein Vorschlag
FG 3: Sicherheit (DFN) AAI/VO z.B. Kurzzeit X.509-Zertifikate (SLCS) Firewalls (Dynamische) Konfiguration, Performance FG 4: Daten- und Informationsmanagement (DESY) Support Datenmanagement Datenmanagementsysteme SRM/dCache und iRODS Grid-Zugriff auf Datenbanken Metadaten D-Grid
48
Das Folgeprojekt DGI 2, ein Vorschlag
FG 5: Entwicklungsprojekte (RRZN) Accounting Für Fakturierung Gridshere Communityspezifische Portlets etc Monitoring Nutzer- und Anwendungsspezifisch FG 6: Nachhaltigkeit und Koordination (Uni Dortmund) D-Grid
49
D-Grid 2: Bewilligte Anträge
BauVOGrid: TU Dresden (Vernetzung von Subunternehmern, mobile Nutzung, VO‘s) SUGI: Uni Köln (Grid in die Fläche, Schulung) ProGrid: Science.computing AG ( Grid für verteilte Produktentwicklung (Automobilindustrie)) FinGrid: Uni Frankfurt (Grid zur Prozessoptimierung in der Finanzwelt) BIS-Grid: OFFIS e.V. (Grid Technologie zur Integration betrieblicher Informationssysteme) Aero-Grid: DLR (Grid Technologie für die Luftfahrtforschung) F&L Grid: T-Systems SFR (generisches Service Grid konzipieren) PartnerGrid: FHG-IAO (Entwicklung einer konfigurierbaren Softwareplattform für industrielle Nutzer) D-MON: LRZ München (Integration des Ressourcen- und Dienstemonitoring) D-Grid
50
D-Grid 50
Wie geht es weiter? Technische Entwicklungen, Erweiterungen notwendig Verbesserte Security Verbesserte Rollenkonzepte Interoperabilität Monitoring auf allen Ebenen Stabilität/Robustheit der Software Datamanagement Wissensmanagement (Metadaten, Ontologien,…) … D-Grid
51
D-Grid 51
Wie geht es weiter? Ein Schritt auf dem Weg zu e-Science Öffnung hin zu Geistes-, Sozial- und Wirtschaftswissenschaften Nachhaltige Finanzierung der Infrastruktur Organisatorische Einbindung in die Wissenschaftorganisationen Entwicklung von Geschäftsmodellen Service Level Agreements D-Grid 3 Call steht vor der Tür D-Grid
52
D-Grid 52
Zusammenfassung D-Grid 3 Call ? D-Grid 2 Call Projekte „Wissens-Projekte“ Nachfolgeprojekte? Community-Projekte DGI DGI-2 ? 9/2005 9/2007 9/2008 9/2010 D-Grid
53
D-Grid 53
Zusammenfassung Die D-Grid Initiative ist wissenschaftlich und wissenschaftspolitisch sehr wichtig und ein Erfolg. Viele neue Communities entdecken das Potential Ein nachhaltiges Betriebsmodell fehlt noch. Die D-Grid Initiative ist nur ein Schritt hin zu vernetzten Wissenschaftsstrukturen. Spannende technische Fragen warten noch darauf, gelöst zu werden. D-Grid
54
D-Grid 54
IVOM Integration und Interoperabilität des VO-Managements Problemerkenntnis auf einem Workshop Widersprechende Anforderungen aus den Communities Analyse im DGI mit den Communities Entdeckung einer Lücke mit Entwicklungsbedarf Diskussion im Steuerungsausschuss Unterstützung für ein Entwicklungsprojekt Konzeption eines Projektes Mitarbeiter aus dem DGI und interessierten CGs Integration des Projektes in das DGI Sicherung des Berücksichtigung des Ergebnisses in der Infrastruktur DGI D-Grid
Ähnliche Präsentationen
