14.-15..2006. 2 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 From the start: CVS available as collaborative tool Website: based on plain html,

Präsentation zum Thema: "14.-15..2006. 2 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 From the start: CVS available as collaborative tool Website: based on plain html,"—  Präsentation transkript:

1 14.-15..2006

2 2 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 From the start: CVS available as collaborative tool Website: based on plain html, collaboration through CVS Several software trees inherited (cactus, gat, gridsphere) Software Process

3 3 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 Switch to SVN from CVS Website: switch to Lenya (CMS-system) Extensive discussion about structure of SVN repository and software tools for easing the cycles of code-development and deployment maven2 for java-coding projects Heterogeneity of coding projects Issue-tracking which can interface to other source control modules Medium term: continous build processes for ensuring code integration Software Process

4 4 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 Sound and well maintained software is an important aspect of the sustainability of the project. This was not on our mind when the project proposal was written, and we got no funding allocated for that but for the review we should bring this to the attention of the reviews (and to the funding agencies, BMBF) Sustainability

5 5 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 Two pillars of D-Grid concept Communities DGI Problem: Concept of Grid is still not widely percieved as the way of integrating all resources into a collaborative framework for scientific work Example: discussion about german Supercomputer National frame

6 6 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 1. Middleware Complementary development and extention of Middleware stacks from DGI and Communities Starting point is (mostly) Globus 4.x Open Source based and oriented Integrative towards community specific developments (HEP) und specialized middleware (Unicore) Components of Grid Development

7 7 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 2. Resource integration 1 Level: National integration Unified Certification Policies Building of an efficient certification chain –for users –for services Service Certification is still not sufficient –for hardware (Hosts) sufficient –for Services the Certification (Webservices, Compute- Services etc) no unified system –different approaches not integrated (Shibboleth) VO Management still not available on national level Components of Grid Development

8 8 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 2. Resource Integration Ebene 1: Nationale Integration Hindernisse: Resourcen-Besitzer im Wissenschaftsbereich sind durch landesrechtliche und ander legale Bindungen sehr begrenzt in der Lage, die Integration der Resourcen durch das Grid mit entsprechender Änderung ihrer Benutzungspolicies zu begleiten Rechenzentren sind durch rechtliche Vorgaben bei der Resourcenintegration ziemlich bewegungsunfähig Community-Resourcen sind hier wesentlich flexibler Langfristig erforderlich ist eine Änderung der Rahmenbedingungen hin zu einer konzeptuell grid- basierten Nutzungspolicy mit entsprechenden Vergabeinstitutionen für alle wissenschaftlichen Compute-Resourcen Komponenten der Grid-Entwicklung

9 9 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 2. Resource Integration Level 2: Grid-Middleware Accounting and Billing procedures are still not available reasons: different Community procedures and requirements Software for these procedures still in concept phase resource integration into a functional grid only now comes into being Jon monitoring and quality assessements for QoS agreements for resource usage is one of the crucial steps for the next year BMBF sponsored considerable hardware resources, which provide a great opportunity for progress, since there are no restrictions imposed Components of Grid Development

10 10 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 3. Connectivity The Grid is hungry for bandwidth Usability of grid integrated resources is very limited without availability of sufficient networkl connectivity Requirement for scientific communities is to at least connect all BMBF hardware nodes with 10GBit/s (Example BaWü: for science institutions a countrywide network without fees) Centers of Grid development are the nodes of DGI amd Communities HEP-Community already has a network concept for the LHC-Experiment Components of Grid Development

11 11 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 3. Connectivity Für die Bewertung der Qualität von Grid Services ist Middleware für Monitoring und QoS-Bewertung der Netzwerk-Connectivity noch zu entwickeln Ohne Bewertung und Einbeziehung der Netzwerk- Connectivity ist ein Accounting/Billing im Rahmen des Grid nicht sinnvoll zu entwickeln Komponenten der Grid-Entwicklung

12 12 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 4. Verankerung der Grid-Entwicklung in der Community Nutzung der Grid-Infrastruktur durch die Community in breitgestreutem Umfang ist wesentlicher Inhalt der Nachhaltigkeit für das wissenschaftliche Grid Grid-Integration von Grossprojekten hat Pilot-Funktion Beispiel LOFAR Aufbau von Instituts-Vos, die Resourcen-Sharing auf Instituts-Ebene etablieren Aufnahme weiterer Assoziierter Partner in die Community-Projekte und deren Integration Zusammenarbeit mit internationalen Organisationen und Initiativen im Community-Bereich Beispiel: IVOA / GAVO Beispiel: GAIA Beispiel: Ukraine-Grid Komponenten der Grid-Entwicklung

13 13 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 5.Nachhaltigkeitsmodelle: Motivation Ziele und Erfolgskriterien Science: Erzielung von wissenschaftlichen Erkenntnissen durch effiziente Nutzung von Resourcen, Know-How und Personal Erfolgskriterien Wissenschaftlicher Output, Publikationen, Grundlagen für neue Technologien Business: Erzielung von Gewinn durch effiziente Nutzung von Resourcen, Know-How und Personal Erfolgskriterien wirtschaftlicher Erfolg, Gewinn Nachhaltigkeitsmodelle in Science und Business

14 14 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 5.Nachhaltigkeitsmodelle: Möglichkeiten der Zusammenarbeit Motivationen für die Entwicklung von grundlegenden Verfahren und Technologien Science: neue Verfahren werden entwickelt, um in einem bestimmten Gebiet die Erkenntnismöglichkeiten zu erweitern Business: neue Verfahren werden entwickelt, um Konkurrenzvorteile und höhere Gewinnchancen zu erlangen Nachhaltigkeit bedeutet in beiden Kontexten: langfristige Planung der Entwicklungen Science: Grossprojekte haben eine Planungs und Laufzeit von Jahrzehnten, wesentlich bestimmt von Science-Output Business: eine längerfristige Entwicklung ist wesentlich von der Kapitalumschlagszeit / ROI und anderen wirtschaftlichen Gesichtspunkten bestimmt (Zeiträume von <=5 Jahren) Nachhaltigkeitsmodelle in Science und Business

15 15 AGD: ResourceIntegration, Harry Enke (AIP) 14.-15..2006 5.Nachhaltigkeitsmodelle: Möglichkeiten der Zusammenarbeit Beispiel für eine mögliche Zusammenarbeit im Grid-Kontext: Wissenstransfer durch Zusammenarbeit mit Hardware-Lieferanten bei der Installation von Default-D-Grid-Middleware auf kleinen und mittleren Clustern für Industrie und Wissenschaft Entwicklung von Methoden zur Bewertung von QoS des Grids Entwicklung von Montioring/Accounting im Grid-Kontext Nachhaltigkeitsmodelle in Science und Business