Betriebs- systeme und Verteilte Systeme Architektur des Grids Projektgruppe Peer2Peer Suche nach Webservices WS 2004/SS 2005 Andre Höing

4242 Agenda  Definitionen  Geschichte  Unterschied OGSI / OGSA  Schichten des Grids  Grid Services  Weitere OGSA Konventionen  Forschung / next generation  Zusammenfassung Definition Geschichte Schichten GridServices OGSA Forschung

4343 frühe Definition  1998 Ian Foster and Carl Kesselman  „The Grid: Blueprint for a New Computing Infrastructure“ „A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive and inexpensive access to high-end computational capabilities“ „Ein Rechen-Grid ist eine Hard- und Software Infrastruktur, die einen verlässlichen, beständigen, überall vorhandenen und preisgünstigen Zugang zu high-end Rechenressourcen bereitstellt.“ Definition Geschichte Schichten GridServices OGSA Forschung

4 Moderne Definition  2000 Ian Foster, Sven Tuecke u.a.  „The Anatomy of the Grid“  Schlagwort: „Sharing“  Nicht in erster Linie von Dateien, sondern Direkter Zugang bei Bedarf zu Computer, Software, Daten und andere Ressourcen  Stark kontrolliert, mit genauer Klärung  Was geteilt wird  Wer Zugriff hat  Unter welchen Bedingungen geteilt wird  Virtual Organization: Zusammenschluss der Teilnehmer, die durch die Regeln definiert werden. Definition Geschichte Schichten GridServices OGSA Forschung

4545 Checklist  Juli 2002 Ian Foster  „What is the Grid“  Ein Grid ist ein System, welches  verschiedene Ressourcen (in verschiedenen Domänen), die nicht zentral verwaltet werden, koordiniert.  standardisierte, offene, universelle Protokolle und Interfaces benutzt.  nicht triviale Dienste anbietet. Definition Geschichte Schichten GridServices OGSA Forschung

4646 Anfänge  1967 – erstes Netzwerkpaket wurde ausgetauscht (NPL Data Network / 768 kbps)  1973 – erste internationale Netzwerkverbindung (ARPANET)  1975 – TCP Verbindung über Satellit  1976 – erster Cray  1979 – erster Multiprozessor Computer  1984 – Internet Hosts  1986 – NSFNET Backbone 56 kbps  1988 – NSFNET Backbone1,5 Mbps  1988 – Condor  1989 – Internet Hosts Definition Geschichte Schichten GridServices OGSA Forschung

4747 Condor  Erster Vorläufer des Modernen Grids  Nur ein Condor „Pool“ zusammengesetzt aus vielen Machinen  Finden von einzelnen bestimmten Ressourcen unter einer Vielzahl verschiedener Maschinen  Fehlertoleranz  Umgang mit Jobs, die niemals enden  Ab- und Einschalten einzelner Rechner  Netzwerk ist auf ein LAN beschränkt  Nutzung von Ressourcen aus verschiedenen Domainen  Für die Forschung frei erhältlich:  Entwicklung noch aktiv Definition Geschichte Schichten GridServices OGSA Forschung

4848 Weitere Fortschritte  1991 – PGP released  1991 – CORBA v1.1  1991 – NSFNET 44.7 Mbps Backbone  1991 – WWW entwickelt von Tim Berners-Lee  1992 – Internet Hosts  1993 – Legion project  1996 –  1997 – start Globus  1998 – Globus Toolkit 1  2000 – Globus Toolkit 2  2003 – Globus Tooklit 3  2005 – Globus Toolkit 4  Im Moment Developer Release Definition Geschichte Schichten GridServices OGSA Forschung

4949 Globus Version 1  Toolkit mit Standards für  Sicherheit (GSI)  Zugriffskontrolle und Datentransfer (GRASS und GridFTP)  Finden und Zuteilung von Ressourcen (GIS und GRAM)  Starten entfernter Programme (globusrun)  GIS – Grid Information Service  Jede Ressource startet „Grid Ressource Information Server“ (GRIS)  Sammlung der Informationen im Grid Index Information Service (GIIS)  Ressource Specification Language (RSL)  GSI - Grid Security Service  Gute Akzeptanz der Sicherheitsstandards (X.509 Zertifikat mit Ablaufdatum)  Anmeldung am gesamten Grid möglich Definition Geschichte Schichten GridServices OGSA Forschung

410 Globus Version 2  GRAM (Globus Ressource Allocation Manager)  Interface zu den verschiedenen lokalen Ressource Mgmt Tools  MDS – Metacomputing Directory Service:  LDAP basiert  Datenbank für den GRIS  GridFTP (Erweiterung des FTP Protokolls):  Parallele Transfers  Teiltransfers  Third-Party Transfers  Authentifizierte Datenleitungen Resource Management Information Services Data Management Security (GSI) GRAM MDS GridFTP Definition Geschichte Schichten GridServices OGSA Forschung

411 Version 3  Open Grid Service Architecture  standardisierter Aufbau eines Grids  Erlaubt Virtualisierung von Ressourcen  Integration von bereits bestehenden Ressourcen und Programmen  Tools für Auslastung, Sicherheit, Netzwerk QoS, Erreichbarkeitsmanagement  Alles im Grid ist ein Service  Open Grid Service Infrastructure  Formale und technische Spezifikationen um den OGSA Aufbau umzusetzen  Definiert WSDL Bestimmungen und GSDL Erweiterungen  Definiert wichtige Interfaces (in WSDL) und Verhaltensweisen, die wichtig für einen Grid Service (GS) sind  Ziel: Vereinigung von Web Services und Grid Technologie Definition Geschichte Schichten GridServices OGSA Forschung

412 Schichten des Grids Quelle: A visual tour of Open Grid Services Architecture - Definition Geschichte Schichten GridServices OGSA Forschung

413 Grid Service  Erweiterung eines Web Service um  Lifecycle management  Factory  Notification  State management  Service Groups  Handle Map  Erweiterungen werden durch OGSA/OGSI spezifiziert Quelle: A visual tour of Open Grid Services Architecture - Definition Geschichte Schichten GridServices OGSA Forschung

414 OGSA Funktionen (1)  Lifecycle Management  Robustheit gegen das Auftauchen und Verschwinden einzelner Dienste  Nicht alle Dienste werden zu jeder Zeit benötigt  Generierung der Dienste manuell oder durch eine Fabrik  Zerstörung der Dienste explizit oder durch Soft-State Lifetime Management  Factory  Starten der Dienstinstanzen nur, wenn sie benötigt werden  Eine Fabrik kann verschiedene Dienste erzeugen  Nicht alle Dienste werden dynamisch erzeugt  Liefert einen Grid Service Handle (GSH) zur ü ck Definition Geschichte Schichten GridServices OGSA Forschung

415 OGSA Funktionen (2)  Notification  Kommunikation der einzelnen Dienste innerhalb eines Grids untereinander  Notification Source  Anmelden eines Dienstes bei einem Anderen  Dienst bekundet Interesse an einer bestimmten Art von Informationen  „Subscription Manager“ Dienst regelt Lebensdauer und Eigenschaften dieser Anmeldung  Notification Sink  Gegenstück zur Quelle  Asynchrones versenden von Nachrichten an einen vorher angemeldeten Dienst Definition Geschichte Schichten GridServices OGSA Forschung

416 OGSA Funktionen (3)  State Management  Grid Services können verschiedene Zustände besitzen  Informationen werden in Form von „Service Data“ gespeichert  Minimale Service Data Menge für jeden GS zwingend notwenig  Service Data  Beschrieben durch eine WSDL Erweiterung  Enthält Informationen über  Den Dienst allgemein  Die Interfaces des Dienstes  Informationen über den Status der Anwendung  Nicht nur Meta Daten, sondern auch dynamische Informationen über den aktuellen Zustand Definition Geschichte Schichten GridServices OGSA Forschung

417 OGSA Funktionen (4)  Service Groups  Zusammenschluss mehrer GS in eine Virtuelle Gruppe  Z.B. alle Dienste, die sich in einem bestimmten Cluster befinden  Handle Map  Speichert Informationen um Dienste innerhalb des Grids zu finden  Auflösung eines Grid Service Handles zu einer Grid Service Reference Definition Geschichte Schichten GridServices OGSA Forschung

418 GSH und GSR  Jede GS-Insatanz besitzt einen eindeutigen, unveränderbaren Namen innerhalb des gesamten Grids => Grid Service Handle (GSH)  Enthält unter anderem Informationen über den HomeHandleMap Dienst  GSH kann bei einer Handle Map nachfragen, wo der Dienst mit einer bestimmten GSH liegt => Grid Service Reference (GSR)  Enthält Informationen über den Ort des Dienstes (IP)  Kann ablaufen  Trennung zwischen Dienst und Ort des Dienstes Definition Geschichte Schichten GridServices OGSA Forschung

419 Interfaces  GridService  FindServiceData  SetTerminationTime  Destroy  NotificationSource  SubscribeToNotificationTopic  NotificationSink  DeliverNotification  Factory  CreateService  HandleMap  FindByHandle  Registry  RegisterService  UnregisterService Definition Geschichte Schichten GridServices OGSA Forschung

420 Finden eines Dienstes Client Registry Grid Service Registry Name, Lifetime, etc MySQL Database Service Grid Service Query Database Interface Name, Lifetime, etc DB Service Factory Grid Service Factory Name, Lifetime, etc HandleMap RegisterService FindServiceData GSH FindByHandle GSR CreateService GSH GSR Definition Geschichte Schichten GridServices OGSA Forschung

421 Beispiel Applikation Registry User Application Mining Factory Database Factory Compute Service Provider Storage Service Provider Database Service BioDB n BioDB 1 Ich möchte eine Datenbank mit Informationen über e.coli Bakterien erstellen. Finde einen Dienst für themenbezogene Datensuche und eine Datenbank um die Informationen zu speichern. GSHs für die angeforderten Dienste Erstelle einen Suchdienst mit anfänglicher Lebendsdauer 10. Erstelle einen Datenbankdienst mit anfänglicher Lebendsdauer Database Miner Anfrage Keepalive Ergebnisse Quelle: testbed.gridcenter.or.kr/kor/technical_doc/ KISTI-IBM-0522/ppt/day2-01-IntroductionOGSA.ppt Definition Geschichte Schichten GridServices OGSA Forschung

422 Was kann OGSA noch?  Dienste müssen jederzeit upgradebar sein, ohne den Betrieb des Grids einzuschränken oder laufende Jobs zu beeinflussen  Evtl. Kompatibilitätsprobleme mit älteren Versionen  Clients müssen nicht nur Namen der Dienste unterscheiden, sondern auch Versionen  Finden von kompatiblen Diensten wäre ideal  Verlässliche Aufrufe der Dienste  Synchronisation zum sicherstellen, dass die Nachrichten erhalten wurden  Authentifizierung  Sicherstellen der Identität einzelner Dienste oder Teilnehmer  Besonders wichtig bei Vertragsverhandlungen etc. Definition Geschichte Schichten GridServices OGSA Forschung

423 Grid Core Services  Service Management  Automatisierung von Installation, Erhaltung, Beobachtung und Problemlösung  Sammelt Informationen über das Grid  Service Communication  Nachrichtenschlangen, Nachrichtenversenden, Protokollieren der Kommunikation  Policy Management  Gerüst für Erschaffung, Verwaltung und Administration von Verträgen  Security  Einheitliche Sicherheitsmodelle, -mechanismen, -protokolle und -technologien Definition Geschichte Schichten GridServices OGSA Forschung Quelle: A visual tour of Open Grid Services Architecture –

424 Globus Version 4  Web Service Ressource Framework  OGSA/OGSI wurde weitestgehend von der Globus Alliance ohne die WebService Community definiert  Oft werden nur Teile von OGSI benötigt, aber alle mussten installiert werden => OGSI wird in 6 Web Service Spezifikationen aufgespaltet/erweitert  WS-RessourceLifetime  WS-RessourceProperties  WS-Notification  WS-RenewableReferences  WS-ServiceGroup  WS-BaseFaults Definition Geschichte Schichten GridServices OGSA Forschung

425 Zusammenfassung  Alles im Grid wird als Grid Service dargestellt (Hard- und Software)  Schichten des Grids  Vorstellung der Funktionen  Auflösen von GSH und GSR  Kommunikation  Soft-State Lifecycle  Service Data  Ausblick auf die nächste Generation Definition Geschichte Schichten GridServices OGSA Forschung

426 ENDE Vielen Dank für die Aufmerksamkeit Architektur des Grids