Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Institut für Softwarewissenschaft - Universität WienP.Brezany 1 Grid Computing Peter Brezany Institut für Softwarewissenschaft Universität Wien Tel. :

Ähnliche Präsentationen


Präsentation zum Thema: "Institut für Softwarewissenschaft - Universität WienP.Brezany 1 Grid Computing Peter Brezany Institut für Softwarewissenschaft Universität Wien Tel. :"—  Präsentation transkript:

1 Institut für Softwarewissenschaft - Universität WienP.Brezany 1 Grid Computing Peter Brezany Institut für Softwarewissenschaft Universität Wien Tel. : 01/ Sprechstunde: Dienstag Konzepte, Techniken und Anwendungen

2 Institut für Softwarewissenschaft - Universität WienP.Brezany 2 Lernziele Motivation für Grids Grundbegriffe Bestehende Architekturen Neue Entwicklungen –Web Services –Integration von Web Services und Grid Services –OGSA (Open Grid Service Architecture)

3 Institut für Softwarewissenschaft - Universität WienP.Brezany 3 Einführung Grid Computing – ein relativ neues Forschungsgebiet Früher nur in wissenschaftlichen Kreisen bekannt und big-science Anwendungen. Jetzt näher zum every-day life (e-Business, medicine, usw.) Große Firmen (IBM, Sun, Microsoft) machen jetzt auch mit. Bei Grid Computing geht es um das gemeinsame Verwenden von verschiedenen Arten von Resourcen, eine moderne Sharing-Community

4 Institut für Softwarewissenschaft - Universität WienP.Brezany 4 Einleitende Visionen Beispiel Wasserversorgung – Früher: Hausquelle / Brunnen – Heute: Wassersammelstelle Leitungen Wasserhahn Beispiel Energieversorgung – Früher: Generator – Heute: Großer Generator Stromleitungen Steckdose –Power Grid Computational Grid / Grid Computing (z.B.: NASA: Information Power Grid (www.ipg.nasa.gov))www.ipg.nasa.gov Logische Konsequenz: Grid Computing Rechenleistung (und vieles mehr) aus der Steckdose Viele Rechner zu einem Großen Netz verbunden; Vorteile: – Komplett neue Möglichkeiten der Zusammenarbeit für Unternehmen – Hardwareersparnis (mieten) (vgl. Generator / Quelle) – Teuere Software mieten statt kaufen – Selbst z.B. Rechenleistung anbieten

5 Institut für Softwarewissenschaft - Universität WienP.Brezany 5 Web im Vergleich zum Grid Classical Web Classical Grid More computation

6 Institut für Softwarewissenschaft - Universität WienP.Brezany 6 Web im Vergleich zum Grid (2) Classical Web Semantic Web Richer semantics

7 Institut für Softwarewissenschaft - Universität WienP.Brezany 7 Web im Vergleich zum Grid (3) Classical Web Classical Grid Semantic Web Richer semantics More computation Semantic Grid Source: Norman Paton

8 Institut für Softwarewissenschaft - Universität WienP.Brezany 8 Grid Computing - Definition Definition nach 1 : The Grid ist eine Infrastruktur, die eine integrierte, gemeinschaftliche Verwendung von Ressourcen erlaubt. Als Ressourcen kommen nicht Rechenleistung und Speicherplatz in Frage, sondern ganze (und beliebige) Geräte können im Grid gemeinschaftlich verwendet werden, also zum Beispiel Hochleistungscomputer, Netzwerke, Datenbanken, Teleskope, Mikroskope bis zu Elektronenbeschleunigern. Ziel des Grid ist es, dass man auf Geräte zugreifen kann, als ob man sie besitzen würde, ohne sie kaufen zu müssen. Charakteristika von Grid-Anwendungen: - Große Datenmengen - Großer Rechenaufwand –Sicheres Resourcen-Sharing zwischen unabhängigen Organisationen Praktisch alle wichtigsten Grid Projekte bauen auf middleware Globus ( Globus 1, Globus 2, Globus 3)

9 Institut für Softwarewissenschaft - Universität WienP.Brezany 9 Abstrakte Grid Architektur WN gn 1 gn 2 gn 5 gn 6 gn 4 gn 3 gn i – Grid node (Knoten) Grid node: Computing Element (CE), Storage Element (SE), telescope, microscope, etc. IN n1n1 n2n2 n3n3 n4n4 n i – compute node io 2 io 1 io i – I/O node Example: gn 2 – combined CE and SE (research of Prof. Schikuta, Univ. Vienna)

10 Institut für Softwarewissenschaft - Universität WienP.Brezany 10 Grid Problem Das Grid-Problem: – Koordinierte gemeinsame Resourcennutzung (-sharing) und gemeinsames Lösen von Problemen in dynamischen, multiinstitutionalen Organisationen. – Sharing bedeutet hier: Direkter Zugang zu Computern, Software, Daten, Geräten, etc. – Sharing Regeln zwischen Anbietern und Benutzern definieren wem was wie wann zur Verfügung steht. Anzahl von Individuen und/oder Institutionen Sharing Regeln VO (Virtual Org.)

11 Institut für Softwarewissenschaft - Universität WienP.Brezany 11 Grid Voraussetzungen Gemeinsame Verwendung von geographisch getrennten Resourcen: – Keine gemeinsame Zentrale – Keine zentrale Kontrolle – Niemand ist allwissend – Keine Vertrauensbeziehungen untereinander Komplexe Anforderungen: – Programm X auf den Rechnern von Y ausführen (Vertrag P) wobei die Daten von Z stammen (Vertrag Q). Y und Z müssen keine Beziehung haben. (Delegation)

12 Institut für Softwarewissenschaft - Universität WienP.Brezany 12 Virtuelle Organisation (VO) Zweck, Ziel, Größe, Dauer, Struktur, etc. variieren Anforderungen von VOs: – Hochflexible Sharing-Beziehungen (C/S bis P2P) – Ausgereifte und präzise Kontrolle – Feine und grobe Zugangskontrolle – Abrechnung – Zeitplanung

13 Institut für Softwarewissenschaft - Universität WienP.Brezany 13 VO Beispiel Autohersteller beauftragt: – Application service provider (ASP) Finanzielle Vorhersage – Storage service provider (SSP) (Historische) Daten – Cycle providers Rechenleistung für die Analyse Szenarienanalysen für neue Fabrik (bzw. Standort) durchzuführen.

14 Institut für Softwarewissenschaft - Universität WienP.Brezany 14 VO Beispiel (2) Figure: An actual organization can participate in one or more VOs by sharing some or all of its resources. We show three actual organizations (the ovals), and two VOs: P, which links participants in an aerospace design consortium, and Q, which links colleagues who have agreed to share spare computing cycles, for example to run ray tracing computations. The organization on the left participates in P, the one to the right participates in Q, and the third is a member of both P and Q. The policies governing access to resources (summarized in quotes) vary according to the actual organizations, resources, and VOs involved.

15 Institut für Softwarewissenschaft - Universität WienP.Brezany 15 Definitionen: Protokoll, Dienst, API, SDK Protokoll: – Menge von Regeln für Endpunkte von Telekommunikationssystemen zum Informationsaustausch – Standardprotokoll gewährleistet Interoperabilität Dienst: – Netzwerkfähige Instanz mit einer bestimmten Fähigkeit Definiert durch Protokoll und Reaktion auf eine Protokoll-Nachricht (service = protocol + behavior) API: – Standardinterface für Zugriff auf Funktionalität (ein Protokoll kann mehrere APIs haben) – Ermöglicht Portabilität SDK: – Implementiert ein API

16 Institut für Softwarewissenschaft - Universität WienP.Brezany 16 Grid Protokoll Architektur vs. IP Architektur Application Fabric Controlling things locally: Access to, & control of, resources Connectivity Talking to things: communication (Internet protocols) & security Resource Sharing single resources: negotiating access, controlling use Collective Coordinating multiple resources: ubiquitous infrastructure services, app- specific distributed services Internet Transport Application Link Internet Protocol Architecture

17 Institut für Softwarewissenschaft - Universität WienP.Brezany 17 Grid Architektur (1) Fabric: – (Computer / Dateisysteme / Archive / Netzwerke / Sensoren /...) (open, read, write, close,...) – Kaum Beschränkungen am low-level solang Schnittstellen erfüllt Connectivity: (neck) – Kommunikation (IP, DNS, Routing,...) – Sicherheit (Grid Security Infrastructure, GSI) - Einheitliche Authentifikation - Single sign-on - Delegation - Public Key Technologie

18 Institut für Softwarewissenschaft - Universität WienP.Brezany 18 Grid Architektur (2) Resource Layer: (neck) – Grid Resource Allocation Management (GRAM) Zuweisung, Reservierung, Monitoring, Steuerung von Rechenresourcen – GridFTP Protokoll (FTP Erweiterungen) Hochgeschwindigkeitsdatenzugriff und –Transport – Grid Resource Information Service (GRIS) Zugang zu Struktur- und Statusinformationen – Netzwerkreservierung, Beobachtung und Steuerung – Baut auf Connectivity Layer (GSI & IP) auf.

19 Institut für Softwarewissenschaft - Universität WienP.Brezany 19 Grid Architektur (3) Collective Layer: – Globale Protokolle und Dienste – Baut auf dem neck auf – ist komplett unabhängig von den Resourcen – Verzeichnisdienste – Monitoring- und Diagnosedienste – Datenreplikationsdienste – etc. Applications: – Verwenden Dienste beliebiger Layer

20 Institut für Softwarewissenschaft - Universität WienP.Brezany 20 Sanduhr-Modell – Internet heute

21 Institut für Softwarewissenschaft - Universität WienP.Brezany 21 Sanduhr-Modell – Globus Grid

22 Institut für Softwarewissenschaft - Universität WienP.Brezany 22 Data Grid Ursprüngliche Motivation: Wissenschaftliche Anwendungen sind sehr daten intensiv und enorm große Menge von Forschern aus der ganzen Welt will einen schnellen Zugriff auf diese Daten haben. Perspektive Anwendungen von Data Grids: Medical Grids, E-Business und E-Commerce Grids.

23 Institut für Softwarewissenschaft - Universität WienP.Brezany 23 Modell Architecture für Data Grids Metadata Catalog Replica Catalog Tape Library Disk Cache Attribute Specification Logical Collection and Logical File Name Disk ArrayDisk Cache Application Replica Selection Multiple Locations NWS Selected Replica GridFTP commands Performance Information & Predictions Replica Location 1Replica Location 2Replica Location 3 MDS

24 Institut für Softwarewissenschaft - Universität WienP.Brezany 24 Storage Model 2 different kinds of files: Master files (owned by their creators) Replica files. There may be many replicas of a master file. Replicas are owned by, managed by, and may be deleted by, the Grid. The notion of replicas is new, and critical in a Grid environment. Example: Before a DataGrid job can run at site A, data at site B may need to be copied to site A. This data may then be used by subsequent jobs at site A, or may be needed by jobs at site C, which has a better network connection to site A than site B. For this reason, the data should be kept at site A as long as possible. The ReplicaManager keeps track of all replica data so that the replica selection service can select the optimal replica to use for a given job, or to request the creation of a new replica.

25 Institut für Softwarewissenschaft - Universität WienP.Brezany 25 Data Replication Across Grid Nodes By providing a copy (replica) of a data item close to a client application, access times can be reduced. Replication can also help in load balancing and can improve reliability. file1.DB Z/data/file1.DB X/data/file1.DB Y/data/file1.DB Replica Catalog (logical name) (physical names) X, Y, Z – Grid sites

26 Institut für Softwarewissenschaft - Universität WienP.Brezany 26 SQLDatabaseService This servis allows to efficiently store, retrieve and query very large amounts of meta data held in any type of local or remote RDBMS. The database can be used for the implementation of catalogs. Spitfire project : A set of grid enabled database middleware services – access to relational databases.

27 Institut für Softwarewissenschaft - Universität WienP.Brezany 27 Integration von Grid und Web Services: Open Grid Service Architecture - OGSA Integration von Grid- und Webtechnologien - zuerst nur eine Initiative vom Globus-Projekt und IBM; jetzt eine Aufgabe des Global Grid Forums. Erweiterung von Web Service Standards wie SOAP und WDSL um die offenen Spezifikationen von Globus. OGSA- ein Set von Spezifikationen und Standards, das die Vorteile von Grid-Computing mit denen von Webservices kombinieren soll. Damit will man eine Plattform schaffen, die eine gemeinsame Nutzung von Anwendungen- und Computer- Ressourcen über das Internet auch für den kommerziellen Bereich interessant macht. Das neue Set an OGSA-Spezifikationen erweitert Standards wie XML, WSDL und SOAP mit Grid-Computing-Standards, die vom Globus-Projekt-Team entwickelt wurden.

28 Institut für Softwarewissenschaft - Universität WienP.Brezany 28 Web Services – der Baukasten für verteilte Systeme Software Dienst (service) akzeptiert einen digitalen Antrag (Abfrage, usw.) und liefert eine digitale Antwort. Web service – Abkürzung für Web of Services

29 Institut für Softwarewissenschaft - Universität WienP.Brezany 29 Die Evolution von Software Services Programme in Assembler, C, usw.; Komponentfunktionen kommunizieren in einzelnen Speicherbereich. Entfernete Programme können kollaborieren.

30 Institut für Softwarewissenschaft - Universität WienP.Brezany 30 Die Evolution von Software Services (2) 2 LANS, 1 benutzt CORBA und 1 benutzt DCOM 2 verbundene LANS; sie benutzen eine CORBA/DCOM Brücke

31 Institut für Softwarewissenschaft - Universität WienP.Brezany 31 Die Evolution von Software Services (3)

32 Institut für Softwarewissenschaft - Universität WienP.Brezany 32 Die Evolution von Software Services (4) SOAP ist ein universalles Protokoll, das alles verbindet.

33 Institut für Softwarewissenschaft - Universität WienP.Brezany 33 SOAP – Simple Object Access Protocol Der neue Standard für Netzwerk-Kommunikation zwischen software services. SOAP messages sind über HTTP gesendete XML Dokumente.

34 Institut für Softwarewissenschaft - Universität WienP.Brezany 34 SOAP – Simple Object Access Protocol (2) SOAP Prozessor konvertiert XML Nachrichten in native Aufrufe.

35 Institut für Softwarewissenschaft - Universität WienP.Brezany 35 SOAP – Simple Object Access Protocol (3) Der Client braucht WSDL, bevor er den Service aufruft.

36 Institut für Softwarewissenschaft - Universität WienP.Brezany 36 Publizierung eines Dienstes Beispiel: Aktienkauf – Anwendung des Packages GLUE package example.soap; // An interface for buying stock public interface ITrader { /* * Purchase the specific stock quantity The number of shares to purchase. symbol The ticker symbol of the company. TradeExceprion If the symbol is not recognized. The cost of the purchase. */ float buy (int quantity, String symbol ) throws TradeException; } Itrader.java

37 Institut für Softwarewissenschaft - Universität WienP.Brezany 37 Publizierung eines Dienstes (2) package example.soap; public class Trader implements Itrader { public float buy (int quantity, String symbol ) throws TradeException { if (symbol.equals( IBM ) ) return * quantity; else if (symbol.equals( MSFT ) ) return * quantity; else throw new TradeException( symbol + symbol + not recognized); } Trader.java

38 Institut für Softwarewissenschaft - Universität WienP.Brezany 38 Publizierung eines Dienstes (3) package example.soap; import registry.Registry; import server.http.HTTP; public class TradeServer { public static void main ( String[] args ) throws Exception { // start a web server on port 8003, accept messages via /soap HTTP.startup (http://localhost:8003/soap ); // publish an instance of Trader Registry.publish( trader, new Trader() ); } TraderServer.java

39 Institut für Softwarewissenschaft - Universität WienP.Brezany 39 Bindung zu einem Web-Service Wenn ein Objekt schon als Web-Service publiziert ist, kann sich der SOAP-Client zu ihm binden und ihn aufrufen. package example.soap; import registry.Registry; public class TraderClient { public static void main ( String[] args ) throws Exception { // the URL of the web service WSDL file String url = ( ); // read the WSDL file and bind to its associated web service ITrader trader = (ITrader) Registry.bind( url, ITrader.class ); // invoke the web service as if it was a local object float ibmCost = trader.buy (54, IBM ); System.out.println( IBM cost is + ibmCost ); } TraderClient.java

40 Institut für Softwarewissenschaft - Universität WienP.Brezany 40 Der Client Proxy Der binding Prozeß antwortet mit einem proxy, der eine Java Schnittstelle implementiert, deren Metode die Methoden der entferneten Stelle wiederspiegeln.

41 Institut für Softwarewissenschaft - Universität WienP.Brezany 41 WSDL WSDL – Web Service Description Language WSDL beschreibt, was ein Web Service machen kann, wo er sich befindet, und wie er aufgerufen werden kann. Eine Anwendung kann sich theoretisch einen optimalen Service aus mehreren Services wählen.

42 Institut für Softwarewissenschaft - Universität WienP.Brezany 42 UDDI UDDI – Universal Description, Discovery, and Integration UDDI ermöglicht Publikation und Abfragen von Informationen über Services. Beispiel: ACME- Kreditkontrollen

43 Institut für Softwarewissenschaft - Universität WienP.Brezany 43 UDDI (2) UDDI wirkt als Heirats-Vermittler zwischen Service- Anbietern und Konsumenten.

44 Institut für Softwarewissenschaft - Universität WienP.Brezany 44 Veröffentlichen Finden Binden Service Provider Service Registrierung Service Verbraucher UDDI (3)

45 Institut für Softwarewissenschaft - Universität WienP.Brezany 45 UDDI (4) Öffentliche UDDI-Operatoren synchronisieren regelmäßig ihre Inhalte.

46 Institut für Softwarewissenschaft - Universität WienP.Brezany 46 Open Grid Service Architecture - OGSA Einordnung –radikales Refactoring von Grid alt (Globus 2) –Integration von Technologien der Grid- und WebService-Community Ziele –ermöglichen verteilter, heterogener und dynamischer VOs –effizientes Ressource-Sharing –Plattform- und Programmiersprachenunabhängigkeit –basierend auf offenen Standards –Virtualisierung –e-business und e-science Anwendungen, auch kommerzielle Nutzung –auf Basis moderner Technologien (Web Services, Grid Technologien) Players … wer steht dahinter? –Global Grid Forum (ursprünglich initiiert von Globus, IBM), zusätzlich ANL, NASA, US DOE, US NSF, HP-Compaq, Intel, Microsoft, Sun,…

47 Institut für Softwarewissenschaft - Universität WienP.Brezany 47 Service - Grid Ein Service ist eine netzwerkfähige Entität, die ihre Funktionalität durch Nachrichtenaustausch anbietet. Ein Grid Service ist ein Web Service, dass die in der WSDL beschriebenen OGSA-Interfaces implementiert und damit in Verbindung stehende Konventionen befolgt. Ein Grid ist eine erweiterbare, dynamische Menge von einzelnen Grid Services, die auf unterschiedliche Art und Weise miteinander kombiniert werden können, um den individuellen Anforderungen von VOs entsprechen zu können.

48 Institut für Softwarewissenschaft - Universität WienP.Brezany 48 OGSA: Architecture Factory Notification serviceData WebService Hosting Environment Hardware Client Definition: WSDL Messages: zB SOAP Transport: zB HTTP Konventionen Grid Service OGSA Grid- Community Business- Logic WebService- Community


Herunterladen ppt "Institut für Softwarewissenschaft - Universität WienP.Brezany 1 Grid Computing Peter Brezany Institut für Softwarewissenschaft Universität Wien Tel. :"

Ähnliche Präsentationen


Google-Anzeigen