Grid applications, environments and programming models Präsentiert von: Beikircher Wolfgang Schgaguler Evelyn

Was Sie erwartet: Einführung in Grid - Überblick - Eingabe von Workflows - Abbildung ins Grid - Ausführung der Workflows - Anwendungen Pegasus Karajan Zusammenfassung - Überblick - Ziele - Spezifikation - Ausführung - Ereignismodell

Einführung 5% genutzte Kapazität 95% ungenutzte Kapazität 10% genutzte Kapazität 90% genutzte Kapazität Auslastung der CPU bei:... PCs... Server

Was ist das Grid? Rechenleistung innerhalb Netzwerk zusammenfassen (Grid Computing) parallele Lösungen rechenintensiver Probleme geringere Kosten hohe Rechenleistung Computer, Teleskope, Mikroskope, usw. geförderte Projekte z.B. CERN (durch die EU) wesentlich kürzere Rechenzeit

Softwarearchitektur Context Service Data Service Information Service Resource Management Service Infrastructure Service Self-Management Service Security Service Execution Management Service OGSA

Grid - Applikationen Distributed Supercomputing High-Throughput Computing On-Demand Computing Data-Intensive Computing Collaborative-Computing Teleimmersion

Pegasus - Planning for Execution in Grids Ein framework für Workflows

Überblick Flexibles framework Konfigurierbares System, das plant, vorbereitet und Workflows ausführt –Algorithmische und KI Techniken kommen zum Einsatz Unterstützt eine Reihe von Programmen zur Ausführung von Workflows

Spezifikation Workflows als abstrakt definiert –Transformationen und Daten mit Hilfe der logischen Namen Workflowdefinition mit Chimera oder händisch Ausgabe ist ein gerichteter Graph, beschrieben in XML

Beispiel einer Eingabedatei für Chimera

Konstruierter, abstrakter Graph preprocess findrange analyze f.a f.d f.b1, f.b2 f.c1 f.c2

Ausgabe als XML-Datei

Abbildung der Workflows Pegasus RLS TC MDS L o g i s c h e D a t e n Standort der Daten Logische Transf. Standort der Transf. Ressourcen finden Standort der Ressourcen

Reduktion von Workflows Optimiert Workflows Prüft Durchführbarkeit der Workflows

Ausführung von Workflows Pegasus RLS TC MDS DAGManChimera Abstract Workflow Concrete Workflow VDLJobs

Anwendungen (1) - LIGO Interferometry Gravitational-Wave Observatory Gravitationswellen werden erzeugt von: –Schwarzen Löchern –Erdbeben in Neuronensternen –Pulsare Pegasus-Planer analysiert Daten: –Workflows bilden –auf den Grid ausführen

Anwendungen (2) - LlGO

Anwendungen (3) - SCEC Southern California Earthquake Center (SCEC) Bei Demonstrationen von Erdbebenanalysen GriPhyN entwickelte Virtual Data Toolkit Vorgehensweise: –Workflow Templates produzieren u. mit Daten füllen –abstrakte Workflows erzeugen –an das Virtual Data System (VDS) weiterleiten –DAGMan und CondorG führen Workflows aus

Karajan A Grid Orchestration Framework

Überblick Karajan ist eine Workflow Sprache und Ausführungsmotor Ereignisgesteuert Stützt sich auf 2 grundlegende Technologien: –Javas Jini –Rio

Schematische Darstellung

Ziele Erzeugung einer verteilten Infrastruktur Client – Server – Service Programmierung so einfach wie möglich zu machen Entwicklung einer Infrastruktur in der Services unabhängig von einander arbeiten können

Spezifikation eines Workflows Workflows werden mittels XML-Datei spezifiziert Vordefinierte Tags bestimmen den Ablauf Verschiedene Gridelemente einbindbar: –Parallele Iteratoren –Gridftp

Beispiel einer Definition …. …. element1 element2 element3 element4

Ausführung der Workflows Workflow engine basiert auf Ereignismodell Elemente reagieren auf Ereignisse von anderen Elementen Elemente interagieren mit Services

Ereignismodell Ereignisse signalisiert durch Flags Flags werden in JavaSpace geschrieben 2 verschiedene Modelle –Client distribution model –Service distribution model

Client distribution model

Service distribution model

Zusammenfassung Wiederholung Grid Pegasus –Spezifikation von Workflows (XML-Datei) –Planung von Workflows (RLS, TC, MDS) –Ausführung von Workflows Karajan –Definition der Workflows –Ereignismodel

Vielen Dank