Grid-Computing Mehr als nur ein Hype? Benno Baumgartner & Reto Ghioldi (ETH Zürich)

2 Informatik zur Problemlösung Mathematische Berechnungen Datenverwaltung Informationsverarbeitung und -aufbereitung

3 Applikation Wunsch des Applikationsentwicklers 1 Problem 42 1 Antwort Super Black Box Adapter zwischen Applikation und dort wo die Lösung errechnet wird

4 Praxis: Engpass Rechenleistung 1 Problem 42 1 Antwort 1 Computer Engpass

5 Erste Lösungsmöglichkeit 1 GROSSER Computer 1 Problem 42 1 Antwort

6 Zweite Lösungsmöglichkeit 1 Problem 42 1 Antwort Computer

7 Implementationsaufwand? 1 Problem 42 1 Antwort Computer Aufwändig zu realisieren Implementations- aufwand 0

8 ? ? ? Themen dieses Abends Wie funktioniert die zweite Variante genauer (Giesskanne / Trichter)? Wir werden eine Technik genauer anschauen ( Grid-Computing). Wie stehen die beiden gezeigten Varianten zueinander im Vergleich? Bei welcher Art von Problemen macht es Sinn, viele kleine Computer einzusetzen. Wo eignet sich ein einzelner grosser Computer besser? Wie sieht es bei den zwei Varianten bezüglich dem Preis-Leistungsverhältnis aus?

9 Ablauf WerThemaWasZeit Reto Bei der Natur und bisherigen Technik spickenVortrag5 Benno Brückenschlag zur Informatik: Grid-Computing auf den Punkt gebracht Vortrag10 Reto Wir spielen selbst Grid-ComputingSpiel20 Reto Problembehandlung beim Grid-ComputingVortrag10 Benno Vergleich der beiden VariantenVortrag10 Benno Ausnutzung von ungenutzten RessourcenSpiel10 Benno AnwendungsmöglichkeitenVortrag10

Verteiltes Arbeiten in der Natur Ameisen Jeder Stamm hat seinen eigenen Ameisenbau Die Königin gibt den Auftrag: (Nestbau & Nahrungssuche) Die Arbeiterinnen teilen die Arbeit untereinander auf Jede Ameise handelt eigenständig zum Wohl des Stammes Die Ameisen kommunizieren untereinander Unter den Ameisen eines Stammes herrscht Vertrauen Einen ganzen Ameisenstamm auszulöschen ist sehr schwierig

11 Eigenschaften bei Ameisen Der Stamm ist (fast) dezentral organisiert Das System ist sehr ausfallsicher Intelligente Ressourcenaufteilung Standardisierte Kommunikation zwischen den einzelnen Individuen Sicherheit und Vertrauen ist im Bau von zentraler Bedeutung Eine Arbeitseinheit ist billig in der Herstellung Skalierbarkeit durch einfaches Hinzufügen neuer Ameisen und Bauvergrössern AmeisenComputer Es wird im Verbund kein Server vorausgesetzt Das System ist sehr fehlertolerant und manipulationssicher Computer-Ressourcen werden geteilt (Speicher, Drucker,...) Basis von offenen Standards wie IEEE (Ethernet), I nternet E ngineering T ask F orce (TCP/IP, RFCs), W3C (XML, SOAP), etc. AAA (Access policy, Authentication, Authorization) Auch bei vielen teilnehmenden Computern tiefe Kosten

12 Black Box in der Technik Stromnetz (engl. Power-Grid) Super Black Box ( )

13 Eigenschaften beim Stromnetz Die Infrastruktur des Stromnetzes ist an vielen Orten schon gegeben Es ist dem Konsument egal, wo und wie der Strom erzeugt wurde Man kann sich auf das Stromnetz verlassen (Spannung, etc). Man kann den Strom in seinen eigenen Entwicklungen/Geräten weiterverwenden Ende Jahr gibts eine Stromrechnung Parallelen zur Computerwelt?!?

14 Zwei Beispiele

15

16 Übersicht Berkeley Arecibo radio telescope

17 Demo

18 Statistik Total die letzten 24 Stunden Benutzer Total CPU time Jahre1231 Jahre Fliesskomma Operationen 5, , (69,2 Tflops) 1 Tflops = 1 Billion Fließkomma - Operationen pro Sekunde.

19 Fight fightaidsathome.scripps.edu

20 Übersicht Medikament Olson Labor Protease Blocker? HIV Test ? ?

21 Zusammentragen Was zeichnet ein Grid aus?

22 Grid: Definition Zumindest der Versuch einer Definition [Hype-Kurve nach Gartner Goup] heute

23 Der Traum Nur noch ein riesiger virtueller Computer: Das Grid Jeder kann soviel Rechenleistung beziehen wie er gerade braucht, egal wie schnell seine Hardware ist.

24 Umsetzung: Übersicht Benutzer 1 Computer

25 Grid: Definition 1. Ressourcen werden koordiniert, die nicht einer zentralen Kontrolle unterliegen. Verschiedene Organisationen, verschiedene Besitzer, verschiedene Länder Standardisierte, offene, allgemeine Protokolle werden verwendet. Autentifizierung, Autorisation, Ressourcen verwalten. 3. Stellt nicht triviale Dienste zur Verfügung. Ein Grid ist mehr als nur die Summe der Einzelteile.

26 Spiel Jeder von uns repräsentiert einen Computer Wir zwei haben ein beinahe unlösbares Problem vor uns liegen, das wir mit Hilfe von euch lösen möchten Wir erstellen daraus Teilprobleme und verteilen diese euch ( kleine Zettel) Eure (Teil)Antworten gebt ihr uns unmittelbar zurück ( vorne auf den Folien eintragen gehen oder jemandem vorne zurufen ) Was passiert jetzt...

27 Erkenntnisse aus dem Spiel ausbleiben mehrfach und/oder in verschiedener Form beim Ziel eintreffen (was stimmt jetzt?) korrumpiert worden sein ( Hacker) annähernd richtig eintreffen ( Bitfehler) mit grosser Verspätung eintreffen Antworten können...

28 Massnahme 1 Antworten können... ausbleiben Lösung: Verwendung eines Zeitstempels / Timeouts.

29 Massnahme 2 Antworten können... mehrfach und/oder in verschiedener Form beim Ziel eintreffen (was stimmt jetzt?) Lösung: Vergleichen der einzelnen Resultate mit allfälligem Mehrheitsentscheid oder erneutem Berechnen.

30 Massnahme 3 Antworten können... korrumpiert worden sein ( Hacker) Lösung: Erneutes senden der Anfrage. Die Anfrage landet dann aber nicht zwingend wieder beim gleichen Computer. Dave_Anderson.wav

31 Massnahme 4 Antworten können... annähernd richtig eintreffen ( Bitfehler) Lösung: Mittels mathematischen Verfahren können Fehler detektiert und in gewissem Masse auch korrigiert werden.

32 Massnahme 5 Antworten können... mit grosser Verspätung eintreffen Lösung: Erneutes senden der Anfrage. Die Anfrage landet dann aber nicht zwingend wieder beim gleichen Computer.

33 Preis/Leistung von Grid Vergleich von Supercomputer Cluster Grid

34 Top 500 Liste (Stand: ) OrganisationHardware/ProzessorPeak Tflops 1 Earth Simulator Center Japan Earth-Simulator Los Alamos National Laboratory USA ASCI Q - AlphaServer SC45, 1.25 GHz Virginia Tech USA 1100 Dual 2.0 GHz Apple G Super Computer Cluster

35 Top 500 Zukunft (2007)? OrganisationHardware/ProzessorPeak 1 CERN Schweiz u.a. LHC Grid ~70000 ???? 2?Grid?? 3? ?

36 Der Traum Keine Top 500 Liste mehr, nur noch ein riesiger virtueller Computer: Das Grid

37 Kosten Earth Simulator Klima- und Erdbebensimulationen Bau: Betrieb: Bauzeit: 350 Millionen $ ? (10 Millionen) 5 Jahre

38 Kosten BigMac Bau: Betrieb: Bauzeit: Forschung an der Virgina Universität 5.2 Millionen $ ? (0.5 Millionen) 2 Tage

39 Kosten LHC Grid Auswertung von Teilchenbeschleuniger LHC Bau: Betrieb: Bauzeit: 02-05: 10 Mio Euro (EU) 05-07: ?? ? (1 Million) 6 Jahre

40 Novartis and the Grid Zwei Texte Novartis The Datagrid Zu zweit, jeder liest einen der Texte Danach diskutiert miteinander über eure Texte

41 Geeignete Probleme für Grids 1.Hoher Rechenaufwand 2.Geringe Bandbreite 3.Verfügbarkeit nicht garantiert! Viren 4.Geschwindigkeit nicht garantiert! Moorhuhn 5.Zerlegbar in Teilprobleme

42 Beispiele Simulationen dynamischer Systeme (Erdbeben) Auswerten von Messergebnissen (Seti, LHC) Simulation von Medikamenten (protease blocker) Dekodieren von Gensequenzen (Human Genom Projekt) Berechnung von Proteinfaltung Datenbanken optimieren Sortieren von Daten...

43 Grid Frameworks mygrid.sourceforge.net [ mygrid.sourceforge.net ] –Open Source –Grid Client (java/.net/mono) –Grid Middleware (.net/mono) Grid MP Enterprise [ ] –Kommerziell –Windows, Linux, AIX, Solaris –Lizenz für Clients Globus Alliance [ ] –Initiative von verschiedenen Universitäten

44 Globus Beispiel Lässt meinprogramm für maximal 4 Stunden auf 5 Rechner laufen, die mindestens 64 MB Speicher haben. globusrun -r resource_broker_name &(count=5) (max_time=240) (memory>=64) (executable=meinprogramm) (stdin= (stdout=/home/bester/output) (stderr=

45 MyGrid Architektur

46 MyGrid GUI

47 MyGrid XML

48 Was haben wir heute gesehen? Was versteht man unter dem Begriff Grid Beispiele für Grid Probleme eines Grid Vergleich Supercomputer/Cluster/Grid Architektur eines Grids

49 Ende Vielen Dank für eure Aufmerksamkeit &