Seminar: „Internet und seine Anwendung“ von Ch. Quinte & A. Sieber

Präsentation zum Thema: "Seminar: „Internet und seine Anwendung“ von Ch. Quinte & A. Sieber"—  Präsentation transkript:

1 Seminar: „Internet und seine Anwendung“ von Ch. Quinte & A. Sieber
Grid Computing Seminar: „Internet und seine Anwendung“ von Ch. Quinte & A. Sieber Vortrag: Grid Computing

2 Vortrag: Grid Computing
Inhaltsübersicht (1) Die Grid Idee Definition: Grid Systeme Erhoffte Vorteile und Ziele Architektur Softwarearchitektur Sicht Client / Server Was ist eine geeignete Aufgabe? Vortrag: Grid Computing

3 Vortrag: Grid Computing
Inhaltsübersicht (2) Globus Toolkit Arbeiten in einem Grid Anwendungstypen mögliche Anwendungsbereiche CERN-Data-Grid Zusammenfassung / Ausblick Quellen Vortrag: Grid Computing

4 Vortrag: Grid Computing
Die Grund Idee Motivation: Simulation sind oft einzige Zugangsmöglichkeit zu einer Problemstellung Sie sind Günstiger als reales Experiment Heutiger Stand Projekte überfordern vorhandene Hochleistungsrechner (Alice) IDEE: Verteilung auf mehrere Superrechner/Cluster Nutzen von brachliegenden Ressourcen Vortrag: Grid Computing

5 Vortrag: Grid Computing
Warum Grid Computing? Häufige Probleme aus Benutzersicht: Ein Benutzer rechnet auf mehr als einem Großrechner Er muss sich mehrfach authentifizieren (oft mit verschiedenen Kennungen / Passwörtern) Er muss Daten manuell zwischen den Rechnern transportieren (verliert die Übersicht) Vortrag: Grid Computing

6 Definition: Grid Systeme
Grids (=Gitter) sind eine Infrastruktur, die Zugang zu Computerressourcen im High-end-Bereich ermöglichen nutzen die zusammengeschaltete Kraft aller angeschlossenen Rechner (weltweiter Zugriff auf Ressourcen) Ressourcen: Berechnungskapazitäten (CPU) / Speicherplatz / Daten / Programme / Sensoren / … tauschen Daten und Rechenkapazitäten zwischen einzelnen Computern aus Vortrag: Grid Computing

7 Erhoffte Vorteile & Ziele
Erhöhung der Rechenleistung Grössere Speicherkapazität Nutzung „schlafender“ Ressourcen („Schaufenster PC“, Arbeitsstationen usw.) Ausfall von Komponenten bleibt unbemerkt Permanente Verfügbarkeit Hersteller-, BS- und Architektur-neutral Vortrag: Grid Computing

8 Vortrag: Grid Computing
Architektur Die Architektur hängt davon ab, in welchem Maßstab ein Netz betrachtet wird 4 Systemtypen werden unterschieden: Endsysteme Cluster Intranets Internet Vortrag: Grid Computing

9 Vortrag: Grid Computing
Endsystem Am einfachsten Betriebsystem kontrolliert alle Ressourcen, hat zentrale Kontrolle Bereits weit verbreitet und gut erforscht Ressourcen begrenzt Vortrag: Grid Computing

10 Vortrag: Grid Computing
Cluster Netzwerk von Workstations, verbunden durch ein schnelles LAN Kontrolle durch eine Verwaltungseinheit Vortrag: Grid Computing

11 Vortrag: Grid Computing
Intranets großes Netz mit vielen Ressourcen Ist aber noch einer Organisation unterstellt zentralisierte Kontrolle und hoher Grad an Koordination Vortrag: Grid Computing

12 Vortrag: Grid Computing
Internet Verbindet mehrere Organisationen (auch international) Sehr groß (viele Ressourcen, …) Wirft aber auch Probleme auf: Ressourcen geographisch weit entfernt Keine Zentrale Kontrolle mehr Vortrag: Grid Computing

13 Vortrag: Grid Computing
Softwarearchitektur Ziel: ist eine einheitliche, leicht zu bedienende Oberfläche für alle Benutzer aufzubauen und ein möglichst einfacher und transparenter Zugriff auf die verteilten Ressourcen Vortrag: Grid Computing

14 Vortrag: Grid Computing
Sicht Client Gemeinsame Ressourcennutzung nach Regelsystem Rechnerleistung als Hilfsmittel Man fordert Informationen an und bekommt sie Vortrag: Grid Computing

15 Vortrag: Grid Computing
Sicht Server Ressourcenallokation so, dass keine Ressourcen ungenutzt bleiben und jeder das bekommt, was er anfordert Information Sharing (Informationen verteilen, wenn sie benötigt werden) Hohe Verfügbarkeit (Daten- und Rechenleistung ständig vorhanden) Vortrag: Grid Computing

16 Vortrag: Grid Computing
Server & Client Vortrag: Grid Computing

17 Was ist eine geeignete Aufgabe?
Muß-Bedingungen: Rechenintensive Aufgabe, die einzelne Rechner überfordert. Aufgabe muß gut unterteilbar (parallelisierbar) sein. Möglichkeit des 'Checkpointing' (Speicherung von Zwischenergebnissen und Wiederaufnahme) Der genaue Durchsatz ist schwer vorhersagbar, daher muß entweder genug Kapazität vorhanden sein oder die Aufgabe sollte nicht zeitkritisch sein. Kann-Bedingungen: Möglichst wenig bzw. kleinere Datenzugriffe notwendig. Möglichst in sich geschlossene Aufgabe Vortrag: Grid Computing

18 Vortrag: Grid Computing
Globus Toolkit (1) Basistechnologie für Grids verschiedener Topologie Einsatzmöglichkeiten von kleinen lokalen Clustern bis zum weltweit verteilten Grid geht auf Projekt I-Way zurück Supercomputing '95 in San Diego Vernetzung von 17 Supercomputer-Zentren in den USA 1996 neue Geldmittel (u.A. IBM und Microsoft) Globus Toolkit Public License Erlaubt Verbreitung und Änderung wie GPL, kann also als „Open Source“ bezeichnet werden Verfügbar für Linux, Solaris 8, AIX 5.1 Vortrag: Grid Computing

19 Vortrag: Grid Computing
Globus Toolkit (2) Ressourcen-Management Globus Resource Allocation Manager stellt Dienste bereit um Rechenaufträge zu verschicken und zu überwachen Informationsdienste Monitoring and Discovery Service (MDS) Grid Index Information Service (GIIS) Grid-weiter Informationsdienst hierarchischen Mechanismus ähnlich DNS Grid Resource Information Service (GRIS) verwaltet lokale Ressourceninformationen Aktualisierung periodisch oder auf Anfrage Daten-Management Gridftp Vortrag: Grid Computing

20 Vortrag: Grid Computing
Arbeiten in einem Grid einfach und transparent Anmelden (Authentifizierung) Simulation spezifizieren (Codes, Inputfiles,…) Verfügbare Ressourcen ermitteln Ressourcen auswählen und evtl. reservieren Berechnung starten evtl. Berechnung beeinflussen Ergebnisdaten hohlen Abrechnung (Accounting) Vortrag: Grid Computing

21 Vortrag: Grid Computing
Anwendungstypen (1) Verteiltes Supercomputing Zusammenfassung der Rechenleistung mehrerer Rechner Ausnutzen nicht verwendeter Ressourcen Data Grids Umgang mit wachsendem Datenaufkommen der Forschung und Industrie Temporärer vs. permanenter Speicherplatz Sicherheit vor Datenverlust Ausreichende Speicherkapazitäten für Backups Data Striping Daten liegen auf mehreren Servern Erhöhung des Datendurchsatzes durch Zugriff auf mehrere Quellen gleichzeitig Vortrag: Grid Computing

22 Vortrag: Grid Computing
Anwendungstypen (2) Kollaborative Computerarbeit virtuelle Organisationen temporäre Organisationsübergreifende Gruppen zur Lösung spezifischer Probleme Reservation, Scheduling und Scavenging Organisation anstehender Jobs Ausgleich von Resourcen Lastverteilung auf vorhandene Resourcen Betriebssicherheit und Zuverlässigkeit bei herkömmlichen High-End-Systemen teuer und aufwendig Vortrag: Grid Computing

23 mögliche Anwendungsbereiche
Mathematische Berechnungen Risikobewertung im Bankwesen Chip-Design in der Industrie Crashsimulationen Ölfeldsuche Wettervorhersage SPAM Vermeidung Vortrag: Grid Computing

24 Vortrag: Grid Computing
(1) Search for Extraterrestrial Intelligence Projekt der Berkeley Universität USA zur Suche nach ungewöhnlichen Radiosignalen Verteiltes Supercomputing 5 Millionen Teilnehmer Total Last 24 Hours Users 1133 Results received Total CPU time years years Fl.Point Operations e+21 e+18 (62.31 TeraFLOPs) ~ CPU time p. work unit 12 hr 12 min 46.6 sec 7 hr 18 min 09.6 sec Vortrag: Grid Computing

25 SETI@home (2) Funktionsprinzip
Vortrag: Grid Computing

26 Vortrag: Grid Computing
(3) Client Clients als Konsolenanwendung auch für exotische BS oder Bildschirmschoner für Windows Konsolenanwendung effizienter da als niedrig priorisierter Thread Vortrag: Grid Computing

27 CERN-Data-Grid (LHC) (1)
Large Hadron Collider weltweit leistungsfähigste Teilchenbeschleuniger Fertigstellung 2005 ca Physiker, 300 Institute in 50 Ländern Mehrere Petabytes Daten (1 PB = 1024 TBytes) jährlich über eine Lebenszeit von 15 bis 20 Jahren Vortrag: Grid Computing

28 CERN-Data-Grid (LHC) (2)
Tier n-Konzept: Tier-0 (CERN) Rohdatenspeicherung, Rekonstruktion und Sammlung von Event-Daten Tier-1(in DE, FR, IT, UK, US) Analyse und Speicherung Tier-2 regionale Zentren u.a. in Kanada, China, Japan, Russland Tier-3 Institutsrechner Tier-4 einzelne Arbeitsplatzrechner Vortrag: Grid Computing

29 Zusammenfassung / Ausblick
transparentes Zusammenschließen von Ressourcen Vorbild WWW vielfältige Anwendungen Fabrizio Gagliardi, Enabling Grids for E-science in Europe (EGEE)Project Director: "EGEE will make grid technology available on a regular and reliable basis to all or European science, as well as Research and Development. Like the World Wide Web which was initially developed for specialised scientific purposes, the impacet of the emerging Grid technology on European society is difficult to predict at this stage but is likely to be huge." Vortrag: Grid Computing

30 Vortrag: Grid Computing
Quellen ZetaGrid, Vernetzte Welten, Harald Kornmayer, Linux-Magazin 06/2004 DATA GRID, Vortrag: Grid Computing