Seminar: „Internet und seine Anwendung“ von Ch. Quinte & A. Sieber Grid Computing Seminar: „Internet und seine Anwendung“ von Ch. Quinte & A. Sieber Vortrag: Grid Computing

Vortrag: Grid Computing Inhaltsübersicht (1) Die Grid Idee Definition: Grid Systeme Erhoffte Vorteile und Ziele Architektur Softwarearchitektur Sicht Client / Server Was ist eine geeignete Aufgabe? Vortrag: Grid Computing

Vortrag: Grid Computing Inhaltsübersicht (2) Globus Toolkit Arbeiten in einem Grid Anwendungstypen mögliche Anwendungsbereiche SETI@home CERN-Data-Grid Zusammenfassung / Ausblick Quellen Vortrag: Grid Computing

Vortrag: Grid Computing Die Grund Idee Motivation: Simulation sind oft einzige Zugangsmöglichkeit zu einer Problemstellung Sie sind Günstiger als reales Experiment Heutiger Stand Projekte überfordern vorhandene Hochleistungsrechner (Alice) IDEE: Verteilung auf mehrere Superrechner/Cluster Nutzen von brachliegenden Ressourcen Vortrag: Grid Computing

Vortrag: Grid Computing Warum Grid Computing? Häufige Probleme aus Benutzersicht: Ein Benutzer rechnet auf mehr als einem Großrechner Er muss sich mehrfach authentifizieren (oft mit verschiedenen Kennungen / Passwörtern) Er muss Daten manuell zwischen den Rechnern transportieren (verliert die Übersicht) Vortrag: Grid Computing

Definition: Grid Systeme Grids (=Gitter) sind eine Infrastruktur, die Zugang zu Computerressourcen im High-end-Bereich ermöglichen nutzen die zusammengeschaltete Kraft aller angeschlossenen Rechner (weltweiter Zugriff auf Ressourcen) Ressourcen: Berechnungskapazitäten (CPU) / Speicherplatz / Daten / Programme / Sensoren / … tauschen Daten und Rechenkapazitäten zwischen einzelnen Computern aus Vortrag: Grid Computing

Erhoffte Vorteile & Ziele Erhöhung der Rechenleistung Grössere Speicherkapazität Nutzung „schlafender“ Ressourcen („Schaufenster PC“, Arbeitsstationen usw.) Ausfall von Komponenten bleibt unbemerkt Permanente Verfügbarkeit Hersteller-, BS- und Architektur-neutral Vortrag: Grid Computing

Vortrag: Grid Computing Architektur Die Architektur hängt davon ab, in welchem Maßstab ein Netz betrachtet wird 4 Systemtypen werden unterschieden: Endsysteme Cluster Intranets Internet Vortrag: Grid Computing

Vortrag: Grid Computing Endsystem Am einfachsten Betriebsystem kontrolliert alle Ressourcen, hat zentrale Kontrolle Bereits weit verbreitet und gut erforscht Ressourcen begrenzt Vortrag: Grid Computing

Vortrag: Grid Computing Cluster Netzwerk von Workstations, verbunden durch ein schnelles LAN Kontrolle durch eine Verwaltungseinheit Vortrag: Grid Computing

Vortrag: Grid Computing Intranets großes Netz mit vielen Ressourcen Ist aber noch einer Organisation unterstellt zentralisierte Kontrolle und hoher Grad an Koordination Vortrag: Grid Computing

Vortrag: Grid Computing Internet Verbindet mehrere Organisationen (auch international) Sehr groß (viele Ressourcen, …) Wirft aber auch Probleme auf: Ressourcen geographisch weit entfernt Keine Zentrale Kontrolle mehr Vortrag: Grid Computing

Vortrag: Grid Computing Softwarearchitektur Ziel: ist eine einheitliche, leicht zu bedienende Oberfläche für alle Benutzer aufzubauen und ein möglichst einfacher und transparenter Zugriff auf die verteilten Ressourcen Vortrag: Grid Computing

Vortrag: Grid Computing Sicht Client Gemeinsame Ressourcennutzung nach Regelsystem Rechnerleistung als Hilfsmittel Man fordert Informationen an und bekommt sie Vortrag: Grid Computing

Vortrag: Grid Computing Sicht Server Ressourcenallokation so, dass keine Ressourcen ungenutzt bleiben und jeder das bekommt, was er anfordert Information Sharing (Informationen verteilen, wenn sie benötigt werden) Hohe Verfügbarkeit (Daten- und Rechenleistung ständig vorhanden) Vortrag: Grid Computing

Vortrag: Grid Computing Server & Client Vortrag: Grid Computing

Was ist eine geeignete Aufgabe? Muß-Bedingungen: Rechenintensive Aufgabe, die einzelne Rechner überfordert. Aufgabe muß gut unterteilbar (parallelisierbar) sein. Möglichkeit des 'Checkpointing' (Speicherung von Zwischenergebnissen und Wiederaufnahme) Der genaue Durchsatz ist schwer vorhersagbar, daher muß entweder genug Kapazität vorhanden sein oder die Aufgabe sollte nicht zeitkritisch sein. Kann-Bedingungen: Möglichst wenig bzw. kleinere Datenzugriffe notwendig. Möglichst in sich geschlossene Aufgabe Vortrag: Grid Computing

Vortrag: Grid Computing Globus Toolkit (1) Basistechnologie für Grids verschiedener Topologie Einsatzmöglichkeiten von kleinen lokalen Clustern bis zum weltweit verteilten Grid geht auf Projekt I-Way zurück Supercomputing '95 in San Diego Vernetzung von 17 Supercomputer-Zentren in den USA 1996 neue Geldmittel (u.A. IBM und Microsoft) Globus Toolkit Public License Erlaubt Verbreitung und Änderung wie GPL, kann also als „Open Source“ bezeichnet werden Verfügbar für Linux, Solaris 8, AIX 5.1 Vortrag: Grid Computing

Vortrag: Grid Computing Globus Toolkit (2) Ressourcen-Management Globus Resource Allocation Manager stellt Dienste bereit um Rechenaufträge zu verschicken und zu überwachen Informationsdienste Monitoring and Discovery Service (MDS) Grid Index Information Service (GIIS) Grid-weiter Informationsdienst hierarchischen Mechanismus ähnlich DNS Grid Resource Information Service (GRIS) verwaltet lokale Ressourceninformationen Aktualisierung periodisch oder auf Anfrage Daten-Management Gridftp Vortrag: Grid Computing

Vortrag: Grid Computing Arbeiten in einem Grid einfach und transparent Anmelden (Authentifizierung) Simulation spezifizieren (Codes, Inputfiles,…) Verfügbare Ressourcen ermitteln Ressourcen auswählen und evtl. reservieren Berechnung starten evtl. Berechnung beeinflussen Ergebnisdaten hohlen Abrechnung (Accounting) Vortrag: Grid Computing

Vortrag: Grid Computing Anwendungstypen (1) Verteiltes Supercomputing Zusammenfassung der Rechenleistung mehrerer Rechner Ausnutzen nicht verwendeter Ressourcen Data Grids Umgang mit wachsendem Datenaufkommen der Forschung und Industrie Temporärer vs. permanenter Speicherplatz Sicherheit vor Datenverlust Ausreichende Speicherkapazitäten für Backups Data Striping Daten liegen auf mehreren Servern Erhöhung des Datendurchsatzes durch Zugriff auf mehrere Quellen gleichzeitig Vortrag: Grid Computing

Vortrag: Grid Computing Anwendungstypen (2) Kollaborative Computerarbeit virtuelle Organisationen temporäre Organisationsübergreifende Gruppen zur Lösung spezifischer Probleme Reservation, Scheduling und Scavenging Organisation anstehender Jobs Ausgleich von Resourcen Lastverteilung auf vorhandene Resourcen Betriebssicherheit und Zuverlässigkeit bei herkömmlichen High-End-Systemen teuer und aufwendig Vortrag: Grid Computing

mögliche Anwendungsbereiche Mathematische Berechnungen Risikobewertung im Bankwesen Chip-Design in der Industrie Crashsimulationen Ölfeldsuche Wettervorhersage SPAM Vermeidung Vortrag: Grid Computing

Vortrag: Grid Computing SETI@home (1) Search for Extraterrestrial Intelligence Projekt der Berkeley Universität USA zur Suche nach ungewöhnlichen Radiosignalen Verteiltes Supercomputing 5 Millionen Teilnehmer Total Last 24 Hours Users 4992815 1133 Results received 1380273422 1380368 Total CPU time 1924340.387 years 1150.730 years Fl.Point Operations 4.967251e+21 5.383435e+18 (62.31 TeraFLOPs) ~ CPU time p. work unit 12 hr 12 min 46.6 sec 7 hr 18 min 09.6 sec Vortrag: Grid Computing

SETI@home (2) Funktionsprinzip Vortrag: Grid Computing

Vortrag: Grid Computing SETI@home (3) Client Clients als Konsolenanwendung auch für exotische BS oder Bildschirmschoner für Windows Konsolenanwendung effizienter da als niedrig priorisierter Thread Vortrag: Grid Computing

CERN-Data-Grid (LHC) (1) Large Hadron Collider weltweit leistungsfähigste Teilchenbeschleuniger Fertigstellung 2005 ca. 5000 Physiker, 300 Institute in 50 Ländern Mehrere Petabytes Daten (1 PB = 1024 TBytes) jährlich über eine Lebenszeit von 15 bis 20 Jahren Vortrag: Grid Computing

CERN-Data-Grid (LHC) (2) Tier n-Konzept: Tier-0 (CERN) Rohdatenspeicherung, Rekonstruktion und Sammlung von Event-Daten Tier-1(in DE, FR, IT, UK, US) Analyse und Speicherung Tier-2 regionale Zentren u.a. in Kanada, China, Japan, Russland Tier-3 Institutsrechner Tier-4 einzelne Arbeitsplatzrechner Vortrag: Grid Computing

Zusammenfassung / Ausblick transparentes Zusammenschließen von Ressourcen Vorbild WWW vielfältige Anwendungen Fabrizio Gagliardi, Enabling Grids for E-science in Europe (EGEE)Project Director: "EGEE will make grid technology available on a regular and reliable basis to all or European science, as well as Research and Development. Like the World Wide Web which was initially developed for specialised scientific purposes, the impacet of the emerging Grid technology on European society is difficult to predict at this stage but is likely to be huge." Vortrag: Grid Computing

Vortrag: Grid Computing Quellen http://www.gridcomputing.com/ ZetaGrid, http://www.zetagrid.net/ Vernetzte Welten, Harald Kornmayer, Linux-Magazin 06/2004 SETI@home, http://setiathome.ssl.berkeley.edu DATA GRID, http://eu-datagrid.web.cern.ch/eu-datagrid/ Vortrag: Grid Computing