Gigabit-Projekte mit MPG-Beteiligung Status 17. Nov. 1999 Hermann Lederer RechenZentrum Garching Max-Planck-Institut für Plasmaphysik D-85740 Garching E-mail: Lederer@rzg.mpg.de URL: http://www.rzg.mpg

Vortragsübersicht - Projekte-Übersicht - Netzverbindungen und Rechner - Anwendungen

4 Projekte aus den Bereichen “Visual Supercomputing / Metacomputing “ 1. Strukturbestimmung mit Elektronentomograpie Projektleitung: MPI für Biochemie 2. Gravitationsforschung: Kollision von schwarzen Löchern Projektleitung: MPI für Garvitationsphysik 3. Polyatomare Systeme: Komplexe Oberflächenreaktionen Projektleitung: Fritz-Haber-Institut 4. Kopplung von Hochleistungsrechnern (Metacomputing) Projektleitung: RZG

Projekt-Partner MPI für Astrophysik, Garching MPI für Biochemie, Martinsried Prof. Dr. W. Hillebrandt, Dr. A. Kercek Prof. Dr. Baumeister, Dr. R. Hegerl MPI für Festkörperforschung, Stuttgart MPI für Gravitationsphysik (AEI), Potsdam Prof. Dr. Parrinello, Dr. J. Hutter Prof. Dr. E. Seidel, Dr. F. Kaspar MPI für Polymerforschung, Mainz Fritz-Haber-Institut der MPG, Berlin Prof. Dr. K. Kremer, Dr. F. Müller-Plathe Prof. Dr. M. Scheffler, Prof. Dr. K. Hermann Konrad-Zuse-Zentrum für Leibniz-Rechenzentrum (LRZ), München Informationstechnik (ZIB), Berlin Dr. V. Apostolescu, W. Schubring H. Busch, H.-C. Hege, Dr. T. Steinke Rechenzentrum der Universität Stuttgart (RUS) Rechenzentrum Garching der MPG (RZG) Dr. A. Geiger, M. Resch Dr. H. Lederer, A. Hackl

Vortragsübersicht - Projekte-Übersicht - Netzverbindungen und Rechner - Anwendungen

Netzwerk-Topologie Metacomputing Fujitsu VPP700/52 LRZ München HIPPI 800 (800 Mb/s) ATM OC12 (622 Mb/s) ATM Switch GTB (3 x 2,4 Gb/s) Berlin München Erlangen Cray T3E/816 RZG Garching Cray T3E/404 ZIB Berlin

Netzwerk-Topologie Visual Supercomputing /Metacomputing Cray T3E/404 ZIB Berlin Fujitsu VPP700/52 LRZ München HIPPI 800 (800 Mb/s) ATM OC12 (622 Mb/s) ATM Switch GTB (3 x 2,4 Gb/s) Octane MPI Biochemie Octane ZIB Berlin Berlin München Erlangen Octane FHI Berlin Cray T3E/816 RZG Garching Octane RZG Garching Octane AEI Potsdam Origin 2000/32 AEI Potsdam

Anbindung AEI/Golm zu FHI/Berlin-Dahlem: Aufbau der ATM-Infrastruktur zur Anbindung ans GTB Anbindung Berliner Raum (AEI / FHI / ZIB) Anbindung AEI/Golm zu FHI/Berlin-Dahlem: Dediziertes Faserpaar der Uni Potsdam zwischen den Standorten Babelsberg und Neues Palais Vereinbarung der MPG mit Uni Potsdam: „Aufrüstung“ der Strecke durch WDMs aus Investitionsmitteln der MPG -> Vervierfachung der Leistungskapazität (bei 4 Kanälen) -> Reservierung eines Kanals mit 622 Mb/s für MPG (ein weiterer Nutzer ist der DFN-Verein). -> Die Universität Potsdam stellt der MPG ein Faserpaar zwischen ihren Standorten Neues Palais und Golm zur Verfügung. Im Rahmen der Campus-Erschließung Golm: Installation MPG-eigener Fasern zum UNI-Standort Golm Technisch und administrativ komplexe Streckensituation (MPG-Fasern FHI – FU-Bibliothek, FU-Fasern Bibliothek – ZEDAT, LIT-Fasern ZEDAT – Rathaus Zehlendorf, LIT-Fasern Rathaus Zehlendorf – UNI Potsdam/Babelsberg, WDM-Strecke UNI Potsdam/Babelsberg - UNI Potsdam/Neues Palais, UNI-Potsdam-Fasern Neues Palais – Golm, MPG-Fasern UNI Potsdam/Golm – MPG/Golm)

Anbindung AEI/Golm zu FHI/Berlin-Dahlem (Forts.) Aufbau der ATM-Infrastruktur zur Anbindung ans GTB Anbindung Berliner Raum (AEI / FHI / ZIB) Anbindung AEI/Golm zu FHI/Berlin-Dahlem (Forts.) Zügige Inbetriebnahme der ATM-Verbindung zwischen den Switches am FHI und am AEI Störungsfreie Verbindung seit Mai 1999 (nach Behebung anfänglich auftretender Störungen) Anbindung FHI/Berlin-Dahlem ans ZIB/ Berlin-Dahlem Relativ übersichtliche Strecke (FHI – FU Bibliothek – ZEDAT – ZIB). Nach Installation des ATM-Switches am ZIB konnte der Kontakt zum Switch des FHI problemlos hergestellt werden.

ATM Infrastruktur im Raum Berlin / Potsdam (ZIB, FHI, AEI)

ATM Infrastruktur im Raum München (LRZ, RZG, MPIB)

Vortragsübersicht - Projekte-Übersicht - Netzverbindungen und Rechner - Anwendungen

Strukturbestimmung mit Elektronentomographie MPI für Biochemie, Prof. Baumeister Projektziele: Beschleuinigung der Strukturaufklärung Serienbestimmungen Strukturergebnis während Probe noch intakt Projektrealisierung durch Kopplung der Elektronenmikroskopie-Infrastruktur an Supercomputer (Cray T3E am RZG)

Strukturbestimmung mit Elektronentomographie / MPI für Biochemie 1 2 4 3 Tomografische Aufnahme (1) und Schritte der Bildrekonstruktion (2-4)

Projektstatus: Strukturbestimmung mit Elektronentomographie MPI für Biochemie, Abt. Baumeister Projektstatus: - Alignierungscode Code portiert zu Cray T3E und optimiert - Produktionsläufe parallel auf 256 PEs - Socket I/O wurde implementiert für Online-Datentransfer via GTB von Garching nach Martinsried für visuelle Inspektion (sowohl im Auswerteprogramm auf T3E wie auf Workstation) - Visualisierungsprogramme auf Grafik-WS: Im Status von Adaptierung und Optimierung für höheren Datenstrom; noch nötig: besseres Verfahren für Mustererkennung

Polyatomare Systeme: Visuell gesteuerte Simulation und Analyse komplexer Oberflächenreaktionen Fritz-Haber-Institut, Prof. K. Hermann, Prof. M. Scheffler Projektziel: Generierung einer kombinierten numerisch/grafischen Computerumgebung, die die effiziente theoretische Untersuchung einfacher chemischer Reaktionen an Metall- und Halbleiteroberflächen erlaubt. Projektrealisierung durch - Simulationsrechnungen auf Cray T3E in Garching - Online-Visualisierung auf Grafik-Workstation am FHI

Polyatomare Systeme (FHI) Projektstatus: Produktionsläufe auf Cray T3E, Pilotstudie auf Visualisierungs-Workstation Visualisierung bereits vorhandener Ergebnisse Reaktion eines As2-Moleküls mit der GaAs(001)-Oberfläche. (wichtiger Elementarschritt zum Verständnis der Molekularstrahl-Epitaxie von GaAs-Filmen) Berechnung von Elektronen- bzw. Zustandsdichten für typische Geometrien entlang von Modell-Reaktionspfaden mit dem Elektronenstruktur-Programm FHI98md für die Reaktion As2 - GaAs(001) ( P. Kratzer und C. Morgan) Zusammenfügen der Ergebnisse für einzelne Geometrien zu einer Animation und Visualisierung mit IRIS-Explorer auf Grafik-Workstation

Polyatomare Systeme (FHI) Iris Explorer Map Datenfluß der Elektronendichte, Zustandsdichte, Atomkoordinaten zum Renderer.

Polyatomare Systeme (FHI) Beispiel- darstellung aus der berechneten Animation, As2@GaAs (FHI) Atomgeometrie als Ball-Stick-Modell (- mit und ohne Elektronendichte -), Zustandsdichte als 2D-Grafik.

Gravitationsforschung: Kollision von schwarzen Löchern MPI für Gravitationsphysik (AEI), Prof. Ed Seidel Projektziel: Aufbau einer verteilten Visualisierungsumgebung für die Durchführung, Optimierung, Weiterentwicklung, Bewertung und Diskussion von Supercomputer-Simulationen am Beispiel von CACTUS zur Lösung der Einsteingleichungen Projektrealisierung durch GTB-Kopplung von T3E/ZIB, T3E/RZG, O2000/AEI + Octanes bei ZIB/RZG/AEI Softwarenentwicklung - Visualisierungstool (Amira /ZIB) - Verteiltes I/O (HDF5: hierarchical data format /NCSA) - Framework für „Remote Control“ und „Remote Steering“

Abgeschlossene Softwareentwicklungen Gravitationsforschung: Kollision von schwarzen Löchern / MPI für Gravitationsphysik Projektstatus Abgeschlossene Softwareentwicklungen Erweiterung von AMIRA um Netzwerkinterface für asynchrone Datenübertragung (Empfang von Simulationsdaten) Konzept erstellt für Integration von HDF5-Funktionalität in AMIRA Umstellung von CACTUS I/O von FLEXIO (HDF4) auf HDF5 Definition von Schnittstellen und Verbindungsprotokollen für „Remote steering“; Einbeziehung von HDF5 und GLOBUS; provisorische Implementierung einer HTTP-Schnittstelle

Erste geplante Demo unter Nutzung des GTB: Gravitationsforschung: Kollision von schwarzen Löchern / MPI für Gravitationsphysik Projekstatus (Forts.) Erste geplante Demo unter Nutzung des GTB: diese Woche auf SC99 in Portland: Verteilter Cactus-Lauf auf T3Es an ZIB und RZG und Visualisierung in Portland Serie von Feasibility-Demos (mit reduzierten Datenraten): SC97 Demo (San Jose, Nov 1997) Online Visualisierung in San Jose von Cactus-Lauf auf 512 PEs am RZG Alliance Conference (NCSA, Mai 1998) Online Visualisierung in San Jose von Cactus-Lauf auf 512 PEs am ZIB/Berlin SC98 Demo (Orlando, Dez. 1998) Online-Visualisierung in Orlando eines verteilten Cactus-Laufs an ZIB und RZG

Kopplung von Hochleistungsrechnern (Metacomputing) Koordination: H. Lederer, RZG Projektziel: Test verschiedener Metacomputing-Szenarien durch verteiltes Supercomputing mit realen Anwendungen aus verschiedenen wissenschaftlichen Disziplinen Projektrealisierung durch Homogenes Metacomputing - Kopplung der Cray T3E-Systeme an ZIB und RZG Heterogenes Metacomputing - Einbeziehung der Fujitsu VPP-Systeme am LRZ

-> natives HIPPI oder HIPPI-ATM-Umsetzung Metacomputing: Netzwerkoptionen Randbedingung: keine ATM-OC12 oder Gigabit-Ethernet-Interfaces auf T3Es verfügbar, nur HIPPI 800 -> natives HIPPI oder HIPPI-ATM-Umsetzung Ergebnis des Technologieprojekts des LRZ: (Juli 1999): natives HIPPI für 600 km (Strecke München - Berlin) nicht möglich einzige Lösung: - HIPPI/ATM OC12 Umsetzung

Metacomputing: Anwendungen Anwendung aus der Materialwissenschaft Ab-initio Molekulardynamik, Code CPMD Prof. M. Parrinello, MPI für Festkörperforschung, Stuttgart Anwendung aus der Biochemie Potentialoberflächen von RNA-Fragmenten, Code GAMESS UK Dr. T. Steinke, Konrad-Zuse-Institut, Berlin (ZIB) Anwendung aus der Astrophysik: Hydrodynamik von Verbrennungsvorgängen in Supernovae Prof. Hillebrandt, Max-Planck-Institut für Astrophysik, Garching Anwendung aus der Polymerforschung Simulation von Polymereihgenschaften, Codes POLY/YASP Prof. Kremer, Max-Planck-Institut für Polymerforschung, Mainz

PACX Software des HLRS/RUS wird eingesetzt Metacomputing: Software für homogene Rechnerkopplung PACX Software des HLRS/RUS wird eingesetzt (MPI Extensions, um ein MPI-Programm ohne Änderungen verteilt auf einem (oder mehreren) Rechnern abzuarbeiten) - HLRS vervollständigt die Bibliothek für T3E - HLRS portiert die komplette Bibliothek zum Fujitsu VPP System - Unterstützung für alle einzusetzenden Anwendungen

Metacomputing: Kommunikationsverhalten der Anwendungen Spektrum der Anforderungen an Bandbreite und Latenz PROMETHEUS 2*128 PE run: 160 MB alle 5 s 512 PE run: 320 MB alle 10 s CPMD 2*128 PE run: 6 GB in 10 s in 1 kB packets (zuviel für GTB) (Kein Überlapp von Rechnung und Kommunikation) Pfad-Integral Methode für CPMD: 100 kB alle 10s für optimales Arrangement von PE Gruppen

Metacomputing: Kommunikationsverhalten der Anwendungen Spektrum der Anforderungen an Bandbreite und Latenz POLY / YASP 1 MB alle 10 bis 20 ms zwischen VPP und T3E (höchste Anforderungen an Latenzen; Verwendung verschiedener Hauptspeichergrößen pro PE für VPP und T3E) GAMESS 2*128 PEs: Lose Kopplung: 3 GB einmalig (lokale Energie- und Gradientenberechnungen, verteilte Berechnung der Power-Matrix) Enge Kopplung: 60 GB alle 5 min (teilweise verteilte Energie- und Gradientenberechnungen,

Metacomputing Projektstatus - Homogenes Metacomputing Erste verteilte Rechnungen mit Anwendungen für homogenes Metacomputing (CPMD, PROMETHEUS, GAMESS UK) übers GTB durchgeführt (für kleine Testfälle unter Einsatz von PACX): 16 PEs vs 2 x 8 PEs - Heterogenes Metacomputing Kopplung von POLY/YASP auf T3E und VPP erst für das Jahr 2000 vorgesehen

Stufenschema von Simplex- bis zu voller Duplex-Rechnung: Metacomputing Stufenschema von Simplex- bis zu voller Duplex-Rechnung: Beispiel 16 PEs Cray T3E für CPMD MPI Simplex MPI + PACX 1 Interface/ Simplex MPI + PACX 2 Interfaces/ simul.Duplex MPI + PACX Duplex

MPI Simplex MPI + PACX Simplex 1 Interface MPI + PACX simul.Duplex Metacomputing Stufenschema von Simplex- zu Duplex-Rechnungen am Beispiel von CPMD mit 16 PEs Cray T3E MPI Simplex MPI + PACX Simplex 1 Interface MPI + PACX simul.Duplex 2 Interfaces (4 kB TCPIP Buffer) MPI + PACX simul.Duplex 2 Interfaces (32 kB TCPIP Buffer) MPI + PACX Duplex 2 Cray T3Es (32 kB TCPIP Buffer) t=1 t=1.04 t=11.4 t=8.1 t=0.88 t=0.89 t=1.16 t=0.90 t=1.09 t=0.77 t=0.76 t=1.05 t=0.87 t=0.99 RZG ZIB