Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

16. DV-Treffen der MPG 18./19.11.1999 Hermann Lederer 1 Gigabit-Projekte mit MPG-Beteiligung Status 17. Nov. 1999 Hermann Lederer RechenZentrum Garching.

Ähnliche Präsentationen


Präsentation zum Thema: "16. DV-Treffen der MPG 18./19.11.1999 Hermann Lederer 1 Gigabit-Projekte mit MPG-Beteiligung Status 17. Nov. 1999 Hermann Lederer RechenZentrum Garching."—  Präsentation transkript:

1 16. DV-Treffen der MPG 18./ Hermann Lederer 1 Gigabit-Projekte mit MPG-Beteiligung Status 17. Nov Hermann Lederer RechenZentrum Garching Max-Planck-Institut für Plasmaphysik D Garching URL:

2 16. DV-Treffen der MPG 18./ Hermann Lederer 2 Gigabit-Projekte mit MPG-Beteiligung - Projekte-Übersicht - Netzverbindungen und Rechner - Anwendungen Vortragsübersicht

3 16. DV-Treffen der MPG 18./ Hermann Lederer 3 Gigabit-Projekte mit MPG-Beteiligung 4 Projekte aus den Bereichen “Visual Supercomputing / Metacomputing “ 1. Strukturbestimmung mit Elektronentomograpie Projektleitung: MPI für Biochemie 2. Gravitationsforschung: Kollision von schwarzen Löchern Projektleitung: MPI für Garvitationsphysik 3. Polyatomare Systeme: Komplexe Oberflächenreaktionen Projektleitung: Fritz-Haber-Institut 4. Kopplung von Hochleistungsrechnern (Metacomputing) Projektleitung: RZG

4 16. DV-Treffen der MPG 18./ Hermann Lederer 4 Gigabit-Projekte mit MPG-Beteiligung MPI für Astrophysik, GarchingMPI für Biochemie, Martinsried Prof. Dr. W. Hillebrandt, Dr. A. Kercek Prof. Dr. Baumeister, Dr. R. Hegerl MPI für Festkörperforschung, StuttgartMPI für Gravitationsphysik (AEI), Potsdam Prof. Dr. Parrinello, Dr. J. HutterProf. Dr. E. Seidel, Dr. F. Kaspar MPI für Polymerforschung, Mainz Fritz-Haber-Institut der MPG, Berlin Prof. Dr. K. Kremer, Dr. F. Müller-PlatheProf. Dr. M. Scheffler, Prof. Dr. K. Hermann Konrad-Zuse-Zentrum für Leibniz-Rechenzentrum (LRZ), München Informationstechnik (ZIB), Berlin Dr. V. Apostolescu, W. Schubring H. Busch, H.-C. Hege, Dr. T. Steinke Rechenzentrum der Universität Stuttgart (RUS) Rechenzentrum Garching der MPG (RZG) Dr. A. Geiger, M. Resch Dr. H. Lederer, A. Hackl Projekt-Partner

5 16. DV-Treffen der MPG 18./ Hermann Lederer 5 Gigabit-Projekte mit MPG-Beteiligung - Projekte-Übersicht - Netzverbindungen und Rechner - Anwendungen Vortragsübersicht

6 16. DV-Treffen der MPG 18./ Hermann Lederer 6 Gigabit-Projekte mit MPG-Beteiligung

7 16. DV-Treffen der MPG 18./ Hermann Lederer 7 Gigabit-Projekte mit MPG-Beteiligung

8 16. DV-Treffen der MPG 18./ Hermann Lederer 8 Gigabit-Projekte mit MPG-Beteiligung Fujitsu VPP700/52 LRZ München Cray T3E/816 RZG Garching Cray T3E/404 ZIB Berlin ATM OC12 (622 Mb/s) ATM Switch HIPPI 800 (800 Mb/s) MünchenErlangen Berlin GTB (3 x 2,4 Gb/s) Netzwerk-Topologie Metacomputing

9 16. DV-Treffen der MPG 18./ Hermann Lederer 9 Gigabit-Projekte mit MPG-Beteiligung Fujitsu VPP700/52 LRZ München Cray T3E/816 RZG Garching Cray T3E/404 ZIB Berlin ATM OC12 (622 Mb/s) ATM Switch HIPPI 800 (800 Mb/s) MünchenErlangen Berlin GTB (3 x 2,4 Gb/s) Netzwerk-Topologie Visual Supercomputing /Metacomputing Octane MPI Biochemie Octane RZG Garching Octane ZIB Berlin Octane FHI Berlin Octane AEI Potsdam Origin 2000/32 AEI Potsdam

10 16. DV-Treffen der MPG 18./ Hermann Lederer 10 Gigabit-Projekte mit MPG-Beteiligung Aufbau der ATM-Infrastruktur zur Anbindung ans GTB Anbindung Berliner Raum (AEI / FHI / ZIB) Anbindung AEI/Golm zu FHI/Berlin-Dahlem: Dediziertes Faserpaar der Uni Potsdam zwischen den Standorten Babelsberg und Neues Palais Vereinbarung der MPG mit Uni Potsdam: „Aufrüstung“ der Strecke durch WDMs aus Investitionsmitteln der MPG -> Vervierfachung der Leistungskapazität (bei 4 Kanälen) -> Reservierung eines Kanals mit 622 Mb/s für MPG (ein weiterer Nutzer ist der DFN-Verein). -> Die Universität Potsdam stellt der MPG ein Faserpaar zwischen ihren Standorten Neues Palais und Golm zur Verfügung. Im Rahmen der Campus-Erschließung Golm: Installation MPG-eigener Fasern zum UNI-Standort Golm Technisch und administrativ komplexe Streckensituation (MPG-Fasern FHI – FU-Bibliothek, FU-Fasern Bibliothek – ZEDAT, LIT-Fasern ZEDAT – Rathaus Zehlendorf, LIT-Fasern Rathaus Zehlendorf – UNI Potsdam/Babelsberg, WDM-Strecke UNI Potsdam/Babelsberg - UNI Potsdam/Neues Palais, UNI-Potsdam-Fasern Neues Palais – Golm, MPG-Fasern UNI Potsdam/Golm – MPG/Golm)

11 16. DV-Treffen der MPG 18./ Hermann Lederer 11 Gigabit-Projekte mit MPG-Beteiligung Aufbau der ATM-Infrastruktur zur Anbindung ans GTB Anbindung Berliner Raum (AEI / FHI / ZIB) Anbindung AEI/Golm zu FHI/Berlin-Dahlem (Forts.) Zügige Inbetriebnahme der ATM-Verbindung zwischen den Switches am FHI und am AEI Störungsfreie Verbindung seit Mai 1999 (nach Behebung anfänglich auftretender Störungen) Anbindung FHI/Berlin-Dahlem ans ZIB/ Berlin-Dahlem Relativ übersichtliche Strecke (FHI – FU Bibliothek – ZEDAT – ZIB). Nach Installation des ATM-Switches am ZIB konnte der Kontakt zum Switch des FHI problemlos hergestellt werden.

12 16. DV-Treffen der MPG 18./ Hermann Lederer 12 Gigabit-Projekte mit MPG-Beteiligung ATM Infrastruktur im Raum Berlin / Potsdam (ZIB, FHI, AEI)

13 16. DV-Treffen der MPG 18./ Hermann Lederer 13 Gigabit-Projekte mit MPG-Beteiligung ATM Infrastruktur im Raum München (LRZ, RZG, MPIB)

14 16. DV-Treffen der MPG 18./ Hermann Lederer 14 Gigabit-Projekte mit MPG-Beteiligung - Projekte-Übersicht - Netzverbindungen und Rechner - Anwendungen Vortragsübersicht

15 16. DV-Treffen der MPG 18./ Hermann Lederer 15 Gigabit-Projekte mit MPG-Beteiligung Projektziele: Beschleuinigung der Strukturaufklärung Serienbestimmungen Strukturergebnis während Probe noch intakt Projektrealisierung durch Kopplung der Elektronenmikroskopie-Infrastruktur an Supercomputer (Cray T3E am RZG) Strukturbestimmung mit Elektronentomographie MPI für Biochemie, Prof. Baumeister

16 16. DV-Treffen der MPG 18./ Hermann Lederer 16 Gigabit-Projekte mit MPG-Beteiligung Strukturbestimmung mit Elektronentomographie / MPI für Biochemie Tomografische Aufnahme (1) und Schritte der Bildrekonstruktion (2-4)

17 16. DV-Treffen der MPG 18./ Hermann Lederer 17 Gigabit-Projekte mit MPG-Beteiligung Strukturbestimmung mit Elektronentomographie MPI für Biochemie, Abt. Baumeister Projektstatus: - Alignierungscode Code portiert zu Cray T3E und optimiert - Produktionsläufe parallel auf 256 PEs - Socket I/O wurde implementiert für Online-Datentransfer via GTB von Garching nach Martinsried für visuelle Inspektion (sowohl im Auswerteprogramm auf T3E wie auf Workstation) - Visualisierungsprogramme auf Grafik-WS: Im Status von Adaptierung und Optimierung für höheren Datenstrom; noch nötig: besseres Verfahren für Mustererkennung

18 16. DV-Treffen der MPG 18./ Hermann Lederer 18 Gigabit-Projekte mit MPG-Beteiligung Projektziel: Generierung einer kombinierten numerisch/grafischen Computerumgebung, die die effiziente theoretische Untersuchung einfacher chemischer Reaktionen an Metall- und Halbleiteroberflächen erlaubt. Projektrealisierung durch - Simulationsrechnungen auf Cray T3E in Garching - Online-Visualisierung auf Grafik-Workstation am FHI Polyatomare Systeme: Visuell gesteuerte Simulation und Analyse komplexer Oberflächenreaktionen Fritz-Haber-Institut, Prof. K. Hermann, Prof. M. Scheffler

19 16. DV-Treffen der MPG 18./ Hermann Lederer 19 Gigabit-Projekte mit MPG-Beteiligung Projektstatus: Produktionsläufe auf Cray T3E, Pilotstudie auf Visualisierungs-Workstation Visualisierung bereits vorhandener Ergebnisse Reaktion eines As 2 -Moleküls mit der GaAs(001)-Oberfläche. (wichtiger Elementarschritt zum Verständnis der Molekularstrahl-Epitaxie von GaAs-Filmen) Berechnung von Elektronen- bzw. Zustandsdichten für typische Geometrien entlang von Modell-Reaktionspfaden mit dem Elektronenstruktur-Programm FHI98md für die Reaktion As 2 - GaAs(001) ( P. Kratzer und C. Morgan) Zusammenfügen der Ergebnisse für einzelne Geometrien zu einer Animation und Visualisierung mit IRIS-Explorer auf Grafik-Workstation Polyatomare Systeme (FHI)

20 16. DV-Treffen der MPG 18./ Hermann Lederer 20 Gigabit-Projekte mit MPG-Beteiligung Polyatomare Systeme (FHI) Datenfluß der Elektronendichte, Zustandsdichte, Atomkoordinaten zum Renderer. Iris Explorer Map

21 16. DV-Treffen der MPG 18./ Hermann Lederer 21 Gigabit-Projekte mit MPG-Beteiligung Polyatomare Systeme (FHI) Atomgeometrie als Ball-Stick-Modell (- mit und ohne Elektronendichte -), Zustandsdichte als 2D-Grafik. Beispiel- darstellung aus der berechneten Animation, As (FHI)

22 16. DV-Treffen der MPG 18./ Hermann Lederer 22 Gigabit-Projekte mit MPG-Beteiligung Projektziel: Aufbau einer verteilten Visualisierungsumgebung für die Durchführung, Optimierung, Weiterentwicklung, Bewertung und Diskussion von Supercomputer- Simulationen am Beispiel von CACTUS zur Lösung der Einsteingleichungen Projektrealisierung durch GTB-Kopplung von T3E/ZIB, T3E/RZG, O2000/AEI + Octanes bei ZIB/RZG/AEI Softwarenentwicklung - Visualisierungstool (Amira /ZIB) - Verteiltes I/O (HDF5: hierarchical data format /NCSA) - Framework für „Remote Control“ und „Remote Steering“ Gravitationsforschung: Kollision von schwarzen Löchern MPI für Gravitationsphysik (AEI), Prof. Ed Seidel

23 16. DV-Treffen der MPG 18./ Hermann Lederer 23 Gigabit-Projekte mit MPG-Beteiligung Gravitationsforschung: Kollision von schwarzen Löchern / MPI für Gravitationsphysik Projektstatus Abgeschlossene Softwareentwicklungen Erweiterung von AMIRA um Netzwerkinterface für asynchrone Datenübertragung (Empfang von Simulationsdaten) Konzept erstellt für Integration von HDF5-Funktionalität in AMIRA Umstellung von CACTUS I/O von FLEXIO (HDF4) auf HDF5 Definition von Schnittstellen und Verbindungsprotokollen für „Remote steering“; Einbeziehung von HDF5 und GLOBUS; provisorische Implementierung einer HTTP-Schnittstelle

24 16. DV-Treffen der MPG 18./ Hermann Lederer 24 Gigabit-Projekte mit MPG-Beteiligung Gravitationsforschung: Kollision von schwarzen Löchern / MPI für Gravitationsphysik Projekstatus (Forts.) Erste geplante Demo unter Nutzung des GTB: diese Woche auf SC99 in Portland: Verteilter Cactus-Lauf auf T3Es an ZIB und RZG und Visualisierung in Portland Serie von Feasibility-Demos (mit reduzierten Datenraten): SC97 Demo (San Jose, Nov 1997) Online Visualisierung in San Jose von Cactus-Lauf auf 512 PEs am RZG Alliance Conference (NCSA, Mai 1998) Online Visualisierung in San Jose von Cactus-Lauf auf 512 PEs am ZIB/Berlin SC98 Demo (Orlando, Dez. 1998) Online-Visualisierung in Orlando eines verteilten Cactus-Laufs an ZIB und RZG

25 16. DV-Treffen der MPG 18./ Hermann Lederer 25 Gigabit-Projekte mit MPG-Beteiligung Projektziel: Test verschiedener Metacomputing-Szenarien durch verteiltes Supercomputing mit realen Anwendungen aus verschiedenen wissenschaftlichen Disziplinen Projektrealisierung durch Homogenes Metacomputing - Kopplung der Cray T3E-Systeme an ZIB und RZG Heterogenes Metacomputing - Einbeziehung der Fujitsu VPP-Systeme am LRZ Kopplung von Hochleistungsrechnern (Metacomputing) Koordination: H. Lederer, RZG

26 16. DV-Treffen der MPG 18./ Hermann Lederer 26 Gigabit-Projekte mit MPG-Beteiligung Randbedingung: keine ATM-OC12 oder Gigabit-Ethernet-Interfaces auf T3Es verfügbar, nur HIPPI 800 -> natives HIPPI oder HIPPI-ATM-Umsetzung Ergebnis des Technologieprojekts des LRZ: (Juli 1999): natives HIPPI für 600 km (Strecke München - Berlin) nicht möglich einzige Lösung: - HIPPI/ATM OC12 Umsetzung Metacomputing: Netzwerkoptionen

27 16. DV-Treffen der MPG 18./ Hermann Lederer 27 Gigabit-Projekte mit MPG-Beteiligung Anwendung aus der Materialwissenschaft Ab-initio Molekulardynamik, Code CPMD Prof. M. Parrinello, MPI für Festkörperforschung, Stuttgart Anwendung aus der Biochemie Potentialoberflächen von RNA-Fragmenten, Code GAMESS UK Dr. T. Steinke, Konrad-Zuse-Institut, Berlin (ZIB) Anwendung aus der Astrophysik: Hydrodynamik von Verbrennungsvorgängen in Supernovae Prof. Hillebrandt, Max-Planck-Institut für Astrophysik, Garching Anwendung aus der Polymerforschung Simulation von Polymereihgenschaften, Codes POLY/YASP Prof. Kremer, Max-Planck-Institut für Polymerforschung, Mainz Metacomputing: Anwendungen

28 16. DV-Treffen der MPG 18./ Hermann Lederer 28 Gigabit-Projekte mit MPG-Beteiligung PACX Software des HLRS/RUS wird eingesetzt (MPI Extensions, um ein MPI-Programm ohne Änderungen verteilt auf einem (oder mehreren) Rechnern abzuarbeiten) - HLRS vervollständigt die Bibliothek für T3E - HLRS portiert die komplette Bibliothek zum Fujitsu VPP System - Unterstützung für alle einzusetzenden Anwendungen Metacomputing: Software für homogene Rechnerkopplung

29 16. DV-Treffen der MPG 18./ Hermann Lederer 29 Gigabit-Projekte mit MPG-Beteiligung PROMETHEUS 2*128 PE run: 160 MB alle 5 s 512 PE run: 320 MB alle 10 s CPMD 2*128 PE run: 6 GB in 10 s in 1 kB packets (zuviel für GTB) (Kein Überlapp von Rechnung und Kommunikation) Pfad-Integral Methode für CPMD: 100 kB alle 10s für optimales Arrangement von PE Gruppen Metacomputing: Kommunikationsverhalten der Anwendungen Spektrum der Anforderungen an Bandbreite und Latenz

30 16. DV-Treffen der MPG 18./ Hermann Lederer 30 Gigabit-Projekte mit MPG-Beteiligung POLY / YASP 1 MB alle 10 bis 20 ms zwischen VPP und T3E (höchste Anforderungen an Latenzen; Verwendung verschiedener Hauptspeichergrößen pro PE für VPP und T3E) GAMESS 2*128 PEs: Lose Kopplung: 3 GB einmalig (lokale Energie- und Gradientenberechnungen, verteilte Berechnung der Power-Matrix) Enge Kopplung: 60 GB alle 5 min (teilweise verteilte Energie- und Gradientenberechnungen, verteilte Berechnung der Power-Matrix) Metacomputing: Kommunikationsverhalten der Anwendungen Spektrum der Anforderungen an Bandbreite und Latenz

31 16. DV-Treffen der MPG 18./ Hermann Lederer 31 Gigabit-Projekte mit MPG-Beteiligung Projektstatus - Homogenes Metacomputing Erste verteilte Rechnungen mit Anwendungen für homogenes Metacomputing (CPMD, PROMETHEUS, GAMESS UK) übers GTB durchgeführt (für kleine Testfälle unter Einsatz von PACX): 16 PEs vs 2 x 8 PEs - Heterogenes Metacomputing Kopplung von POLY/YASP auf T3E und VPP erst für das Jahr 2000 vorgesehen Metacomputing

32 16. DV-Treffen der MPG 18./ Hermann Lederer 32 Gigabit-Projekte mit MPG-Beteiligung Stufenschema von Simplex- bis zu voller Duplex-Rechnung: Beispiel 16 PEs Cray T3E für CPMD Metacomputing MPI Simplex MPI + PACX 1 Interface/ Simplex MPI + PACX 2 Interfaces/ simul.Duplex MPI + PACX Duplex

33 16. DV-Treffen der MPG 18./ Hermann Lederer 33 Gigabit-Projekte mit MPG-Beteiligung Stufenschema von Simplex- zu Duplex-Rechnungen am Beispiel von CPMD mit 16 PEs Cray T3E Metacomputing MPI Simplex MPI + PACX Simplex 1 Interface MPI + PACX simul.Duplex 2 Interfaces (4 kB TCPIP Buffer) t=1 t=0.88 t=0.77 t=1.04 t=0.89 t=0.76 t=11.4 t=1.16 t=1.05 t=8.1 t=0.90 t=0.87 t=1.09 t=0.99 MPI + PACX simul.Duplex 2 Interfaces (32 kB TCPIP Buffer) MPI + PACX Duplex 2 Cray T3Es (32 kB TCPIP Buffer) RZGZIB


Herunterladen ppt "16. DV-Treffen der MPG 18./19.11.1999 Hermann Lederer 1 Gigabit-Projekte mit MPG-Beteiligung Status 17. Nov. 1999 Hermann Lederer RechenZentrum Garching."

Ähnliche Präsentationen


Google-Anzeigen