Arbeitskreis Wissenschaftliches Rechnen Universität Duisburg-Essen

Präsentation zum Thema: "Arbeitskreis Wissenschaftliches Rechnen Universität Duisburg-Essen"—  Präsentation transkript:

1 Arbeitskreis Wissenschaftliches Rechnen Universität Duisburg-Essen
Der Dortmunder Linuxcluster LiDO AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

2 2. Die Systemarchitektur 3. Systemwerkzeuge Das Batchsystem
0. Übersicht 1. LiDO stellt sich vor 2. Die Systemarchitektur 3. Systemwerkzeuge Das Batchsystem Das Anmeldeverfahren Auslastung des Linux-Clusters Weitere Informationen / Fragen? AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

3 HPC Linux Cluster an der Universität Dortmund
1. LiDO stellt sich vor (1) HPC Linux Cluster an der Universität Dortmund Regelbetrieb seit 05/2006 Lieferant ClusterVision BV (Niederlande) Rechenknoten Knotentyp 1 (starke Knoten) 8 Stück, 4x Opteron 2,6 GHz, 16 GB Memory, 1x 160 GB lokale FP Knotentyp 2 (Standardknoten) 144 Stück, 2x Opteron 2,4 GHz, 4 GB Memory, 1x 80 GB lokale FP Knotentyp 3 (stark vernetzte Knoten) 72 Stück, 2x Opteron 2,4 GHz, 8 GB Memory, 1x 80 GB lokale FP 464 Einzelprozessoren in 224 Rechenknoten AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

4 1. LiDO stellt sich vor (2) Netzwerk
Interconnect 1 = Gbit Ethernet (alle 224 Knoten) Interconnect 2 = Infiniband (72 stark vernetzte Knoten) Servicenetz = Gbit Ethernet (alle 224 Knoten) 11,2 TB (netto) SAN Speicher mit NFS und GPFS Betriebssystem Rechen- und Serviceknoten: SuSE 10 (64bit) Systemsoftware: ClusterVision OS Software Compiler für Fortran, C und C++: Portland, Intel, Pathscale, gcc Debugger Etnus Total View, Allinea „ddt“ und Optimizer „opt“ Wiss. Anwendungssoftware: Matlab ANSYS CFX Abaqus Gaussian AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

5 1. LiDO stellt sich vor (3): Die Anlieferung
AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

6 1. LiDO stellt sich vor (4): Der Aufbau
AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

7 … … … 2. Die Systemarchitektur Anzahl = 8 Anzahl = 144 Anzahl = 72
Knotentyp 1 (AIC) 4 Opteron CPU 16 GB RAM 160 GB HD Knotentyp 2 (Supermicro) 2 Opteron CPU 4 GB RAM 80 GB HD Knotentyp 3 (Supermicro) 2 Opteron CPU 8 GB RAM 80 GB HD Interconnect 1 (1 Gbit): 5x Nortel BayStack Servicenetz 6x HP Procurve Interconnect 2 (Infiniband): - Infiniscale III Switch - Mellanox Karten gebündelt sync Management- server m a s t e r Fileserver (GPFS) Gateway- server 4 Opteron CPU 16 GB RAM 2x 160 GB HD Internet 4x FC 2 Gbit 5,6 TB RAID HD 5,6 TB RAID HD AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

8 ClusterVision OS: „Trinity“ (Übersicht)
3. Systemwerkzeuge (1) ClusterVision OS: „Trinity“ (Übersicht) AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

9 ClusterVision OS: „Trinity“ (Einzelkomponente)
3. Systemwerkzeuge (2) ClusterVision OS: „Trinity“ (Einzelkomponente) AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

10 Steuerung der Steckdosen (APCs)
3. Systemwerkzeuge (3) Steuerung der Steckdosen (APCs) AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

11 3. Systemwerkzeuge (4) Die „p-Tools“
AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

12 Arbeitsumgebungen nach Maß (Module)
3. Systemwerkzeuge (5) Arbeitsumgebungen nach Maß (Module) > module avail /usr/local/Cluster-Config/modulefiles OpenMPI/ib/intel/64/ gaussian/03.D jdk/1.5.0_08 3ware/ OpenMPI/ib/pgi/64/ gcc/ lam/ge/gcc/64/7.1.1 GotoBLAS/ OpenMPI/ib/psc/64/ gcc/ lam/ge/intel/64/7.1.1 GotoBLAS/ OpenMPI/ib/psc/64/ gcc/ matlab/ GotoBLAS/ OpenMPI/ib/sunstd/64/ gcc/ maui/3.2.6p14 GotoBLAS/ R/ gcc/ mpich/ge/gcc/64/1.2.7 OpenMPI/ge/g95/64/ SunStudio/11alpha gmv/ mpich/ge/intel/64/1.2.7 OpenMPI/ge/gcc/32/ abaqus/ gmv/ mpiexec/0.80 OpenMPI/ge/gcc/64/ ansys/ gpfs/ mvapich/gcc/0.9.7 OpenMPI/ge/gcc/64/ binutils/32/ hpl/1.0a mvapich/intel/0.9.7 OpenMPI/ge/gcc/64/ cfx/ icem/ mvapich/pathscale/0.9.7 OpenMPI/ge/intel/64/ cluster-tools/ installer-tools/ mvapich/pgi/0.9.7 OpenMPI/ge/intel/64/ ddt/ intel/cc/ ofed/1.1 OpenMPI/ge/pgi/64/ ddt/ intel/cce/ pathscale/2.5 OpenMPI/ge/psc/64/ default-ethernet intel/fc/ pgi/6.1.5 OpenMPI/ge/psc/64/ default-infiniband intel/fce/ pgi/6.2.5 OpenMPI/ge/sunstd/64/ devisor/grid/ intel/idb/ scm-adf/mpi/adf OpenMPI/ib/g95/64/ devisor/grid/ intel/idbe/ torque/2.0.0p8 OpenMPI/ib/gcc/64/ firefox/ intel/mkl/ totalview/7.2.0 OpenMPI/ib/gcc/64/ g95/int32bit/ jdk/1.4.2_ version OpenMPI/ib/intel/64/ g95/int64bit/ jdk/1.5.0_06 AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

13 Torque und Maui werden als Batchsystem verwendet
4. Das Batchsystem (1) Torque und Maui werden als Batchsystem verwendet Die aktuellen Queues sind: short_ib:     node145 - node216   144 CPUs med_ib:       node145 - node216   144 CPUs long_ib:      node145 – node186    84 CPUs short_eth:    node033 - node144   224 CPUs med_eth:      node033 - node144   224 CPUs long_eth:     node033 – node122   180 CPUs neternal_eth: node001 - node032    64 CPUs short_quad:   node217 - node224    32 CPUs med_quad:     node217 - node224    32 CPUs long_quad:    node217 - node224    32 CPUs AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

14 Ein Beispiel für ein PBS-Script (job.pbs)
4. Das Batchsystem (2) Ein Beispiel für ein PBS-Script (job.pbs) #!/bin/sh ### Hello_mpi via Gigabit Ethernet #PBS -N hello_mpi #PBS -q short_eth #PBS -M #PBS -l walltime=00:10:00,nodes=32 ###PBS -m e # This job's working directory cd $PBS_O_WORKDIR cat $PBS_NODEFILE > pbs-machine # Run the parallel MPI executable mpiexec hello_mpi exit 0 Ausführen des Scripts > qsub job.pbs AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

15 5. Das Anmeldeverfahren (1)
Antrag auf eine Benutzerkennung für LiDO schriftlich im Kundenbüro des HRZ der Uni Dortmund stellen Maria Pefferkuch, Tel Campus Süd, GB V, Raum 108 Dem LiDO-Team eine Kurzbeschreibung des Vorhabens zukommen lassen Die Accountdaten gibt es persönlich vom Kundenbüro Login-ID Passwort AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

16 5. Das Anmeldeverfahren (2)
Mit den Account-Daten einfach einloggen und loslegen Zugang per ssh auf einen der Gatewayserver lido1.hrz.uni-dortmund.de lido2.hrz.uni-dortmund.de LiDO ist nur im Intranet der Uni-Dortmund frei erreichbar. Externe Zugänge werden vom LiDO-Team auf Anfrage individuell konfiguriert. Nach abgeschlossen Arbeiten / Projekten ist die Verwendung von LiDO als Werkzeug für die Forschung in Form eines Berichtes dem LiDO-Team und der Nachwelt zu dokumentieren AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

17 6. Auslastung des Linux-Clusters
AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,

18 7. Weitere Informationen / Fragen?
Die LiDO Webseiten: Noch Fragen? Vielen Dank für Ihre Aufmerksamkeit AK Wiss. Rechnen, Essen, © Universität Dortmund / HRZ / Zentrale Server, jg,