Was sind Cluster und wie sind sie aufgebaut

Präsentation zum Thema: "Was sind Cluster und wie sind sie aufgebaut"—  Präsentation transkript:

1 Was sind Cluster und wie sind sie aufgebaut
Leiv-Erik Braun Mai 2007

2 Überblick über die Systeme
Quelle:

3 SMP - Symmetric Multi Processing
Viele Prozessoren (<=16) und ein gemeinsamen Speicher Ein Prozessor bzw. Kern bearbeitet den nächstmöglichen Task oder Thread (Queue) (z.B. Dual Core PC, IBM JS21-MP BladeServer)

4 IBM JS21 BladeServer (SMP System)
Quelle: Quelle: ftp://ftp.software.ibm.com/systems/support/system_x_pdf/31r1760.pdf

5 MPP - Massive-Parallel-Prozessing
Mehrere Prozessoren und kein gemeinsamer Speicher Ein Prozessor bearbeitet einen seperaten Teil eines Problems z.B. DOE/NNSA/LLNL eServer BlueGene, NNSA/Sandia National Laboratories Cray Red Storm

6 IBM BlueGene/L (MPP System)
Quelle:

7 Cluster mehrere Rechner im Verbund Oft SMP Nodes
Ein Knoten hat weniger Prozessoren als der Verbund Knoten hat z.B. BCC BladeCenter JS21 IBM, NNSA Power Edge 1850

8 BladeServer JS21-MP Cluster (MareNostrum)
Quelle:

9 Constellations (Cluster of Clusters)
Große SMP‘s im Verbund Ein Knoten hat mehr Prozessoren, als der Verbund Knoten hat 1 System mit tausend Recheneinheiten Tera-10 Bull/NovaScale, Nagoya University Primepower HPC2500 „Why such a fine line [between cluster and constellation]? Because, as Dongarra and several coauthors pointed out in 2003 paper, the distinction affects the approach to programming a machine“

10 Bull NovaScale Tera-10 Quelle:

11 Warum sind Cluster so beliebt?
Flexibel im Anschaffungspreis durch hohe flexibilität bei der Auswahl der Komponenten, Wartungsfreundlich (Blade raus Blade rein), geringer Performanceeinbruch bei Komponentenausfall, leicht skalierbar Quelle:

12 Warum sind Cluster so beliebt?
Viele Anbieter der Komponenten (großer Markt) Aufbau mit einfachen Mitteln möglich (kostengünstig) Variabler Einsatz von Kapital für Netzwerk, Rechenleistung und Arbeitsspeicher (offene Preisgestaltung) Meist variabel erweiterbar (Skalierbarkeit) Bei Defekt eines Knotens ist ein Großteil des Clusters weiter nutzbar (Robustheit) Bei Defekt unkopliziert und kostengünstig reparabel (Hot Swappable) „Why such a fine line [between cluster and constellation]? Because, as Dongarra and several coauthors pointed out in 2003 paper, the distinction affects the approach to programming a machine“

13 Kommunikationstechnologien im Cluster

14 Höchstes Ziel: Der Cluster soll rechnen
Ansprüche an das Netzwerk Schneller Datentransfer Remote DMA (RDMA) Entlastung der CPU Schlankes Protokoll Kein Management des Datentransfer Auslagerung auf NIC/HCA Hohe Robustheit Geringe Latenz Aplication IP based Apps User Space User APIs API / VERBS Upper Layer Protokolle Protokolltreiber (TCP/IP) Kernel Space Provider Hardware Treiber Hardware Host Channel Adapter Network Interface Card Standard Kernel Bypass

15 Günstiger Standard (Gigabit Ethernet)
10 Gb/s (heute) 100 Gb/s (Ende 2009) 10 * 10Gb/s gebündelt ( TCP/IP Viel Information im Protokollstack die im Cluster nicht nötig ist (Overhead) Leistungsschub durch TOE (TCP Offload Engine) Hardware die sich um en-/develop, handshake, ect. kümmert um dem Prozessor Arbeit zu ersparen

16 Myrinet von Myricom Nutzt vorhandene Ethernet Technologie
Begrenzt auf die aktuelle Ethernet Technologie = 10Gb/s Hat eigene Netzwerkkarten Remote DMA fähig Hat eigenes „schlankes Protokoll“ Kommt auf Latenzzeiten von ca. 2-3 Mikrosekunden bei (10Gb) ( 2 Lösungen im Angebot Myrinet 2000 (2Gb) Myrinet 10G (10Gb)

17 Myrinet installationen
Myrinet 2000 (Kupfer) Myrinet 10G (Glasfaser) Quelle: Quelle:

18 InfiniBand von der Infiniband Trade Association (IBTA)
Nutz eigene neue Technologie Normal 2,5 Gb/s durch 8bit/10bit Kodierung = 2 Gb/s Begrenzt durch Taktrate (Maximal 96Gb/s) Hat eigene Host Channel Adapter (HCA) Nutzt Remote DMA (RDMA) Kommt auf Latenzzeiten von ca. 2-3 Mikrosekunden bei (10Gb-96Gb)

19 InfiniBand – Speed durch Bündelung und Takterhöhung
SDR Singel Data Rate DDR Double Data Rate QDR Quad Data Rate

20 InfiniBand Kabel (1x, 4x, 12x)
Quelle:

21 InfiniBand Installation
Quelle:

22 Ende