Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007.

Ähnliche Präsentationen


Präsentation zum Thema: "Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007."—  Präsentation transkript:

1 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007

2 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 Überblick über die Systeme Quelle:

3 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 SMP - Symmetric Multi Processing Viele Prozessoren (<=16) und ein gemeinsamen Speicher Ein Prozessor bzw. Kern bearbeitet den nächstmöglichen Task oder Thread (Queue) (z.B. Dual Core PC, IBM JS21-MP BladeServer)

4 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 IBM JS21 BladeServer (SMP System) Quelle: ftp://ftp.software.ibm.com/systems/support/system_x_pdf/31r1760.pdf

5 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 MPP - Massive-Parallel-Prozessing Mehrere Prozessoren und kein gemeinsamer Speicher Ein Prozessor bearbeitet einen seperaten Teil eines Problems – z.B. DOE/NNSA/LLNL eServer BlueGene, NNSA/Sandia National Laboratories Cray Red Storm

6 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 IBM BlueGene/L (MPP System) Quelle:

7 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 Cluster mehrere Rechner im Verbund – Oft SMP Nodes – Ein Knoten hat weniger Prozessoren als der Verbund Knoten hat – z.B. BCC BladeCenter JS21 IBM, NNSA Power Edge 1850

8 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 BladeServer JS21-MP Cluster (MareNostrum) Quelle:

9 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 Constellations (Cluster of Clusters) Große SMPs im Verbund – Ein Knoten hat mehr Prozessoren, als der Verbund Knoten hat – 1 System mit tausend Recheneinheiten Tera-10 Bull/NovaScale, Nagoya University Primepower HPC2500

10 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 Bull NovaScale Tera-10 Quelle:

11 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 Warum sind Cluster so beliebt? Quelle:

12 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 Warum sind Cluster so beliebt? Viele Anbieter der Komponenten (großer Markt) Aufbau mit einfachen Mitteln möglich (kostengünstig) Variabler Einsatz von Kapital für Netzwerk, Rechenleistung und Arbeitsspeicher (offene Preisgestaltung) Meist variabel erweiterbar (Skalierbarkeit) Bei Defekt eines Knotens ist ein Großteil des Clusters weiter nutzbar (Robustheit) Bei Defekt unkopliziert und kostengünstig reparabel (Hot Swappable)

13 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 Kommunikationstechnologien im Cluster Myrinet 2000 Myrinet 10G QS-Net² InfiniPath NUMAlink Proprietäre Lösungen Cray Interconnect RapidArray Crossbar Gb Ethernet

14 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 Höchstes Ziel: Der Cluster soll rechnen Ansprüche an das Netzwerk –Schneller Datentransfer Remote DMA (RDMA) –Entlastung der CPU Schlankes Protokoll Kein Management des Datentransfer Auslagerung auf NIC/HCA –Hohe Robustheit –Geringe Latenz Aplication User APIs Upper Layer Protokolle Provider Hardware IP based Apps Protokolltreiber (TCP/IP) API / VERBS Hardware Treiber Host Channel Adapter Network Interface Card Kernel Space User Space Kernel Bypass Standard

15 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 Günstiger Standard (Gigabit Ethernet) 10 Gb/s (heute) 100 Gb/s (Ende 2009) – 10 * 10Gb/s gebündelt (http://www.spectrum.ieee.org/dec06/comments/1657) TCP/IP –Viel Information im Protokollstack die im Cluster nicht nötig ist (Overhead) Leistungsschub durch TOE (TCP Offload Engine) –Hardware die sich um en-/develop, handshake, ect. kümmert um dem Prozessor Arbeit zu ersparen

16 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 Myrinet von Myricom Nutzt vorhandene Ethernet Technologie –Begrenzt auf die aktuelle Ethernet Technologie = 10Gb/s Hat eigene Netzwerkkarten Remote DMA fähig Hat eigenes schlankes Protokoll Kommt auf Latenzzeiten von ca. 2-3 Mikrosekunden bei (10Gb) (http://www.myricom.com/scs/performance/MX-10G/) 2 Lösungen im Angebot –Myrinet 2000 (2Gb) –Myrinet 10G (10Gb)

17 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 Myrinet installationen Myrinet 2000 (Kupfer) Myrinet 10G (Glasfaser) Quelle:

18 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 InfiniBand von der Infiniband Trade Association (IBTA) Nutz eigene neue Technologie Normal 2,5 Gb/s durch 8bit/10bit Kodierung = 2 Gb/s Begrenzt durch Taktrate (Maximal 96Gb/s) Hat eigene Host Channel Adapter (HCA) Nutzt Remote DMA (RDMA) Kommt auf Latenzzeiten von ca. 2-3 Mikrosekunden bei (10Gb-96Gb)

19 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 InfiniBand – Speed durch Bündelung und Takterhöhung SDR Singel Data Rate DDR Double Data Rate QDR Quad Data Rate

20 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 InfiniBand Kabel (1x, 4x, 12x) Quelle:

21 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 InfiniBand Installation Quelle:

22 Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut - Leiv Braun - Mai 2007 Ende


Herunterladen ppt "Parallele Datenverarbeitung Was sind Cluster und wie sind sie aufgebaut Leiv-Erik Braun Mai 2007."

Ähnliche Präsentationen


Google-Anzeigen