Shared Memory Programmierung: Grundlagen Architektur Programmiermodell Sprachmittel Shared Memory Programmierung: Grundlagen

Klassifikation von Parallelrechnern MIMD SIMD Shared Memory Distributed Memory Array Processor Vector Processor Shared Memory Programmierung: Grundlagen

Flynn – Taxonomie: Kontrollfluß SISD : Single Instruction Stream – Single Data Stream eine Instruktion nach der anderen operiert auf jeweils einem Datenwert SIMD : Single Instruction Stream – Multiple Data Stream eine Instruktion nach der anderen operiert auf jeweils mehreren Datenwerten MIMD : Multiple Instruction Stream – Multiple Data Stream mehrere Instruktion operieren gleichzeitig auf eigenen Datenwerten Shared Memory Programmierung: Grundlagen

SISD Rechner-Klassifikation nach Flynn IE RE Single Instruction Stream Abstrakte Beschreibung von Datenverarbeitung: Rechenwerke führen Instruktionen auf Daten aus Sequentieller Rechner : IE + RE IE RE Single Instruction Stream Single Data Stream SISD Shared Memory Programmierung: Grundlagen

SIMD Rechner-Klassifikation nach Flynn (2) IE RE1 RE2 RE3 Parallelrechner 1 : IE + RE1 + RE2 + RE3 + ... IE RE1 RE2 RE3 Single Instruction Stream Multiple Data Streams SIMD Shared Memory Programmierung: Grundlagen

MIMD Rechner-Klassifikation nach Flynn (3) IE1 RE1 IE2 RE2 IE3 RE3 Parallelrechner 2 : IE1 + RE1 + IE2 + RE2 + IE3 + RE3 + ... IE1 RE1 IE2 RE2 IE3 RE3 Multiple Instruction Streams Multiple Data Streams MIMD Shared Memory Programmierung: Grundlagen

... SIMD-Rechner 1: Feldrechner IE P P P S S S globaler Speicher Beispiele: ICL DAP (Distributed Array Processor) (4096 1bit Proz.) Thinking Machine CM2, CM5 (1bit Proz., 32bit Proz.) MassPar (4bit Proc.) jeder RISC-Prozessor mit 2 Fließkomma-Einheiten (Pentium4) Shared Memory Programmierung: Grundlagen

SIMD-Rechner 2: Vektorrechner globaler Speicher IE RE: Pipeline mit unabhängigen Segmenten - Fließbandverarbeitung Beispiele: Cray T90, J90, SV1 NEC SX4 jeder RISC-Prozessor mit mehrstufigen Fließkomma- Einheiten (Pentium4) Shared Memory Programmierung: Grundlagen

Shared Memory Programmierung: Grundlagen SIMD Parallelität Single Instruction Stream - Multiple Data Stream Vektor-Rechner Feld-Rechner Shared Memory Programmierung: Grundlagen

Shared Memory Programmierung: Grundlagen MIMD Parallelität Multiple Instruction Stream - Multiple Data Stream Rechner mit gemeinsamem Speicher Rechner mit verteiltem Speicher Shared Memory Programmierung: Grundlagen

Hybrid-Systeme: Cluster von SMP-Knoten Shared Memory Programmierung: Grundlagen

Kopplung in Systemen mit gemeinsamem Speicher Bus serialisierter Speicherzugriff nicht skalierbar geringe Latenz Schalter simultaner Speicherzugriff (bei günstiger Datenverteilung) skalierbar höhere Latenz Shared Memory Programmierung: Grundlagen

Shared Memory Programmierung: Grundlagen Cache - Kohärenz P0 : Lese a P0 : schreibe a P1 : Lese b P1 : Lese a Speicher a b c d a b c d Cache a b c d a b c d a b c d a b c d CPU a b a Shared Memory Programmierung: Grundlagen

IBM p690 mit 32 Power4 Prozessoren Shared Memory Programmierung: Grundlagen

Programmiermodell: Sequentiell (von Neumann) Speicher Instruktionen Daten Objekte: Daten, Instruktionen, PZ Operationen: opcode op1, op2,...,re1,re2 Reihenfolge: sequentiell Programmzähler Verarbeitungseinheit (CPU) Instruktionseinheit Recheneinheit Shared Memory Programmierung: Grundlagen

Programmiermodell: shared memory Mehrere Kontrollflüsse (threads) Objekte: Globale Daten, Instruktionen, Lokale PZs, thread-ID Operationen: opcode op1, op2,...,re1,re2 ununterbrechbare Ops. Reihenfolge: Sequentiell im einzelnen thread, CREW (concurrent read, exclusive write) Speicher Instruktionen Daten PZ0 PZ1 PZ3 VE0 VE1 VE2 Shared Memory Programmierung: Grundlagen

Shared Memory Programmierung: Grundlagen Beispielprogramm Sequentiell 1 s = 0 2 call work1(a) 3 s = s + a 4 call work2(b) 5 s = s + b 6 stop Parallel 1 s = 0 2 wenn tid = 0 PZ = 5 3 wenn tid = 1 PZ = 8 4 PZ = 10 5 call work1(a) 6 s = s + a 7 PZ = 10 8 call work2(b) 9 s = s + b 10 stop thread0 : 1 - 2 - 5 - 6 - 7 – 10 thread1 : 1 - 2 - 3 - 8 - 9 - 10 Instruktionsfolge: Shared Memory Programmierung: Grundlagen

Shared Memory Programmierung: Grundlagen race condition 6-1 lade s -> reg 6 s = s + a 6-2 reg = reg + a 6-3 speichere reg -> s thread0 thread1 6-1 6-2 6-3 9-1 9-2 9-3 s = a + b thread0 thread1 6-1 9-1 6-2 9-2 6-3 9-3 s = b thread0 thread1 6-1 9-1 6-2 9-2 9-3 6-3 s = a Zeit Shared Memory Programmierung: Grundlagen

Shared Memory Programmierung: Grundlagen Barriere Voraussetzung: bar = bar + 1 ist ununterbrechbar bar = bar - 1 ist ununterbrechbar bar = 0 bei Programmstart nt = Zahl der Threads ist bekannt bar = bar + 1 wenn bar < nt PZ = 2 bar = bar -1 wenn bar > 0 PZ = 4 Shared Memory Programmierung: Grundlagen

Sprachmittel zur Erleichterung der shared memory Programmierung Erzeugung und Kontrolle von threads Synchronisation von threads mutual exclusion (mutex) Private Speicherbereiche Standardisierte Sprachmittel: Posix threads OpenMP Shared Memory Programmierung: Grundlagen