Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Bulk Synchronous Parallel Computing Seminar Parallele Programmierung Michael Poldner.

Ähnliche Präsentationen


Präsentation zum Thema: "Bulk Synchronous Parallel Computing Seminar Parallele Programmierung Michael Poldner."—  Präsentation transkript:

1 Bulk Synchronous Parallel Computing Seminar Parallele Programmierung Michael Poldner

2 2 Motivation Sequentielle Rechner Grundlage: von Neumann-Modell Vorteil: Entkopplung von Hard- und Softwareentwicklung Parallele Rechner bis Ende 80er Jahre hardwareorientiert Problem: viele Architekturen; Software speziell für diese entwickelt, kaum übertragbar, schnell veraltet und teuer Ende 80er Jahre softwareorientierte Ansätze Ende 80er/Anfang 90er Jahre modellorientiert Ziel: Skalierbarkeit, Portabilität, Vorhersagbarkeit

3 3 Gliederung 1.Berechnungsmodelle 2.PRAM-Modell 3.BSP-Modell 4.Fazit

4 4 1. Berechnungsmodelle dienen zur Analyse von Algorithmen Bewertung unabhängig von Programmiersprache und bestimmten Rechner anhand eines Bewertungskriteriums Basis: einheitliches Rechnermodell - abstrahiert von konkreten Rechnerdetails - Angabe von wichtigen Merkmalen einer Klasse von Rechnern an, welche signifikanten Einfluss auf die Laufzeit von Algorithmen haben: z.B. Basisoperationen, Zeitpunkt der damit zusammen- hängenden Aktionen, Datenzugriff, Datenspeicherung

5 5 Random Access Machine Berechnungsmodell für sequentielle Rechner Im wesentlichen Random Access Memory von unbeschränkter Kapazität Speicherzelle speichert Wort beliebiger Größe Schreib-/Lesezugriffe in konstanter Zeit Recheneinheit führt arithmetische Operationen (+, -, *, /) in konstanter Zeit und unabhängig von Operandengröße aus

6 6 2. Parallel Random Access Machine Zur Analyse von parallelen Algorithmen Rechnermodell: - unbeschränkte Anzahl von Prozessoren - synchrone Ausführung des gleichen Programms - Prozessoren haben eigenen lokalen Speicher - Synchronisation über gemeinsamen globalen Speicher unbeschränkter Größe - lokaler/globaler Speicherzugriff in konstanter Zeit

7 7 Abbildung PRAM P i : Prozessoren L i : lokale Speicher Gemeinsamer Speicher P1P1 P2P2 PnPn L2L2 L1L1 LnLn...

8 8 Speicherzugriffskonflikte Problem: mehrere Prozessoren greifen auf gleiche Speicherzelle zu! Unterscheidung von PRAM-Varianten nach Art der Konfliktbehandlung: - Exclusive Read/Exclusive Write- PRAM - Concurrent Read/Exclusive Write- PRAM - Exclusive Read/Concurrent Write- PRAM - Concurrent Read/Concurrent Write- PRAM CR/EW-PRAM kommt Realität am nächsten

9 9 Speicherzugriffskonflikte Problem: gleichzeitige Schreibzugriffe (CW) unterschiedliche Varianten denkbar: - Common-CW: simultanes Schreiben erlaubt, wenn alle Prozessoren gleichen Wert schreiben - Arbitrary-CW: Schreiben darf zufällig ausgewählter Prozessor - Priority-CW: Prozessor mit höchster (niedrigster) Priorität darf schreiben

10 10 Bewertung von Algorithmen Kosten werden mit der Anzahl der benötigten PRAM- Schritte angegeben Jeder PRAM-Schritt besteht aus drei Teilschritten: - Lesen von Daten aus dem globalen Speicher - Ausführung einer einfachen binären Operation - Zurückschreiben eines Wertes in globalen Speicher Nach jedem Schritt: Synchronisation der Prozessoren (verursacht keine Kosten)

11 11 PRAM-Algorithmen Bestehen aus zwei Phasen:  1. Phase: Aktivieren der benötigten Prozessoren spawn (P 1, P 2,..., P n )  2. Phase: Ausführen der parallelen Berechnungen for all (P i1, P i2,..., P iq ){ // parallele Berechnungen } Identifikation der Prozessoren durch Nummer bzw. Index, der lokal zur Verfügung steht

12 12 Beispiel: Summenberechnung Aufgabe: Addition aller Werte in einem Array Ansatz: baumartige Verknüpfung

13 Ansatz ermöglicht Berechnung in  (log n) Zeit! global int A[n]; global int j; spawn (P 0, P 1, …, P  n/2  -1 ); for all (P i where 0  i   n/2  -1 ) { for (j = 0; j <  log n  ; j++) { if (i % 2 j == 0 && 2i + 2 j < n) { A[2i] = A[2i] + A[2i + 2 j ] }

14 14 Realisierbarkeit des PRAM-Modells beliebig viele simultane Zugriffe in konstanter Zeit durch aktuelle Speicherelemente nicht unterstützt ÞProblem: vorgestelltes Modell nicht realisierbar! Lösung: globalen Speicher in mehrere Speichermodule aufteilen und über Verbindungsnetzwerk mit Prozessoren verbinden

15 15 Abb.: PRAM mit Verbindungsnetzwerk Verbindungsnetzwerk P1P1 P2P2 PnPn L2L2 L1L1 LnLn... S2S2 S1S1 SnSn P i : Prozessoren L i : lokale Speicher S i : globale Speichermodule

16 16 Diskussion des PRAM-Modells Unrealistische Modellannahmen Zeitliche Verzögerungen bei Zugriff auf entfernte Speichermodule Zugriff auf lokalen Speicher schneller als auf globalen Speicher Kollisionen bei Speicherzugriff unberücksichtigt Speicherhierarchien unberücksichtigt Lokalität von Algorithmen unberücksichtigt Betrachtung der Synchronisation und deren Kommunikationskosten unberücksichtigt

17 17 Fazit Stark vereinfachende Annahmen Maschinenparameter eines realen PRAM-Rechners unberücksichtigt  Pro - einfaches Programmiermodell - einfache Laufzeitanalysen möglich  Contra - für realistische Abschätzung der Laufzeit von Algorithmen ungeeignet

18 18 3. Bulk Synchronous Parallel Modell Abstrakter Rechner mit verteiltem Speicher Jeder Prozessor verfügt über lokalen Speicher Prozessoren über Verbindungsnetzwerk untereinander verbunden Kommunikation im Punkt-zu-Punkt-Transfer Mechanismus zur Barrieresynchronisation

19 19 Abb.: BSP-Computer Verbindungsnetzwerk P1P1 P2P2 PnPn L2L2 L1L1 LnLn... P i : Prozessoren L i : lokale Speicher

20 20 BSP-Parameter Spezifikation der Performance eines BSP-Rechners p: Anzahl der (virtuellen) Prozessoren s: Prozessorgeschwindigkeit (#Berechnungsschritte pro Sekunde) l: Synchronisationslatenz (die Anzahl der Schritte, die eine Barrieresynchronisation benötigt) g: (Die Summe der lokalen Operationen, welche durch alle Prozessoren in einer Sekunde ausgeführt werden) / (Die Summe der Wörter, welche in einer Sekunde über das Netzwerk verschickt werden)

21 21 Parameter l beeinflusst von: - Netzwerklatenz - Durchmesser des Verbindungsnetzwerks ÞUntergrenze durch Hardware festgelegt Zeitspanne zwischen zwei Synchronisationsoperationen kann dynamisch zur Laufzeit variieren BSP-Parameter

22 22 BSP-Parameter Parameter g Bezieht sich auf die Häufigkeit mit welcher nicht lokale Speicherzugriffe realisiert werden können Stellt Bandbreite des Netzwerks dar, die angibt, wie viele Operationen in der Zeit ausgeführt werden können, die das Verschicken eines Worts benötigt Abhängig von: - Bisektionsbandbreite des Netzwerks - Kommunikationsprotokoll - Kommunikationsbibliothek

23 23 Superschritte Berechnung erfolgt in Folge von Superschritten Ein Superschritt besteht aus drei Phasen: - Berechnungsphase - Kommunikationsphase - Synchronisationsphase

24 24 Abb.: Superschritt Barrieresynchronisation Berechnungsphase Kommunikationsphase Synchronisationsphase Zeit P1P1 P2P2 P3P3 P n-1 PnPn (virtuelle) Prozessoren

25 25 Berechnungsphase Ausführung von Operationen nur in dieser Phase erlaubt Operationen arbeiten auf lokal gehaltene Daten, welche zu Beginn des Superschritts verfügbar waren Mehrere Berechnungsschritte durchführbar Kommunikation in dieser Phase nicht erlaubt Dauer L der Berechnungsphase: Ausführungszeit des Prozessors mit längster lokaler Berechnung

26 26 Kommunikationsphase Nicht lokale Schreib-/Leseanfragen über Senden/Empfangen von Nachrichten realisiert Kommunikation durch h-Relation beschreibbar (Prozessor darf max. h Nachrichten senden und max. h Nachrichten empfangen) Annahme: Nachricht besteht aus m Wörtern ÞKosten der Kommunikation: m * g * h Schritte Zwei Kommunikationsmodi: Direct Remote Memory Access (DRMA) Bulk Synchronous Message Passing (BSMP)

27 27 Direct Remote Memory Access Idee: Stelle lokale Variable/Datenstruktur für globalen Zugriff zur Verfügung Dazu: Registrierungsmechanismus Setzen und Aufheben der globalen Verfügbarkeit über die Operationen bsp_push_reg, bsp_pop_reg Zugriff auf registrierte Datenstrukturen und Variablen über bsp_get, bsp_put Effekt erst im nächsten Superschritt wirksam!

28 28 Bulk Synchronous Message Passing Idee: Schicke Nachrichten an Warteschlange eines Prozessors Schreiben über bsp_send, Auslesen über bsp_move Weitere Operationen zur Ermittlung der Anzahl und Größe der Pakete in der Warteschlange Gewährleistung: Nachrichten erreichen ihr Ziel vor Beginn des nächsten Superschritts Effekt erst im nächsten Superschritt wirksam!

29 29 DRMA vs. BSMP DRMA wird benutzt, wenn jedem Prozess die Existenz der nicht lokalen Speicherbereiche bekannt ist. BSMP eignet sich für Probleme, bei denen nur der Nachrichtenempfänger Kenntnis über genauen Speicherort ankommender Daten hat.

30 30 Synchronisationsphase Prozess beendet Kommunikationsphase durch bsp_sync Prozess wartet, bis alle Nachrichten ihr Ziel erreicht haben Danach: alle Prozessoren starten gemeinsam nächsten Superschritt  Barrieresynchronisation Parameter l gibt Dauer der Synchronisation an

31 31 Bewerten von Algorithmen Annahme: Zugriff auf nicht lokale Speicher einheitlich effizient Kosten eines Superschritts: T Superschritt = L + m * g * h + l Kosten eines BSP-Algorithmus: Summe der Ausführungszeiten seiner benötigten Superschritte

32 32 BSPlib-Programmierung BSPlib ist weit verbreitete BSP-Bibliothek für C, C++, Fortran weitere: PUB, JBSP, Basisoperationen Stellt Infrastruktur zur Verteilung der Daten und zur Kommunikation bereit Programmierung ist plattformunabhängig Adoptiert das Single Program Multiple Data (SPMD)- Programmiermodell

33 33 SPMD-Programme Aufgabe: Abbilden eines Problems, welches eine Datenstruktur der Größe n manipuliert, auf p Instanzen eines Programms, so dass jedes Programm n/p große Blöcke der ursprünglichen Datenstruktur bearbeitet.

34 34 Starten und Beenden von SPMD-Code Starten und Beenden von Prozessen über: void bsp_begin(int maxprocs); void bsp_end(void); Nur ein bsp_begin / bsp_end -Paar pro Programm Der durch diese Operationen eingeschlossene Code wird auf mehreren Prozessoren ausgeführt Alternativen: - reine SPMD-Weise - Simulation dynamischer Prozesse

35 35 Starten und Beenden von SPMD-Code Reine SPMD-Berechnung: bsp_begin und bsp_end sind erste und letzte Anweisung im Programm void main(void) { bsp_begin(bsp_nprocs()); printf(„Hello BSP Worldwide from %d of %d\n“,bsp_pid(), bsp_nprocs()); bsp_end(); }

36 36 Simulation dynamischer Prozesse Prozesse dynamisch zur Laufzeit erzeugen Problem: nicht alle parallelen Maschinen unterstützen dynamische Prozesserzeugung Simulation über bsp_init -Operation Idee: SPMD-Teil des Programms in Methode kapseln

37 37 int nprocs; // globale Variable void spmd_part(void) { bsp_begin(nprocs); printf(„Hello BSP Worldwide from %d of %d\n“, bsp_pid(), nprocs); bsp_end(); } void main(int argc, char *argv[]) { bsp_init(spmd_part, argc, argv); nprocs = readInteger(); spmd_part(); }

38 38 Stoppen der Programmausführung Anhalten aller Prozesse über void bsp_abort(char *format...); Format entspricht dem des printf -Befehls Ausgabe einer Fehlermeldung möglich Effekt dieser Operation tritt sofort ein: Keine Barrieresynchronisation notwendig

39 39 Lokale Abfragefunktionen Abfragefunktionen erfordern keine Kommunikation zwischen den Prozessen Liefern Informationen über: - Anzahl beteiligter paralleler Prozesse, - ProzessID eines Prozesses - vergangene Zeit in Sekunden seit bsp_begin Abfragefunktionen in BSPlib: int bsp_nprocs(void); int bsp_pid(void); double bsp_time(void);

40 40 Bsp.: DRMA-Kommunikation Syntax der benötigten Operationen: void bsp_push_reg(const void *ident, int size); void bsp_pop_reg(const void *ident); void bsp_put(int pid, const void *src, void *dst, int offset, int nbytes);

41 41 int reverse(int x) { // registriere x für DRMA-Zugriff bsp_push_reg(&x, sizeof(int)); bsp_sync(); // transferiere x bsp_put(bsp_nprocs()-bsp_pid()-1, &x, &x, 0, sizeof(int)); bsp_sync(); // hebe DRMA-Registrierung auf bsp_pop_reg(&x); return x; } DRMA-Kommunikation

42 42 Diskussion des BSP-Modells  Kritikpunkt Oft großer Overhead durch Versenden kleiner Nachrichten - Zusammenstellen von Nachrichten - Header (vgl. TCP/IP-Protokollstack)  Lösung: BSP*-Modell im BSP*-Modell: zusätzlicher Parameter B B gibt minimale Nachrichtengröße an, mit welcher Kommunikation effizient abläuft

43 43  Kritikpunkte - kein paralleles Ausführen von verschiedenen Algorithmen - Lokalität im Modell unberücksichtigt  Lösung: D-BSP-Modell Erlaubt Partitionierung des BSP-Computers in autonome Teilcomputer  Problematisch: Laufzeit von BSP-Algorithmen abhängig von BSP-Parametern und Hardware ÞAlgorithmus sorgfältig auswählen

44 44  Vorteile BSP-Bibliotheken bieten: - Plattformunabhängigkeit - hohe Portabilität und Skalierbarkeit Im Vergleich zur PRAM: - wenig Kommunikation - seltene Synchronisation Keine Deadlocks möglich, da Berechnung und Kommunikation entkoppelt

45 45 BSP in der Praxis Auswertung von reinfunktionalen Sprachen Reinfunktionale Sprachen sind nebeneffektfrei haben keine Zustandsvariablen Þparallele Auswertung von Teilausdrücken möglich z.B. BSMLlib: BSP-Bibliothek zur Auswertung von CAML-Programmen (u.a. von Frédéric Loulergue) Wissenschaftliche Berechnungen z.B. in der Luft- und Raumfahrt: Simulation von Luftströmen

46 46 4. Fazit PRAM-Modell: - einfaches Programmiermodell - Schwächen bei Laufzeitanalyse von parallelen Algorithmen - Performanceeinbußen durch hohen Kommunikations- und Synchronisationsbedarf BSP-Modell: - einfaches Programmiermodell - geringer Kommunikations- und Synchronisationsbedarf - hohe Skalierbarkeit, Portabilität und Vorhersagbarkeit


Herunterladen ppt "Bulk Synchronous Parallel Computing Seminar Parallele Programmierung Michael Poldner."

Ähnliche Präsentationen


Google-Anzeigen