Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

GWDG – Kurs Parallelrechner-Programmierung mit MPI MPI Eine Einführung Oswald Haan

Ähnliche Präsentationen


Präsentation zum Thema: "GWDG – Kurs Parallelrechner-Programmierung mit MPI MPI Eine Einführung Oswald Haan"—  Präsentation transkript:

1 GWDG – Kurs Parallelrechner-Programmierung mit MPI MPI Eine Einführung Oswald Haan

2 07. – Parallelrechner-Programmierung mit MPI2 MPI: Message passing interface MPI : message passing library interface specification message passing: Message Passing Programmiermodell (Datenaustausch zwischen zwei Prozessen) Erweiterungen (Kollektive Operation, Zugriff auf entfernte Speicher, Dynamische Prozesskontrolle, Parallele Ein-Ausgabe) library interface:MPI benutzt Funktionen und Unterprogramme, die von Fortran oder C Programmen aufgerufen werden, keine neue Programmiersprache specification:Beschreibung, keine Implementierung

3 Programmiermodell: message passing 07. – Parallelrechner-Programmierung mit MPI3 Verteilung von Daten und Instruktionen auf mehrere Prozessoren Objekte: Lokale Daten, Instruktionen, Lokale PZs, task-id Operationen: opcode op1, op2,...,re1,re2 send(ad,n,tid), recv(ad,n,tid) Reihenfolge: Synchronisation durch blockierendes recv I D PZ Speicher VE Puffer Verbindungsnetz I D PZ Speicher VE Puffer I D PZ Speicher VE Puffer

4 Programmiermodell: message passing 07. – Parallelrechner-Programmierung mit MPI4 An MPI program consists of autonomous processes, executing their own code, in an MIMD style. The codes executed by each process need not be identical. The processes communicate via calls to MPI communication primitives. Typically, each process executes in its own address space, although shared-memory implementations of MPI are possible. Mehrere Tasks bearbeiten gemeinsam ein paralleles Programm Jeder Task hat lokale task-id zur Identifikation lokalen Adress-Raum für lokale Daten für das lokale Programm für lokale Puffer

5 07. – Parallelrechner-Programmierung mit MPI5 MPI: Message passing interface MPI beinhaltet die Spezifikation der Sprachelemente, die die Zusammenarbeit der Tasks aus der Sicht der lokalen Task beschreiben sollen Die wichtigsten Sprachelemente: sequentielle Programmiersprachen Fortran und C Information über Tasks : Task-id (rank) der eigenen und der fremden Tasks Punkt zu Punkt-Kommunikation: Datenaustausch mit einer fremden Task Globale Kommunikation: Datenaustausch mit mehreren oder allen fremden Tasks Synchronisation

6 Entwicklung von MPI 07. – Parallelrechner-Programmierung mit MPI Vorläufer

7 07. – Parallelrechner-Programmierung mit MPI7 MPI-Forum Das MPI-Forum, eine Gruppe von Hardware-Herstellern, Software-Entwicklern und Anwendern hat den Standardisierungsprozess ins Leben gerufen und steuert die Weiterentwicklung des Standards.

8 07. – Parallelrechner-Programmierung mit MPI8 MPI-Dokumentation Offizielle Dokumentation des Standards (MPI-2.2) durch das MPI-Forum: Inoffizielle HTML-Version dieses Dokuments: Open MPI v1.6.4 documentation (man pages) MPI- The Complete Reference Parallel Programming with MPI Using MPI

9 07. – Parallelrechner-Programmierung mit MPI9 MPI-Implementierung Das MPI-Forum legt den MPI-Standard für die Syntax der Schnittstellen und ihre Funktionen fest. Die Implementierung überlässt es anderen. Aufgaben der Implementierung: Übersetzung der standardisierten Sprachelemente in Maschinenbefehle, die die zugrundliegende Prozessor- und Verbindungsnetz-Hardware bedienen. Bereitstellung von Prozeduren zur Erzeugung, Kontrolle und Beendigung von parallelen Tasks auf den Prozessoren Bei der GWDG verfügbare Implementierungen OpenMPI:OpenSource Implementierung des MPI-2 Standards Intel-mpi:Proprietäre Implementierung des MPI-2 Standards

10 07. – Parallelrechner-Programmierung mit MPI10 MPI beyond Fortran and C Other programming languages, for which bindings to the MPI functionality exist: C++ Python R Matlab Java Haskell OpenGL Ada Caml Lisp C# Available on GWDG-clusters mpi4py: open source python bindings for MPI

11 07. – Parallelrechner-Programmierung mit MPI11 Documentation for mpi4py MPI for Python API Reference A Python Introduction to Parallel Programming with MPI No books with complete description of mpi4py available

12 07. – Parallelrechner-Programmierung mit MPI12 MPI : Vorteile und Nachteile Trennung von Spezifikation und Implementierung: Standardisiertes Interface zu Bibliotheksroutinen erlaubt Portabilität Hardwarespezifische Implementierungen erlauben die bestmögliche Ausnutzung von Hardwareeigenschaften Nutzungsgerechte Funktionen vereinfachen Programmentwicklung und ermöglichen spezielle Implementierungen mit hoher Effizienz Parallelisierung mit Message Passing erfordert Aufteilung und Austausch der Daten und Aufteilung der Rechenlast Unterstützung von vielen Nutzungsformen und Implementierungsarten führt zu einer Vielzahl von z.T. komplexen Bibliotheksroutinen (mehr als 250 MPI-Funktionen:

13 07. – Parallelrechner-Programmierung mit MPI13 MPI : Funktionsgruppen Point-to-point communication Datatypes Collective operations Process groups Communication contexts Process topologies Environmental Management and inquiry The info object Process creation and management One-sided communication External interfaces Parallel file I/O Language Bindings for Fortran, C and C++ Profiling interface

14 07. – Parallelrechner-Programmierung mit MPI14 MPI-Funktionen; Spezifikation Beispiel Blockierendes Daten-Empfangen MPI_RECV: MPI_RECV (buf, count, datatype, source, tag, comm, status) OUT bufinitial address of receive buffer (choice) IN count number of elements in receive buffer (non-negative integer) IN datatype datatype of each receive buffer element (handle) IN source rank of source or MPI_ANY_SOURCE (integer) IN tag message tag or MPI_ANY_TAG (integer) IN comm communicator (handle) OUTstatus status object (Status) IN, OUT, INOUT: Argument wird als Eingabe, Ausgabe oder beides verwendet

15 07. – Parallelrechner-Programmierung mit MPI15 MPI: Opaque Objekte und Handles MPI verwaltet Speicher für Puffer und für die interne Darstellung von MPI-Objekten, wie Kommunikatoren, Datentypen, usw. Dieser Speicher ist für den Benutzer nicht direkt, sondern nur über sog. Handles im Zugriff Ein opaques Objekt und sein Handle ist nur für den zugehörigen Prozess signifikant und kann nicht auf andere Prozesse übertragen werden. Opaque Objekte ermöglichen die Nutzung von Datenobjekten über verschiedene Sprachen hinweg und erlauben eine flexible Verwaltung von Ressourcen. In Fortran sind alle Handles vom Typ Integer, in C gibt es unterschiedliche Typen für jede Kategorie.

16 07. – Parallelrechner-Programmierung mit MPI16 MPI-Funktionen: Syntax FORTRAN : MPI_RECV(BUF, COUNT, DATATYPE, SOURCE, TAG, COMM, STATUS, IERROR) BUF(*) INTEGER COUNT, DATATYPE, SOURCE, TAG, COMM, STATUS(MPI_STATUS_SIZE),IERROR C : int MPI_Recv(void* buf, int count, MPI_Datatype datatype, int source,int tag, MPI_Comm comm, MPI_Status *status) Fehlerstatus als Argument IERROR bei FORTRAN, als Rückgabewert bei C

17 07. – Parallelrechner-Programmierung mit MPI17 MPI-Funktionen: Syntax mpi4py obj = comm.recv(source = s, tag = t, status = stat) where comm: Communicator, e.g. MPI.COMM_WORLD obj: python object, s,t:integer, stat:MPI.status() comm.Recv(ar, source = s, tag = t, status = stat) where comm: Communicator, e.g. MPI.COMM_WORLD ar: numpy array, s,t:integer, stat:MPI.status() Error handling implicit via python module Exception

18 07. – Parallelrechner-Programmierung mit MPI18 MPI: vordefinierte Namen MPI_COMM_WORLD (for mpi4py: MPI.COMM_WORLD) Kommunikationsbereich mit allen beteiligten Prozessen MPI_ANY_TAG, MPI_ANY_SOURCE (for mpi4py: MPI.ANY_TAG, MPI.ANY_SOURCE) die Argumente tag bzw. source sind beliebig MPI_STATUS_SIZE Anzahl von Elementen für das Feld status MPI_INTEGER, MPI_REAL, MPI_DOUBLE_PRECISION, … MPI-Namen für Fortran-Datentypen MPI_INT, MPI_FLOAT, MPI_DOUBLE, … MPI-Namen für C-Datentypen Vordefinierte Namen brauchen nicht deklariert zu werden

19 07. – Parallelrechner-Programmierung mit MPI19 MPI Programmstruktur Fortran program main include ´mpif.h´ integer ierror... call MPI_INIT(ierror)... Aufrufe von MPI-Routinen... call MPI_FINALIZE(ierror)... end C #include "mpi.h" int main(int argc, char **argv) {... MPI_Init(&argc, &argv);... Aufrufe von MPI-Routinen... MPI_Finalize();... }

20 07. – Parallelrechner-Programmierung mit MPI20 MPI Programmstruktur python from mpi4py import MPI... Aufrufe von MPI-Routinen...

21 07. – Parallelrechner-Programmierung mit MPI21 Start eines MPI-Programms Startmechanismus und Startbefehlssyntax wird von der Implementierung vorgegeben Einfachste Form: mpirun –n 4./a.out mpirun –n 4 python script.py Startet auf 4 Prozessoren je einen Prozess (Task), der jeweils die gleiche Datei a.out resp. script.py ausführt. SPMD-Modell: Single Program, Multiple Data Jedem Task wird eine eindeutige Identifizierung zugeordnet, mit deren Hilfe die von a.out durchgeführten Befehle differenziert werden können.

22 07. – Parallelrechner-Programmierung mit MPI22 MPI-Bezeichnungen Communicator : Die von mpirun parallel gestarteten Tasks, die miteinander kommunizieren MPI_COMM_WORLD: vordefinierter Name des beim Start erzeugten communicators Communicator size Anzahl der im communicator versammelten Tasks Process rank eindeutige Identifizierung der einzelnen Task durch eine ganze Zahl zwischen 0 und size-1

23 07. – Parallelrechner-Programmierung mit MPI23 Obligatotische MPI-Komponenten mpif.h, mpi.h Include-Dateien für Fortran und C mit Deklarationen der vordefinierten Namen und Konstanten MPI_INIT() MPI_FINALIZE() MPI_COMM_SIZE(comm, size) IN comm communicator (handle) OUT size number of processes in the group of comm (integer) MPI_COMM_RANK(comm, rank) IN comm communicator (handle) OUT rank rank of the calling process in group of comm (integer)

24 07. – Parallelrechner-Programmierung mit MPI24 Erstes MPI Programm (Fortran) program hello include ´mpif.h´ integer ier, np, tid call MPI_INIT(ier) call MPI_COMM_SIZE(MPI_COMM_WORLD, np, ier) call MPI_COMM_RANK(MPI_COMM_WORLD, tid, ier) call MPI_FINALIZE(ier) write(6,*)‘hello‘, np, tid end

25 07. – Parallelrechner-Programmierung mit MPI25 #include "mpi.h" #include int main(int argc,char **argv) { int np, tid; MPI_Init(&argc,&argv); MPI_Comm_size(MPI_COMM_WORLD,&np); MPI_Comm_rank(MPI_COMM_WORLD,&tid); printf("hello %i %i \n",np,tid); MPI_Finalize(); return 0; } Erstes MPI Programm (C)

26 07. – Parallelrechner-Programmierung mit MPI26 Erstes MPI Programm (Python) #hello.py from mpi4py import MPI comm = MPI.COMM_WORLD tid = comm.Get_rank() np = comm.Get_size() print "hello", np, tid

27 07. – Parallelrechner-Programmierung mit MPI27 Weitere nützliche MPI-Routinen MPI_GET_PROCESSOR_NAME( name, resultlen ) OUT name A unique specifier for the actual node (character). OUT resultlen Length (in printable characters) of the result returned in name (integer) mpi4py : name = comm.Get_processor_name() MPI_WTIME() returns a floating-point number of seconds, representing elapsed wallclock time since some time in the past mpi4py : name = comm.Wtime() MPI_WTICK() MPI_WTICK returns the resolution of MPI_WTIME in seconds, i.e. as a double precision value the number of seconds between successive clock ticks. mpi4py : name = comm.Wtick()


Herunterladen ppt "GWDG – Kurs Parallelrechner-Programmierung mit MPI MPI Eine Einführung Oswald Haan"

Ähnliche Präsentationen


Google-Anzeigen