Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

© 1999 Mathias Biere17.11.1999Projektgruppe SAP R/3 auf Linux Cluster CCS Die Computing Center Software des PC² Seminarvortrag von Mathias Biere.

Ähnliche Präsentationen


Präsentation zum Thema: "© 1999 Mathias Biere17.11.1999Projektgruppe SAP R/3 auf Linux Cluster CCS Die Computing Center Software des PC² Seminarvortrag von Mathias Biere."—  Präsentation transkript:

1 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux Cluster CCS Die Computing Center Software des PC² Seminarvortrag von Mathias Biere

2 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 2 Inhalt n Einleitung n Architektur n Eine Insel ! n Resource & Service Description Language n Bedienung des Systems

3 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 3 Historischer Abriß CCS: Computing Center Software Eigenentwicklung des PC² mit Fördermitteln des Bundes und der EU Beginn des Projekts 1992 erster Einsatz auf 1024-Prozessor Maschine GCel-1024 Verwaltung des gesamten Rechnerparks, nur Single Site Anwendungen Einführung der Beschreibungssprache RSD (resource and service description) Unterstützung von Multi Site-Applikationen neue Konzepte in aktueller Version 4: CCS Islands, Center Resource Manager und Center Information Server Einleitung

4 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 4 Resource-Management-System für parallele Hochleistungsrechner Werkzeug zur Verwaltung des Rechenzentrums Was bietet CCS? Scheduling Zur Laufzeit wechselbare Scheduling-Module Deadlines: System garantiert termingerechte Ausführung Mapping Belegung von Partitionen mit optimalen Kommunikations- eigenschaften Exklusive Vergabe von Partitionen oder time sharing mit Begrenzung der maximalen Last pro Knoten Autorisierung, Abrechnung, Maschinenstatus Detaillierte Protokolle und Statistiken Aktuelle Informationen zu jedem Knoten Rechtevergabe auf Benutzer- und Projektebene Einleitung

5 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 5 Benutzerschnittstelle zu einzelnen Parallelrechnern Abstraktion von Eigenschaften einzelner Maschinen (Prozessor, Betriebssystem...) Ausgangspunkt für Metacomputing-Anwendungen Was bietet CCS? Schnittstelle zu anderen Managementsystemen Login in Unix-Umgebung, interaktiver und Batch-Betrieb Wiederaufnahme von Verbindungen, Pufferung von Ausgaben Einheitliche Benutzerschnittstellen auf allen Maschinen, Operator Shell Einleitung

6 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 6 Einordnung von CCS HPC Management NQS, NQE, PBS MACS LoadLeveler Basierend auf Queuing Systems Workstation-Cluster Management Codine Condor LSF... Verteilung sequentieller Jobs Metacomputer Management z.B. Globus noch eine höhere Stufe CCS computing center software Einleitung

7 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 7 Architektur n Einleitung n Architektur n Eine Insel ! n Resource & Service Description Language n Bedienung des Systems

8 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 8 Architektur (1) In ANSI C geschrieben (ca Zeilen Code) POSIX konform Runtime Environment Layer (RTE) mit Schnittstellen für Signalbehand- lung, Terminalsteuerung, Dateioperationen... Einzelne Ressourcen liegen in gemeinsamer NFS/NIS domain, können aber geographisch verteilt sein Auf den einzelnen Maschinen laufen daemons, die im Fehlerfall automatisch beendet und neu gestartet werden Kommunikation zwischen einzelnen Modulen mittels einheitlicher Beschreibungssprache RSD Architektur

9 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 9 Architektur (2) CIS: Center Information Server CRM: Center Resource Manager information on services passive active RSD data Link to other Resource Management Systems info Island GCel-1024 Island hpcLine Island CC Architektur

10 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 10 Architektur (3) Jede Maschine ist als eigenständige Insel - CCS Island - gekapselt. Das Management ist vollkommen unabhängig von den anderen Inseln. Vorteile dieses Konzepts: Skalierbarkeit Zuverlässigkeit leichtere Wiederherstellung nach Fehlern Architektur

11 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 11 Architektur (4) CRM: Center Resource Manager Der Center Resource Manager ist als von den Inseln unabhängige Instanz für Multsite-Applikationen zuständig. Er bestimmt die nötigen Ressourcen (Rechner) und führt die Jobs aus. CIS: Center Information Server Der Center Information Server hat eine passive Rolle, so daß sein Ausfall keine Konsequenzen für den Rest des Systems hat - ein Neustart reicht. Er stellt aktuelle Informationen zu Rechnern, Netzwerkzustand usw. zur Verfügung. Architektur

12 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 12 n Einleitung n Architektur n Eine Insel ! n Resource & Service Description Language n Bedienung des Systems Eine Insel !

13 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 13 Access Manager Autorisierung und Abrechnung Queue Manager Scheduling Machine Manager Hardware Island Manager Name services und Überwachung Eine Insel !

14 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 14 Hierarchie der Dämonen (1) Eine Insel ! Der Access Manager Dämon analysiert Benutzeraufträge und gibt den Auftrag mit Privilegien an den Queue Manager weiter CCS unterstützt folgende Privilegien: Zugangsrechte pro Maschine erlaubter Zeitraum (Tag, Nacht, Wochenende...) maximale Anzahl gleichzeitiger Ressourcen Rechenzeit in Knotensekunden Art des Zugangs: interaktiv, Batch, Reservierung

15 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 15 Hierarchie der Dämonen (2) Eine Insel ! Der Queue Manager Dämon bestimmt das Scheduling. Er kann zur Laufzeit gewechselt werden, wenn eine andere Strategie erwünscht ist; normalerweise wird verbessertes first come first serve benutzt. Es werden sowohl Aufträge zu festen als auch zu variablen Zeiten unterstützt. Batch- und interaktive Jobs werden in der selben Warteschlange geführt. Indem ein Job mit Deadline akzeptiert wird, wird vom System die Erledigung zum angegebenen Zeitpunkt garantiert. Strategie dafür ist: Zum ersten günstigen oder letzten möglichen Zeitpunkt.

16 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 16 Hierarchie der Dämonen (3) Eine Insel ! Der Island Manager Dämon verfügt über eine vollständige Sicht auf die Insel und überwacht die anderen Dämonen. Er kann sie bei Fehlern beenden und neu starten. Außerdem werden Name Services zur Verfügung gestellt: Adreßumsetzung zwischen physischer Netzwerkadresse und symbolischen Namen. Damit kann der IM andere Dämonen auf andere Knoten / Hosts verlagern. Der IM ist so unabhängig wie möglich von anderen Dämonen.

17 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 17 Hierarchie der Dämonen (4) Eine Insel ! Der Machine Manager Dämon ist für alle maschinenspezifischen Aufgaben nötig. Es können zwei Bereiche unterschieden werden: Maschinen- Verwaltung Programm- Ausführung

18 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 18 Der Machine Manager (1) Eine Insel ! NSM MSMCM... NSM EM Dispatcher MV Maschinen-Verwaltung Programm- Ausführung EM HPC Hardware Der Mapping Verifier MV prüft das vom QM bestimmte Mapping anhand seiner Kenntnis der Maschine und macht ggf. Gegenvorschlag. Der Configuration Manager CM bootet und beendet die Betriebssystemsoftware und erzeugt Partitionen. Der Master Session Manager MSM bildet die Schnittstelle zur Ausführungsschicht, erzeugt die Session und liefert Information über den Zustand des Jobs.

19 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 19 Der Machine Manager (2) Eine Insel ! NSM MSMCM... NSM EM Dispatcher MV Maschinen-Verwaltung Programm- Ausführung EM HPC Hardware Auf jedem allozierten Knoten läuft ein Node Session Manager NSM als Entsprechung des MSM. Auf Befehl des MSM werden via fork ein - oder im Time Sharing Betrieb - mehrere Execution Manager erzeugt. Ferner werden Auslastungsdaten des Knotens zur Verfügung gestellt. Der Execution Manager EM kapselt ein laufendes Anwendungsprogramm mit seiner Umgebung (UID, Environment-Variablen...). Dabei werden auch Standard-I/O-Streams gepuffert (stdout, stderr, stdin).

20 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 20 Resource & Service Description n Einleitung n Architektur n Eine Insel ! n Resource & Service Description Language n Bedienung des Systems

21 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 21 Resource & Service Description (1) Alle CCS-Module bauen auf der Resource and Service Description Language auf. RSD wird eingesetzt auf Benutzerebene, um erforderliche Ressourcen zu spezifizieren auf Administratorebene, um die vorhandenen Strukturen zu darzustellen auf Centerebene vom CCS, bei der Kommunikation zwischen Modulen, bei der Verteilung der Resourcen und zur Datenhaltung im CIS RSD

22 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 22 Resource & Service Description (2) RSD

23 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 23 RSD Beispiel (1) RSD

24 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 24 RSD Beispiel (2) RSD

25 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 25 Eigenschaften RSD Einfaches ist leicht zu formulieren Unterstützung komplexer Strukturen Unterstützung dynamischer Elemente Objektorientierte, portable Darstellung Rekursion graph-strukturierte Definitionen beliebige Attribute für Komponenten Variablen z. B. für CPU load... RSD-Objekt kann via eigenes Protokoll oder CORBA / COM+ versandt werden

26 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 26 Bedienung des Systems n Einleitung n Architektur n Eine Insel ! n Resource & Service Description Language n Bedienung des Systems

27 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 27 Kommandozeilenbefehle Allokieren einer Ressource: ccsalloc ccsalloc -m gcel -n 64 -t 2h ccsalloc -m psc -n 16 scampi -- myprog Starten eines Job in reservierter Ressource: ccsrun ccsrun 7 pvm myprog Abbrechen eines Jobs und Freigabe der Ressource: ccskill ccskill 7 Verlorene Session wiederverbinden: ccsbind Informationen zu Jobstatus, Scheduling... : ccsinfo Zusätzliche Zeit, Knoten anfordern: ccsaddres Bedienung

28 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 28 ccsSchedule Bedienung

29 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 29 CCS View Bedienung

30 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 30 CCS Cluster Monitor Bedienung

31 © 1999 Mathias Biere Projektgruppe SAP R/3 auf Linux ClusterSeite: 31 Operator Shell Bedienung


Herunterladen ppt "© 1999 Mathias Biere17.11.1999Projektgruppe SAP R/3 auf Linux Cluster CCS Die Computing Center Software des PC² Seminarvortrag von Mathias Biere."

Ähnliche Präsentationen


Google-Anzeigen