High Performance Computing mit Windows Windows HPC Server 2008 Wolfgang DREYER HPC - Produkt Manager Deutschland

Präsentation zum Thema: "High Performance Computing mit Windows Windows HPC Server 2008 Wolfgang DREYER HPC - Produkt Manager Deutschland"—  Präsentation transkript:

1 High Performance Computing mit Windows Windows HPC Server 2008 Wolfgang DREYER HPC - Produkt Manager Deutschland wdreyer@microsoft.com

2 Agenda Hohe Produktivität für HPC Überblick Windows HPC Server 2008 Partnerschaften Diskussion

3 Geschäftsvorteile durch HPC WettbewerbsvorteileWettbewerbsvorteile Möglichkeiten zur Verbesserung der Betriebsleistung (Kosten, Qualität und Produkteinführungszeit) Qualitätsgerechte Compliance im Bezug auf behördliche Anforderungen Schnelle Zyklen der Produktinnovation

4 End-to-End-Workflow Resultat Analyse und Nachverarbeitung Analyse Simulationen und Tests Entwurf und Vorverarbeitung Simulation Konzept und Zielsetzung Entwurf

5 HPC-Speicherlösung NAS und Cluster-NAS Gemeinsame Dateisysteme oder SAN-Dateisysteme Paralleldatei- systeme Aggregat (MB/s/Core) Anzahl der Cores im Cluster Windows Server 2003 Windows Server 2008 … HP – PolyServe Ibrix – Fusion Quantum – StorNext SANbolic – Melio file system IBM – GPFS Panasas – Active Scale

6 Highspeed-Networking-Technologien Myrinet, Infiniband, 10-GB-E. 1-GB-Ethernet 100-MB-Ethernet Bandbreite Verfügbarkeit Cisco Voltaire Qlogic Open Fabrics Cisco Voltaire Qlogic Open Fabrics Myricom NetEffect

7 Aktuelle Umgebung Unternehmensinfrastruktur Speicherung Cluster/Supercomputer Highspeed-Networking Ingenieure Wissenschaftler Information Worker Compiler Debugger Spezialsprachen Mainstreamtechnologien Finanzanalysten

8 High Productivity Computing Kombinierte Infrastruktur Integrierte Desktop- und HPC-Umgebung Vereinheitlichte Entwicklerumgebung

9 Die Herausforderung High-End-Computing muss leichter und produktiver anzuwenden sein. Der Fokus sollte auf Time to Solution liegen, dem wichtigsten Wertmaß für High-End- Computing-Anwender … Eine gemeinsame Softwareumgebung für wissenschaftliches Computing von High-End-Systemen bis zu Standarddesktops wird die Produktivitäts- gewinne durch die leichte Nutzbarkeit und Handhabung der Systeme steigern. High-End Computing Revitalization Task Force, 2004 (Office of Science and Technology Policy, Executive Office of the President) Hürde: Integrationsfähigkeit Mangel an nahtloser Integration zwischen Workstations, Clustern, Daten Mangel an Anwender-Workflowintegration über verschiedene Anwendungen und Abteilungen hinweg Hürde:Technologieinseln Isolierte Inseln erfordern viel manuelle Arbeit Wenig End-to-End-IT-Prozessintegration Existierende Investitionen in weitgefächerte IT-Qualifikationen und IT- Infrastruktur können nicht genutzt werden Hürde: Anwendungsverfügbarkeit Begrenzte Umgebung mit Parallel- anwendungen Mangel an entwicklerfreundlichen Tools, schwer zu programmieren

10 Warum Microsoft für HPC? Aktuelle Probleme HPC- und IT-Datencenter-Zusammenlegung: isoliertes Clustermanagement Entwickler können Parallelität schwer programmieren Anwender haben kaum Zugang zur Verbesserung der Verarbeitung von Kernprozessen und Daten Aktuelle Probleme HPC- und IT-Datencenter-Zusammenlegung: isoliertes Clustermanagement Entwickler können Parallelität schwer programmieren Anwender haben kaum Zugang zur Verbesserung der Verarbeitung von Kernprozessen und Daten Wie kann Microsoft helfen? Gut positioniert für die Mainstreamintegration von Anwendungsparallelitäten Hat bereits begonnen, Parallelität weitgehend für die Entwicklercommunity möglich zu machen Kann den Wert von HPC durch die Integration von Produktivitäts- und Managementtools steigern Wie kann Microsoft helfen? Gut positioniert für die Mainstreamintegration von Anwendungsparallelitäten Hat bereits begonnen, Parallelität weitgehend für die Entwicklercommunity möglich zu machen Kann den Wert von HPC durch die Integration von Produktivitäts- und Managementtools steigern Investitionen von Microsoft in HPC Umfangreiches Softwareportfolio: Client, Server, Management, Entwicklung und Zusammenarbeit Engagierte Teams für Cluster-Computing Vereinheitlichte Parallelentwicklung durch die Parallel Computing Initiative Partnerschaften mit technischen Computinginstituten Investitionen von Microsoft in HPC Umfangreiches Softwareportfolio: Client, Server, Management, Entwicklung und Zusammenarbeit Engagierte Teams für Cluster-Computing Vereinheitlichte Parallelentwicklung durch die Parallel Computing Initiative Partnerschaften mit technischen Computinginstituten

11 Die HPC-Strategie von Microsoft: Computing Phase 1: Unternehmenscluster Computing Daten- Speicherung IO 20062007 2008 Phase 2: allgemeine Plattform für Abteilungs- und Unternehmenscluster Windows Compute Cluster Server 2003 Entwickler-Tools Produktivität Ressourcen- management Schnelle Entwicklung Nutzungsbereite Anwendungsüberwachung Leichtes Management Skalierbare Unterstützung für Dateisysteme NetworkDirect für sehr hohe Netzwerkeffizienz Allgemeine Entwickler-Plattform für Desktop-Cluster Allgemeine Management- und Produktivitätsplattform SOA-basiert; skalierbare Partner Windows HPC Server 2008 Visual Studio 2008 Parallel Computing Initiative MOSS, SQL, System Center Key-Partner Expanding to the Enterprise

12 Die Microsoft-Vision für HPC Administrator Integrierte und sofort nutzbare HPC-Clusterlösung Vereinfachtes Setup und Deployment Integrierte Diagnosetools Effiziente Clusternutzung Integration in IT-Infrastrukturen und Richtlinien Anwendungsentwickler Integrierte Tools für paralleles Programmieren Hochproduktive Frameworks für Parallelprogrammierung Serviceorientierte HPC- Anwendungen Unterstützt die wichtigsten HPC-Entwicklungsstandards UNIX-Anwendungsmigration Endanwender Nahtlose Integration in Workstationanwendungen Integration in bestehende Zusammenarbeits- und Workflowlösungen Sichere Ausführung von Aufträgen und sicherer Datenzugriff Windows HPC ermöglicht Ihnen mehr zu erreichen! Und zwar in kürzerer Zeit und mit geringerem Aufwand: durch die Nutzung der bereits vorhandenen Anwenderfähigkeiten und durch Integration in/von bereits bestehende(n) Tools.

13 Integriertes HPC der Zukunft

14 Windows HPC Server 2008 Vollständige, integrierte Plattform für Computational Clustering Aufgebaut auf der bewährten Windows Server 2008-Plattform Integrierte Entwicklungsumgebung Windows Server- Betriebssystem Sicher, stabil, getestet Unterstützung für High Performance-Hardware (x64, Highspeed- verbindungen) HPC Pack Job-Scheduler Ressourcenmanager Clustermanagement Interface für Empfang und Weitergabe von Jobs an andere Systeme Windows HPC Server 2008 Integrierte, sofort nutzbare Lösung Investitionen in Windows- Administration und -Tools können genutzt werden Macht Clusternutzung leicht und sicher wie ein Einzelsystem Beta 1 erhältlich unter www.microsoft.com/hpc www.microsoft.com/hpc

15 Was ist neu in Windows Server 2008? Verlässlichkeit ´ Dynamische Partitionierung – Hot Plug PCI Express/Memory, Hinzufügen und Ersetzen von Prozessoren im laufenden Betrieb Dateisysteme – selbstreparierendes NTFS Usability Windows 64bit Hypervisor - HyperV Neues Ereignisprotokoll/ neue Diagnosefunktion PowerShell Leistung Speichermanagerleistung Schnellerer Festplattenzugriff für Auslagerungsdateien und gemappte Dateien, I/O-Eingabe/Ausgabe (das 64-KB-Limit gibt es nicht mehr) I/O-Priorität Basiert auf der Priorität des Issuing Thread oder der explizit definierten I/O-Priorität Verwendet von Windows Server 2008-Hintergrundaufgaben wie Indizierung Erweiterungen die speziell die NUMA (Non-Uniform Memory Access) Funktionalität unterstützen SMB 2.0 Unterstützt NTFS-Client-seitige symbolische Links Unterstützung für beliebige Buffergrößen für effizientere Kopierresultate mit 30 bis 40-fachen Durchsatzverbesserungen

16 Was ist neu im HPC Pack 2008? System- management Job- Scheduling Networking und MPI Speicherung Neues System Center-UI PowerShell für CLI-Management Hohe Verfügbarkeit für Hauptknoten Windows Deployment Services Diagnose- und Reportingtools Operations Manager wird unterstützt SOA und WCF werden unterstützt Genaues Ressourcen-Scheduling Verbesserte Skalierbarkeit für größere Cluster Neue Job-Scheduling-Richtlinien Interoperabilität via HPC-Profile NetworkDirect (RDMA) für MPI Verbesserter Netzwerkkonfigurationsassistent Shared Memory MS-MPI für Multicore MS-MPI integriert in Windows Event Tracing Verbesserte iSCI SAN-Unterstützung in Win2008 Verbesserter Server Message Block ( SMB v2) Neue Drittanbieter-Parallelsystem- Dateiunterstützung für Windows Neue Memory-Cache-Anbieter

17 Windows HPC Server 2008 OrtTukwila, WA Hardware – Geräte256 Dual-CPU, Quadcore-Intel-5320- Clovertown-1,86-GHz-Prozessor und 8 GB RAM Hardware – NetworkingPrivate und öffentliche Netze: Broadcom GigE MPI: Cisco Infiniband (IB) SDR inkl. 34 IB Switches in Leaf- und Knotenkonfiguration Anzahl der Knoten256 Gesamtanzahl Cores2048 Gesamtspeicher2+ TB RAM Angaben für aktuelle Linpack-Runs Beste Linpack-Rate bisher11,75 TeraFLOPS Beste Clustereffizienz bisher77,1 % Als Vergleich … Linpack-Rate Juni 2007, Top500 (#106), auf der gleichen Hardware 8,99 TeraFLOPS Clustereffizienz Juni 2007, Top500 (#106), auf der gleichen Hardware 59 % Typische Top500-Effizienz für Clovertown-Motherboards mit IB unabhängig vom Betriebssystem 6577 % (2 Instanzen von 79 %) 30 % Effizienzsteigerung mit der gleichen Hardware Freigabe: November 07 Beta 1 Sommer 08 RTM Deployment in wenigen Stunden #X Top 500 #X Top 500 Ready for Primetime

18 Höhere Effizienz für Systemadmins Einfach im Setup und Management in einer vertrauten Umgebung – Nutzungsbereite Clusterlösungen durch OEMs – Vereinfachtes System- und Anwendungsdeployment Basisimages, Patchs, Treiber, Anwendungen Fokus auf leichtem Management – Umfassende Diagnose-, Trouble Shooting- und Überwachungstools – Vertrautes, flexibles und zentrales Managementinterface – Entsprechende Befehlszeilenunterstützung für automatisches Management Skalierbarkeit – Skalierbares Deployment, Administration, Infrastruktur – Hauptknoten-Failover – Clusternutzungsreporting – Computerknotenfilterung Bessere Integration ins Unternehmensmanagement – Patchmanagement – System Center Operations Management – PowerShell – Windows 2008-Hochverfügbarkeitsservices

19 System Center Operations Manager Produktivere HPC-Umgebung Vorgespeicherte Reports für Überwachung aus Endanwenderperspektive Sicherheitsloganalyse und -reporting Skalierbare Überwachung Überwachungsanwendungen laufen in einer skalierbaren, dezentralen Umgebung Skalierbar mit abgestuften Managementservern Überwachung ohne Agents Höhere Effizienz und Kontrolle Verbessertes Design für mehr Sicherheit Active Directory-Integration Erweiterte Lösung mit Management Packs

20 Hochverfügbarer Hauptknoten – Die nächste Generation der Clusterservices – Große Verbesserungen bei der Konfigurationsvalidierung und im Management HPC Pack enthält: – Setupintegration mit Failover Clustering Services Hauptknoten- und Failoverknoten-Setup mit SQL Failover Cluster Job-Scheduler-Services- Failover – Managementkonsole verbunden mit Windows Server-Failover- Managementkonsole Gemeinsame Festplatte Privates Netzwerk Hauptknoten Win2008 Enterprise Clustered SQL Server Failover- hauptknoten Win2008 Enterprise Clustered SQL Server Windows Failover Clustered Single point of error werden durch die Failover-Lösung eliminiert Erfordert Windows Server 2008 Enterprise Failover Clustering Services

21 NetworkDirect Prioritäten – Vergleichbar mit hardwareoptimierten MPI- Implementierungen Fokus auf MPI-Only-Lösung für Version 2 – Verbs-basiertes Design für nahtlose Integration in native High Performance Networking Interfaces – Koordiniert mit Win Networking Teamlangzeitpläne Implementierung – MS-MPIv2 für 4 Networkingpfade Gemeinsamer Speicher für Prozessoren auf einem Motherboard TCP/IP-Implementirung (normales Ethernet) Winsock Direct (und SDP) für socketsbasiertes RDMA Neues RDMA-Networking- Interface – HPC-Teampartner mit Networking- IHVs zur Entwicklung und Distribution von Treibern für dieses neue Interface Ein neues RDMA-Networking-Interface für mehr Geschwindigkeit und Stabilität TCP/Ethernet- Netzwerk Kernelbypass MPI-Anwendung Socketbasierte Anwendung MS-MPI Windows Sockets (Winsock + WSD) Networking Hardware Netzwerkhardware Networking Hardware Hardwaretreiber Networking Hardware Mini-Port- Treiber TCP NDIS IP Networking Hardware Awendermodus-Zugangsebene Networking Hardware Winsock Direct- Provider Networking Hardware NetworkDirect- Provider RDMA- Netzwerk OS- Komponente CCP- Komponente IHV- Komponente (ISV) Anw.

22 Interoperabilität und Open-Grid-Forum Was ist das? Der Entwurf eines OGSA-(Open- Grid-Services-Architectures-) Inter-operabilitätsstandards für Stapelaufträge Scheduler- Aufgabenübermittlung und - management Basierend auf Webservicestandards (HTTP, XML, SOAP) Was bedeutet das? Ermöglicht die Integration von HPC-Anwendungen, ausgeführt auf verschiedenen Plattformen und Schedulern durch Webservicestandards Wie ist der Status? Wurde von der Öffentlichkeit akzeptiert Es wird an neuen Erweiterungen gearbeitet Windows Cluster Windows Center LSF/PBS/SGE/Condor Linux, AIX, Solaris HPUX, Windows

23 Parallelprogrammierung Jetzt erhältlich: – Debugging (für Entwicklung/Parallelprogrammierung) in Visual Studio – Compiler, Debugger, Runtimes et cetera von Drittanbietern Neue Technologien: Parallelframework – LINQ/PLINQ – natürliche OO-Sprache für SQL-Abfragen in.NET – C# Futures – für Loops beim Parallelprogrammieren Für die Zukunft: Parallel Computing Initiative (PCI) – Dreifachinvestment mit einem neuen Engineeringteam – Gemeinsame Entwicklertools für Multicore-Codes vom Desktop bis zu Clustern Compiler Visual Studio Intel C++ Gcc PGI Fortran Intel Fortran Absoft Fortran Fujitsu Profiler und Tracer PerfMon ETW (für MS-MPI) VSPerf/VSCover CLRProfiler Vampir (portiert an Windows) Intel Collector/ Analyzer (läuft auf CCS mit Intel MPI) Vtune & CodeAnalyst Marmot (portiert an Windows) MPI Lint++ Debugger Visual Studio WinDbg DDT Laufzeit und Bibliotheken MPI OpenMP C# Futures MPI.C++ and MPI.Net PLINQ

24 Versionsvergleich FeatureWindows Compute Cluster Server 2003Windows HPC Server 2008 BetriebssystemWindows Server 2003 SP1Windows Server 2008 ProzessortypX64 (AMD64 oder Intel EM64T) KnotendeploymentRemote Installation Services (RIS)Windows Deployment Services HauptknotenredundanzK. A. Windows Failover Clustering und SQL Server Failover Clustering ManagementBasisknoten- und Jobmanagement Integriertes Knoten- und Auftragsmanagement, Gruppierung, Überwachung auf einen Blick, Diagnose NetzwerktopologieNetwork Configuration WizardVerbesserter Netzwerkkonfigurations-Assistent MS-MPIWinsock Direct-basiert NetworkDirect-basiert. Neue Shared-Memory- Implementierung für Multicoreprozessoren SchedulerBefehlszeilen oder GUI Integriert in die Managementkonsole, mit voller Unterstützung für Windows PowerShell- Scripting und Legacy-Befehlszeilen-UI-Scripts aus v1. Umfassend verbesserte Geschwindigkeit und Skalierbarkeit Reporting K. A. Integriert in die Managementkonsole. Erweiterbarkeitsfeatures ermöglichen die Verwendung von SQL Analysis Services für zusätzliche Analysen Überwachung Baut auf Windows auf. Keine clusterspezifische Unterstützung Hot Mapping (an Clustern oder Knotengruppen). Clusterweite Leistungsüberwachung DiagnoseK. A. Integrierte Verifizierungs- und Leistungstests. Testergebnisse und Testhistorien können gespeichert, gefiltert und gelesen werden

25 Zusammenfassung Features & Vorteile KategorieFeatureVorteil Clustereistung Skalierbare Scheduler-Architektur (unabhängig skalierbarer Auftrag, Validator, Ressourcencontroller und SQL Server-basierter Objektspeicher); Integration in Scheduler von Drittanbietern, OGF APIs Skalierbarkeit für tausende Cores mit dem integrierten Scheduler NetDirect-RDMA für InfiniBand und 10-GB-Ethernet und Highspeed MPI Niedrige Reaktionszeiten (< 5 us) und hohe Bandbreite (Wire Speed) Cluster-Dateisystem-Unterstützung (Lustre, IBM GPFS, Panasas) *TBD Dateispeicherungsskalierbarkeit für tausende Cores; Integration in bestehende HPC-Infrastruktur Clustereffizienz Systemlevelüberwachung mit integrierter Heat-Map-Integritätsüberwachung Hunderte Knoten im Überblick – schnell und leicht verfügbar Integration von Unternehmensklassen-Provisioning-Tools mit System Center und MOM Pack Skalierung für viele Tausend Knoten und Integration in bestehende Investitionen. Dazu Fehlerkorrelation auf Anwendungsebene sowie hoch entwickeltes Reporting Gruppenbasierte Vorlagen mit benutzerdefinierten Tags und PowerShell-CLI Automatisieren Sie profane Aufgaben und kontrollieren Sie Änderungen zentral, um die Uniformität sicherzustellen. Alle Clustermanagementbefehle sind via CLI verfügbar Hoch entwickelte Richtlinien, u. a.: prioritätsbasiert (FCFS, First Come, First Served), Backfilling, nichtexklusives und lizenzabhängiges Scheduling, Bevorrechtigung und Erweitern beziehungsweise Einschränken von Aufträgen (*neu) Stellen Sie sicher, dass Cluster viel genutzt werden – in gemeinsamen, heterogenen Umgebungen Verbesserte Produktivität Integrierte Unterstützung von führenden unabhängigen Softwareanbietern, einschließlich der 15 führenden Anbieter Jobs können als Endanwender verfolgt werden, nicht als isolierte Cluster. Endanwender können gemeinsame Computerleistung nutzen, ohne komplexe CLI-Befehle lernen zu müssen Neues Windows-Webservice-API, basierend auf Windows Communication Framework (WFC), Unterstützung für interaktive Workloads mit WCF-Routern Entwickeln Sie schnell Prototypen und Webservices, die die Parallelmodelle nutzen

26 Versionen Technische Vorschau (Private Release) Beta 1 – jetzt erhältlich! Beta 2 – zusammen mit Windows Server 2008 RTM RTM – 90 bis 120 Tage nach Windows RTM Nov. 2008 Techn. Vorschau Beta 1 Beta 2RTM August 2008 Frühjahr 2008 Sommer 2008

27 Branchenbasierte Lösungen AutomotiveLuftfahrt Geologische Dienste Finanz- dienste BildungRegierung Medizin, Pharma

28 Windows HPC Server 2008-Angebote System Center Operations Manager Windows HPC Server 2008 SQL Server 2008 Express Dritt- anbie- ter HPC Pack System Center Configuration Manager Sofort nutzbare Lösung für bis zu 1000 Knoten HPC Pack Management Deployment Job-Scheduling Drittanbieterpackages für Job-Scheduling Basisangebot, sofort nutzbarHochverfügbarkeitUnternehmensmanagement Kein einzelner Fehlerpunkt Windows Server 2008 Enterprise für hohe Verfügbarkeit des Hauptknotens SQL Server 2008 Enterprise für hohe Verfügbarkeit Größe bis zu vielen Tausend Knoten System Center Operations Manager für hochentwickelte Überwachung System Center Configuration Manager für verbessertes Deployment und Patch- management Windows Server 2008 Core Klein und leicht/kein UI/CLI Hyper-V Kein.NET Framework Windows HPC Server 2008 Windows Server 2008 Enterprise SQL Server 2008 Standard HPC Pack Dritt- anbie- ter SQL Server 2008 Standard HPC Pack Dritt- anbie- ter Windows HPC Server 2008 Windows Server 2008 Enterprise

29 Ressourcen Microsoft HPC-Website – laden Sie jetzt die Beta-1-Version herunter! – www.microsoft.com/hpc www.microsoft.com/hpc Windows HPC-Community-Site – www.windowshpc.net www.windowshpc.net Windows Server x64-Informationen – www.microsoft.com/x64/ www.microsoft.com/x64/ Windows Server System-Informationen – www.microsoft.com/windowsserver www.microsoft.com/windowsserver Die wichtigsten Fakten finden Sie auf dieser Website – www.microsoft.com/getthefacts www.microsoft.com/getthefacts