Rechenzentrum für GSI und Alice-Tier-2 Ein neuer Raum und neue Infrastruktur

Rechenzentrum für GSI und Alice Motivation Historie Planung Bau und Inbetriebnahme Zukunft Aktuell 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Motivation RZ – 1 (altes Rechenzentrum) historisch, ausgelegt auf Mainframes räumlich sehr eng aufgestellte Rackreihen Racks nicht tief genug elektrische Versorgung 180 KW USV- plus Normalnetz Kühlung und Klima modernisiert max. 150 KW (180 KW) durch Umluftkühlgeräte Beschluss nur zentrale Server und Services Netzwerk- und backbones Mass-Storage und Tape-L-ibrary‘s 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Motivation Suche nach neuen Räumlichkeiten für „Number Cruncher“ GSI Alice FAIR 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Historie Betriebsgebäude Raum BG.2.009 großer Raum, Klimaanlage, Doppelboden aber auch Gebäudeleittechnik FRS-Werkstatt und Lagerplatz Strahlenschutz-Cave Strahldiagnose und Betrieb UHV ET (zentrales Not-AUS) B - RZ (Netzwerk-Knotenpunkt für FAIR) 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Historie letzter freier Platz genutzt Aufstellung von 7 Racks mit 180 Rechnern 65 KW Stromverbrauch, luftgekühlt Klimaanlage ausgelastet „Sauna-Feeling“ Laut an „Not-Aus“ gekoppelt neues RZ - 2 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Planung GSI hat durch MoU Rechenkapazität für Alice zugesagt (Alice-Tier-2 Rechenzentrum) Anfang 2008 zusätzliche Gelder für das GSI Alice-Tier-2 RZ angekündigt (500 K€) März: Erstellung einer Konzeptstudie wassergekühlte Umluftracks neu strukturierte Stromversorgung 40 Racks mit ca. 500 KW notwendige Infrastruktur Kosten 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Planung April: Konzeptstudie (Rittal-System) 500 KW Anschluß an zentrale GSI-Kälte Wärmetauscher Pufferspeicher (Wasserkreislauf) zusätzliche Kühleinheiten (Chillars) als Notkühlung neue Verrohrung USV für Kühlagreggate und Pumpen Normalnetzversorgung der Rechner Statik der Decke überprüfen (750 kg/qm) [ 40 x 13 kg (1HE) + 150 kg Rack = 670 kg/0,6 qm ] [ Blade-Center: 4 x 185 kg + Rack = 890 kg/0,6 qm ] 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Warum Rittal-System Racks vorhanden sehr modular Kühleinheiten modular (LCP) stehen neben den Racks kein Wasser innerhalb eines Racks Steuerelektronik (Wasserdurchfluß, Lüftersteuerung) 30 KW Kühlleistung pro LCP redundant, kühlen in beide Richtungen horizontaler Luftstrom über die gesamte Höhe 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Planung 1. Ausbaustufe 8 Racks (120 x 60 cm) 8 LCP (Liquid Cooling Package – Kühlmodule) Powerversorgung ca. 140 KW neue NSHV (500 KW + Strom für Kühlaggregate) Power Distribution Rack (10 x 120 qmm Kabel) Stromschienen in den Racks ( 2 x 96A/Rack) Kühlung Verrohrung für 16 Racks (1 Reihe) Wärmetauscher (6  12 Grad) Leckage-Warnanlage (Racks und Verrohrung) Rauchfrüherkennung (geschlossene Racksysteme mit Umluftkühlung) 28.10.2008 IT-Palaver - Helmut Kreiser / IT

Bau und Inbetriebnahme LITCOS: Planung und Durchführung des 1. Abschnitts GSI: NSHV und Stromversorgung bereitstellen Projekt überwachen Fläche bereitstellen Verschiebung/Reduzierung der FRS-Werkstatt (Temporär) Umzug Doku-Schränke MSR Auflösung Strahlenschutz-Cave mit Teilumzug in einen Dokumentationsraums Vorbereiten des Raumes für SiSt Verschließen mehrerer Deckendurchbrüche 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Zeitablauf Anfang 2008: Gelder wurden angekündigt März: Konzeptstudie erstellen April: Konzeptstudie vorgestellt Mitte April: LoI zur Auftragsvergabe Gespräche zur Flächenbereitstellung und Nutzung Mitte Mai: Auftragsvergabe Mitte Mai: Fläche war geräumt und bereitgestellt Mitte Juni: Beginn der Aufstellungsarbeiten Ende Juni: Abschluß der Arbeiten 7. Juli: offizielle Übergabe 10. Juli: Inbetriebnahme der neuen Infrastruktur 14.-16. Juli: Umzug der Rechner in die neuen Racks durch IT 17. Juli: Einschalten aller Systeme ab 18. Juli: Schrittweise Inbetriebnahme der Rechner 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Bauphase 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Bauphase 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Bauphase 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Inbetriebnahme Umzug von 250 Rechner 160 im RZ – 2 (aus luft- in wassergekühlte Racks) 60 aus dem RZ – 1 in 3 Tagen durch IT selbst durchgeführt Im August: Einbau von 7 Blade-Center für zusätzliche Alice-Rechenkapazität pro Rack auf 40 HE Rechner installiert Stromverbrauch+Kühlung: 120-130 KW (Spitze) 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Umzug 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Umzug 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Blades 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT was wurde erreicht 8 Racks für Computing komplett voll ca. 120 – 130 KW Input elektrischer Leistung Kühlungsinfrastruktur unabhängig von vorhandener Klimaanlage leise ausbaufähig auf 16 Racks ohne Aufwand ca. 250 KW Input elektrischer Leistung Vollausbau mit weiterer Verrohrung (zusätzliche Investitionen) Luft-Kühlungstemperatur 20 C, bei ca. 15 Grad Temperaturdifferenz zwischen vorne und hinten in den Racks bisher störungsfreier Betrieb der Kühleinheiten und Rechner Kosten: Infrastruktur ca. 300 K€ zusätzliche Rechner: ca. 200 K€ 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Zukunft weitere Gelder für Alice-Tier-2 in Aussicht 3 weitere wassergekühlte Racks Erweiterung der Mittelspannungsanlage (20 KV) in 2008/2009 eigener Trafo (1 MW) in 2009 500 KW für Rechner Kühlungsinfrastruktur Mittelfristig: USV (für Kühleinheiten) Ausbau auf ca. 30 Racks in 2 Reihen 3. Reihe wäre möglich 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Status 28.10.2008 IT-Palaver - Helmut Kreiser / IT

IT-Palaver - Helmut Kreiser / IT Aktuell Ausfall der Rechner im RZ – 2 Abschaltung der Kühlwasserversorgung Abschaltung der Stromversorgung RZ – 2 hat aus Geldmangel keine Notkühlung Vorschlag Konzeptstudie: GSI-Kühlung nutzen, eigene Chillars und Pufferspeicher als Notkühlung RZ – 2 hat keine USV-Versorgung geplant: nur für Kühlungsinfrastruktur und Netzwerk RZ – 2: keine temperaturgesteuerte Durchflußregelung des Primärwärmetauschers Abschalten/Anschalten größerer Stromleistungen Einfluß auf Kühlkreislauf der GSI 28.10.2008 IT-Palaver - Helmut Kreiser / IT