Modul 6 Gestaltung von energieeffizienten Kühlsystemen

Präsentation zum Thema: "Modul 6 Gestaltung von energieeffizienten Kühlsystemen"—  Präsentation transkript:

1 Modul 6 Gestaltung von energieeffizienten Kühlsystemen
Version September 2011

2 Grundlegende Herausforderungen und Kühlmöglichkeiten für zentrale IT

3 Entwicklung der Kühllast von IT-Systemen
Trend for the cooling load from different IT systems (expressed in Watts/m2) for the next few years. It can be noted that the specific power installed for cooling will still increase. Thus strategies to adopt more efficient systems/best practices and management for cooling systems are important. Energy efficiency in data centres and server rooms infrastructures has become a major issue for IT and infrastructure management only a few years ago: during the last 10 years the electricity cost has increased, and is expected to continue to rise. In some cases, power costs account for 40-50% of the total data center operation budget Aufschlüsselung zur Entwicklung der Wärmelasten von IT-Geräten. Quelle: [ASHR2005]

4 Adäquate Ausgestaltung des Kühlsystems
Die Auswahl der passenden Ausführung für ein bestimmtes Kühlsystem wird beeinflusst durch bestehende Anlageninfrastruktur; Gesamtleistungsaufnahme der Installation; geographische Lage; physikalische Beschränkungen durch das Gebäude (Form, Größe, Ausrichtung, Zugänglichkeit) The selection of the appropriate design for a particular cooling system is affected by the existing facility infrastructure, the total power level of the installation, the geographical location, and the physical constraints of the building.

5 Adäquate Ausgestaltung des Kühlsystems
Die typischen Möglichkeiten für die Ausgestaltung von Kühlsystemen sind direkt von der klassischen Raumkühlung abgeleitet, obwohl das Equipment meistens speziell für Rechenzentren und IT entwickelt wird. Die Kühlausrüstung für Rechenzentren wird normalerweise speziell entwickelt: Die im Rechenzentrum erzeugte Wärmelast ist üblicherweise spürbar (erfordert die Verringerung der Trockenkugeltemperatur für die Kühlung), während sie in Büroflächen sowohl spürbar als auch latent ist (erfordert die Verringerung der Luftfeuchtigkeit aufgrund der menschlichen Präsenz) The typical options for cooling system design are directly derived from the classical space cooling systems, even though equipment is in the most cases specifically designed for datacenter and IT. The heating load produced in datacenter is typically sensible (needs dry bulb temperature decreasing for cooling) while in an office space is both sensible and latent (needs decreasing of humidity - due to higher human presence).

6 Kategorisierung von Rechenzentren
Parameter: Fläche des Raums; installierte IT-Ausstattung (Anzahl der Racks oder der Server); Gesamtenergieverbrauch der IT-Ausstattung; installierte Kühlinfrastruktur.

7 Total power installed for IT [kW]
Kategorisierung nach Größe Abhängig von der Anzahl der Racks und der installierten Gesamtleistung Space type Installed racks Total power installed for IT [kW] Wiring closets 1 - 3 rack enclosures 1 – 18 Computer rooms 1 – 5 3 – 30 Small data centres 5 – 20 7 – 100 Medium data centres 20 – 100 28 – 500 Large data centres > 100 > 200 Quelle: (APC White Paper #59, 2004)

8 Kategorisierung nach Größe Standort, Infrastruktur und Systemeigenschaften
Space type Area IT equipment characteristics Site, infrastructure and system characteristics Server closet < 20 m2 1-2 servers No external storage Use of office HVAC systems. UPS and DC power is often included. Environmental conditions are not so tightly maintained. HVAC efficiency is similar to the office HVAC system efficiency. Server room < 50 m2 servers Use of office HVAC systems with additional cooling capacity (typically split systems). Cooling and UPS are of average or low efficiency. Data centre < 100 m2 30 – 100 servers Under floor air distribution and CRAC units (more efficient options). Management for IT equipment and no optimisation of air flows. Temperature and humidity tightly controlled. Power and cooling redundancy: low system efficiency. Mid-tier data centre < 500 m2 > 100 servers External storage Under floor or overhead air distribution, or CRAC units (air cooled, constant speed fans, low efficiency). Management for optimisation of air flows. Temperature and humidity tightly controlled. Power and cooling redundancy: low system efficiency. Enterprise class data centres > 500 m2 > 500 servers Use of the most efficient cooling systems, with energy management system. Use of best practices in cooling and airflow management. Maximum redundancy systems: reduced system efficiency.

9 Die richtige Kühlausrüstung
Evaluierung des Kühlbedarfs: Für IT-Ausrüstung ist die thermische Last gleich der absorbierten elektrischen Energie: Die richtige Dimensionierung der IT-Hardware ist für eine IT-Anlage daher der erste Schritt zur Effizienz Für die USV variiert sie zwischen minimalem und maximalem Lastbereich Für Beleuchtung und menschliche Präsenz können Standard-Referenzwerte genommen werden Anzahl und Größe der benötigten Systeme hängen auch stark mit der TIER-Kategorisierung des Rechenzentrums zusammen. Tier 1 = Non-redundant capacity components (single path for power and cooling distribution), guaranteeing % availability Tier 2 = Tier 1 + Redundant capacity components, guaranteeing % availability Tier 3 = Tier 1 + Tier 2 + multiple active power and cooling distribution paths, with a single path active, has redundant components and is concurrently maintainable, guaranteeing % availability Tier 4 = Tier 1 + Tier 2 + Tier 3 + all components are fully fault-tolerant including uplinks, storage, chillers, HVAC systems, servers etc. Everything is dual-powered, gguaranteeing % availability. This categorization affects strongly the infrastructure: the reliability is guaranteed by component redundancy and by the connection of cooling system to the UPS (the electrical system comprises UPS’s), the availability is enforced with thermal storage system (the electrical system is completed with dual power and generators), and the serviceability by doubling ducts and pipes in cooling.

10 Elemente in einem Kühlsystem
Quelle: ASHRAE: Save Energy Now Presentation Series, 2009 Elemente eines Kühlsystems: Wärmeabfuhr; Kühlausrüstung; Terminal-Ausstattung (Vorrichtung zur Innenwärmeabfuhr); Wärmelast (IT-Equipment, Dienstleistungen, Betreiber).

11 Elemente in einem Kühlsystem Wichtig, effiziente Ausrüstung auszuwählen
Kühl-Equipment wird 24/7, üblicherweise bei 50% Auslastung betrieben, was nicht energieeffizient ist; Die Auswahl von energieeffizienter Ausstattung ist ein entscheidender Schritt um Nachhaltigkeit zu erreichen: CRAC & CRAH Geräte; Ventilatoren und ander Lüftunsgeräte; Pumpen; Kühlaggregate (luft- & wassergekühlt); Kühltürme, Trockenkühler & luftgekühlte Kondensatoren; Luftbefeuchter.

12 Terminal, Kühlung und Wärmeabfuhr
Herkömmliche Kühlsysteme für das Terminal-Equipment in Rechenzentren werden entweder decken- oder bodenmontiert. Alle anderen Systeme, wie z. B. wandbefestigte Kühlung, sind ähnlich zum deckenmontierten Konzept. The indoor terminal unit is a CRAC (that exchanges heat thanks to fans trough a evaporator), connected via a distribution system (pumps and pipes) to a condensing unit (air cooled, forced by fans). Quelle: APC White Paper #59

13 Typische Kombination aus Terminal, Kühlung und Wärmeabfuhr
Heat rejection system Mechanical Cooling equipment Terminal equipment Combination 1 Chiller (Air cooled) CRAH (Chilled Water) Combination 2 Cooling tower Combination 3 Condenser CRAC (Split) Combination 4 Dry-cooler CRAC (Water / Glycol) Combination 5 Condensing Unit Air Handler (Split) Computer room air handling (CRAH) units: containing a fan and chilled water cooling coil, typically are installed in larger datacenters with a central cooling plant, with reheat components (can be electric, hot water, hot gas) and humidifiers. Computer room air conditioning (CRAC) units containing a fan, DX cooling coil and a refrigerant compressor that may be cooled by: refrigerant routed through an air-cooled condenser (typical), water pumped through a cooling tower, glycol pumped through a drycooler. Fans, for air circulation (delivers cool air to the servers, returns exhaust air from the room) Pumps, for water and refrigerant liquid distribution Chillers (air & water-cooled), to cool water via a mechanical cooling cycle, exchanging heat with air or water Economizers, to exchange heat without or reducing use of compressors Cooling towers, drycoolers & air-cooled condensers, used to reduce the warmer process water temperature Humidifiers, to respect the lower air humidity limits (fresh air is cooled and consequently exceedingly dehumidified) Ventilation equipment (AHU), to ensure proper ventilation for occupants, for the direct/indirect use of outside air cooling power, for the particulate filtering. Quelle: ASHRAE: Save Energy Now Presentation Series, 2009

14 Rechenzentrumsgröße und mögliche Auswahl und Einrichtung des Kühlsystems
 System and mounting Room type Closet Computer rooms Small data centres Medium data centre Large data centres Air cooled DX system (split) Ceiling mounted Yes, if short roof access Yes, if roof access short and power is 6-30 kW Yes, if roof access and power is 6-30 kW No, insufficient cooling capacity No, insufficient cooling capacity Floor mounted No, take floor space Yes, if roof access short and power > 30 kW Yes, if roof access and power > 25 kW Yes, for low density solutions – low cost Air cooled compact system Yes, space for ducts Yes, if dropped ceiling ducts space Yes, if under ceiling ducts Yes, if dropped ceiling space available and power < 12 kW Glycol cooled system (split) No, higher cooling power Yes, if roof access No, floor space Yes, if roof access and floor space Yes, if roof access and floor space Yes Water cooled system Possible for high rise build. Possible for high rise build No, space needs excess Chilled water system

15 ASHRAE Klassifikation
Klasse A1: IKT-Anlage mit streng kontrollierten Umweltparametern (Taupunkt, Temperatur und realtive Luftfeuchtigkeit) und geschäftskritische Anwendungen. Produkttypen, die normalerweise für eine derartige Umgebung entwickelt werden, beinhalten Enterprise-Server und Speicherprodukte. Klasse A2: IKT-Fläche, Büro- oder Laborumgebungen mit einer gewissen Kontrolle der Umweltparameter (Taupunkt, Temperatur und relative Luftfeuchtigkeit). Für eine derartige Umgebung entwickelte Produkttypen beinhalten kleine Server, Speicherprodukte, PCs und Workstations. ……Klasse A3/A4, Klasse B, Klasse C Die Klassen A1 und A2 sind in erster Linie für zentrale IT-Ausstattung entwickelte Umgebungen.

16 ASHRAE Klassifikation: Beschaffenheit der Zuluft
Class Recommended dry bulb [°C] Recommended humidity Allowable dry bulb [°C] Allowable humidity A1 18 – 27 Dew point 5,5°C to 60% r.h. and dew point 15°C 20 to 80% 17°C max dew point A2 20 – 25 10 – 35 21°C max dew point ASHRAE specifies that all conditions refer to the air entering the IT equipment. A frequent error to be avoided is measuring temperatures or positioning sensors in other measurement positions (e.g. at the room walls). Dew point is the better parameter as in fact it refers to the absolute quantity of moisture in air, that could cause problems of condensation on cold surfaces. The humidity level at a specific air temperature is a critical criterion.

17 ASHRAE Klassifikation: Beschaffenheit der Zuluft
The allowable area for set-point conditions has been enlarged compared to the previous version of the ASHRAE guidelines (see Table 7). The recommended value ensures reliability for the IT hardware in agreement with the state of technique of the IT equipment. Operating equipment outside the allowable conditions for longer periods of time could affect the availability or performance of some components in datacenter in the long term. In the last revised versions of the ASHRAE standard, published in 2008, the ranges of allowed relative humidity were enlarged. The maximum rate of temperature change is important especially for direct free cooling systems options and needs to be controlled to ensure safe operation of the system . The recommended ASHRAE level set the maximum rate of temperature change at 5 °C per hour for class 1 and 2 datacenters.

18 EU-Verhaltenskodex für Rechenzentren: Umweltbedingungen
The ASHRAE temperature ranges were taken as a reference for the EU Code of Conduct for datacenters (Code of Conduct on Data Center). The draft ETSI EN of the European Telecommunications Standards Institute defines the parameters of temperature and humidity for telecommunications equipment also for data center areas: these operating temperature range must be met by manufacturers of computer equipment (Code of Conduct endorsers) by January 2012.

19 Energieeffiziente Kühllösungen für Rechenzentren

20 Verbesserungsmöglichkeiten für kleine IT-Systeme Bestehende Serverräume
Charakterisierung von kleinen IT- Systemen Grundlegende Verbesserungsmöglichkeiten für bestehende Serverräume - Niedrige spezifische Leistungsdichten - Verwendung von traditionellen HVAC- Lösungen (nicht CRAC) - Inhomogene Lastverteilung (räumlich, zeitlich) - Reduzierte Kontrolle und Management - Wenig Interesse an Effizienzverbesserungen - Kontrolle und Management der Umweltbedingungen (Soll-Werte) - Prüfen der Isolierung der Leitungen/Rohre (Kalt und Warmwasser/-luft/-flüssigkeit) - Austausch von veralteten/ weniger effizienten Komponenten im Kühlsystem prüfen - Kontrolle und Prüfen der Ausgestaltung des installierten Kühlsystems – Entfernung zwischen Kühlsystemen und Lasten - Korrekte Auswertung der installierten Kühlleistung (nachträglich) - Richtige Positionierung der Sensoren - Analyse der Lastenkonzentration (zeitlich und räumlich) overview on some typical characteristics of small IT systems respectively server rooms and of basic options for improvements both in existing and in new facilities

21 Verbesserungsmöglichkeiten für kleine IT-Systeme Neue Serverräume
Charakterisierung von kleinen IT- Systemen Grundlegende Verbesserungsmöglichkeiten für neue Serverräume - Niedrige spezifische Leistungsdichten - Verwendung von traditionellen HVAC-Lösungen (nicht CRAC) - Inhomogene Lastverteilung (räumlich, zeitlich) - Reduzierte Kontrolle und Management - Wenig Interesse an Effizienzverbesserungen - Auswahl der effizientesten herkömmlichen Kühlsysteme - Rack-basierte Kühlung prüfen (konzentriert die Lasten) - Möglichkeiten zur Verwendung von freier Kühlung (direkt oder nicht) overview on some typical characteristics of small IT systems respectively server rooms and of basic options for improvements both in existing and in new facilities

22 Raumlüfter – Typen, Wirkungsgrade und Kosten von Split-Systemen
Split-Systeme bestehen aus: einem außen installierten Kondensator; und einer Lüftungsanlage innen. Mobile Split-Lüfter besitzen: ein tragbares Indoor-Gerät mit einem Kompressor, was zu einer geringeren Effizienz führt. Kleine tragbare Geräte werden häufig in größeren Serverräumen installiert um Hotspots zu verhindern, oder um die Klimaanlage des Gebäudes im Netzwerkkasten zur ergänzen; Diese kleinen portablen Geräte sind nicht effizient! Üblicherweise haben sie ein Abwärmerohr das die Stelle erwärmt! For small IT facilities and server rooms the simplest solution is the traditional split system installation (also named comfort cooling). Split systems are composed of an outside mounted condensing unit and an internal conditioner unit. Mobile split air conditioners have a portable indoor unit containing the compressor, which leads to less efficiency. Small portable units are often installed in larger server room to prevent hot spots, or in network closets to supplement the building AC system. Split systems are easy to maintain with comparably low overall costs. The technology however is not applicable to every situation and the control of the IT equipment inlet temperature, humidity and of hotspots is poor. The efficiency of a split system depends on the efficiency of the outdoor and indoor heat exchanger and the electric motors in the compressor system. The overall efficiency of the split system technology has increased in the last years with the use of heat recovery modules.

23 Beschaffung energieeffizienter Technik
Je nach Kühlleistung: < 12 kW: EU-Energielabel > 12 kW: Eurovent-Zertifizierungsprogramm Efficiency characteristics for system components and technical data about the design and possible applications are available from installers and manufacturers. For units above below 12 kW rated power the energy label and a set of technical specifications are mandatory in the EU. When buying new appliances under 12 kW of coolant power, the Energy label (mandatory in the EU!) should support the purchase decision. Eurovent certification scheme has been developed by industry as a voluntary agreement for labeling of appliances over 12 kW of power. The voluntary scheme adopted an A-G labeling based on the EER performance

24 Bestehendes und vorgeschlagenes EU-Energielabel für kleine Klimaanlagen (<12 kW)
Da die Effizienz unterschiedlich berechnet wird, lassen sich die EER- (altes Programm) und die SEER-Werte nicht direkt miteinander vergleichen Als Faustregel gilt: SEER ≈ EER + 3.0 To identify energy efficient equipment both the new EU-labeling scheme linked to the ERP-directive (Ecodesign-directive for energy related products). For systems with power < 12 kW EU labeling is mandatory and new revised criteria will be in force during The new labeling scheme has been completed and approved in Spring 2011 . We should only refer to the last version which will be published soon.

25 Effizienzwert des Kühlsystems
EER - Verhältnis der gesamten Kühlkapazität zu der effektiven Leistungsaufnahme der Anlage, ausgedrückt in Watt/Watt; SEER (Seasonal energy efficiency ratio): In Europa definiert und angewendet; IPLV (Seasonal energy efficiency ratio): In Nordamerika definiert und angewendet; Die IPLV- und SEER-Werte erhält man durch den gewichteten Mittelwert der Wirkungsgrade der Kälteanlagen (EER) bei unterschiedlicher nomineller Auslastung (25%, 50%, 75% und 100%). The EER rated calculation hypotheses, air temperature 35 °C and water temperature 15 °C, can only serve as a first proxy for the evaluation of the real efficiency. The Seasonal Energy Efficiency Ratio (SEER) calculated as ratio of output cooling (in Btu/hr) to input electrical power (in Watts) at a given operating point (indoor and outdoor temperature and humidity conditions) provides the expected overall performance considering typical local weather conditions.

26 Split-Systeme mit Inverter
Die Technology der Split-Systeme wurde in mehreren Punkten verbessert. Es ist nun möglich, Kühlwassersysteme zu adaptieren oder verschiedene Umgebungstemperaturen für mehrere Lüftungsanlagen zu kombinieren, sind diese mit dem gleichen Kondensator verbunden. Die Verwendung von Invertern in Motoren und intelligenter Steuerung haben die Kühleffizienz beträchtlich erhöht.

27 Rack-basierte Kühlung in Serverräumen
Der Betrieb von freier Kühlung unterliegt bei kleinen IT-Systemen und Serverräumen einer Vielzahl von Einschränkungen; Die Beschränkung ist hauptsächlich technischer Art: kleine Serverräume oder –abteile befinden sich häufig an Stellen im Gebäude, bei denen der Zugang zur Außenluft schwierig ist; für Serverräume in neuen Gebäuden ist die Anwendung von freier Kühlung möglich, wenn sie vom Gebäude- und Raumkonzept berücksichtigt wird. Raumstandort, Möglichkeiten zum Verlegen von Leitungen / Rohren und die daraus resultierenden Kosten sind die Hauptfaktoren, die die Verwendung von freier Kühlung beeinflussen; Für die Sanierung von bestehenden Systemen sind Schwierigkeiten und Kosten üblicherweise hoch und eine Kosten/Nutzenanalyse ist erforderlich.

28 Herausforderungen und Möglichkeiten für Rechenzentren und größere Systeme
Grundlegende Möglichkeiten für bestehende Systeme Grundlegende Möglichkeiten für neue Systeme - Kontrolle und Management der Umweltbedingungen (Soll-Werte, Zeitplan, Position und Anzahl der Sensoren) - Austausch von veralteten/ weniger effizienten Komponenten des Kühlsystems (vergleichen der Effizienzklasse der bestehenden Systeme mit effizienteren Systemen auf dem Markt) - Prüfen der Isolierung der Leitungen/Rohre (Kalt- und Warmwasser/-luft/-flüssigkeit) - Vermischen der Luftströme verhindern - Kontrolle und Überprüfung der Ausführung des installierten Systems – Entfernungen zwischen Kühlsystemen und Lasten, Optimierung der Luftströme, Luftschleusen in den den versiegelten Teilen) - Analyse der Kühltechnik und der Effizienz - Möglichkeiten nutzen, den Luftstrom zu lenken (Kaltgang/Warmgang, Doppelboden, Rückluft-Konzepte) - Rack-basierte Kühlung nutzen - Möglichkeiten zur Verwendung von freier Kühlung (direkt oder nicht) prüfen - Verwendung von freier Wasserkühlung - Installation von prozessor-basierter Kühlung (Flüssigkeit, Wärmerohre, Kupfer), - Nutzen von Wärmerückgewinnung - Aufbau eines modularen Kühlsystems (verbunden mit einem Konzept für IT- Design und Management) For medium size to larger data centers higher energy efficiency of IT systems and infrastructure is more profitable, however also some constraints are bigger. For example higher required reliability of systems and higher capital expenses could be a barrier for efficiency measures. The traditional approach for cooling in medium and big data centers has been based on air cooling. A standard data center has been designed to cool an average 7,5–10 KW/m2, which translates to 1–3 KW/rack. Newer, more expensive data centers are designed to cool an average 20 KW/m2, which still limits the power density per rack to 4–5 KW (recall that full rack capacity is higher than 25 KW/rack). The traditional architecture employs CRAC units at the periphery of the data centre room, utilizing chilled water from an outdoor chiller. Besides the IT other heat sources inside and outside the building are to be considered

29 Auswahl von Kühlgeräten und Effizienz
Wassergekühlte Kältemaschinen sind eine bessere Wahl als luftgekühlte Systeme und DX: Mehr thermodynamische Effizienz Air cooled and liquid cooled chillers differ regarding their EER (Energy Efficiency Ratio) which typically for water systems is about 3,5 and for air systems about 2,5. ‘Rated energy efficiency ratio’ (EERrated) express the declared capacity for cooling [kW] divided by the Rated power input for cooling [kW] of a unit when providing cooling at standard rating conditions. Standard rating conditions are: water temperature between 15 and 18 °C, outside temperature 35 °C. Water cooled chillers are a first choice over air cooled and DX thanks to the higher thermodynamic efficiency. Quelle: ASHRAE Save energy now presentation, 2009

30 Typische Ausführung in mittleren und großen Rechenzentren
From Aus: Cooling strategies for IT equipment - HP

31 Aus: ASHRAE Save energy now presentation, 2009
Luftkühlung: Steuerung des Luftstroms, Kalt-/Warmgang, Doppelboden/Rückluft-Konzepte In größeren Rechenzentren wird das IT-Equipment in Reihen angeordnet, wobei die Lufteinzüge auf den Kaltgang gerichtet sind. Die Frischluft wird in den Kaltgang geschickt, passiert das Equipment und wird über den Warmgang entlassen Aufbau von Kalt- und Warmgang im Rechenzentrum in the datacenter racks are organized in alternative aisles the so called hot aisle/cold aisle layout. The IT equipment is mounted in racks, containing the IT equipment (servers, storage, network equipment, power supply units and power distribution units), that are positioned together in long rows. The intake air comes from the cold aisle, than passes through the IT equipment in the rack and is discharged in the hot aisle. The air inlet conditions are specified in Environmental conditions for IT equipment. The air quantity typically required per rack is between 60 to 85 m3/h. Aus: ASHRAE Save energy now presentation, 2009

32 Aus: ASHRAE Save energy now presentation, 2009
Luftkühlung: Steuerung des Luftstroms, Kalt-/Warmgang, Doppelboden/Rückluft-Konzepte Die Luftströmungseigenschaften sind wichtige Elemente, die berücksichtigt werden müssen. Die empfohlenen Strömungsrichtungen verlaufen von der Front- zur Rückseite (F-R), von der Front zur Oberseite (F-T) oder von der Front- zur Ober- und Rückseite (F-T/R). Richtungen der Luftströme in Racks mit Kalt-/Warmgangaufbau in the datacenter racks are organized in alternative aisles the so called hot aisle/cold aisle layout. The IT equipment is mounted in racks, containing the IT equipment (servers, storage, network equipment, power supply units and power distribution units), that are positioned together in long rows. The intake air comes from the cold aisle, than passes through the IT equipment in the rack and is discharged in the hot aisle. The air inlet conditions are specified in Environmental conditions for IT equipment. The air quantity typically required per rack is between 60 to 85 m3/h. Aus: ASHRAE Save energy now presentation, 2009

33 Vertikale Unterbodenverteilung
Um die Versorgung mit Frischluft zu gewährleisten, wird in den Räumen üblicherweise ein Doppelboden eingezogen. Dieser Aufbau ist einer der am weitesten verbreiteten in Rechenzentren; die Kühlluft wird über ein Unterbodenleitungssystem, das mit den CRAC-Einheiten verbunden ist, geführt, während die warme Abluft von Natur aus von den Racks an die Decke und von dort zurück zur CRAC geht. Führt üblicherweise zu suboptimalen Temperaturgradienten innerhalb der Racks, kühler in den unteren und wärmer in den oberen Bereichen Aus: ASHRAE Save energy now presentation, 2009

34 Vertikaler Deckenkanal
Bei der Ausführung mit vertikalem Deckenkanal wird die Frischluft über Deckenleitungen zu den IT-Racks gebracht und kehrt von selbst (ohne Leitungen) zum Kühlsystem zurück - ohne einen Doppelboden und mit einem einheitlichen Temperaturgradienten innerhalb der Racks. Aus: ASHRAE Save energy now presentation, 2009

35 Lokale Deckenkühlgeräte in einem VUF-System
Üblicherweise zur ergänzenden Kühlung eingesetzt, um Hotspots in Racks mit hoher Dichte zu verhindern; Wenn keine gute Verteilung des Luftstroms durch die Racks erreicht werden kann, oder wenn Lasten mit hoher Dichte auftreten; Lokale Deckenkühlgeräte können über dem Warmgang platziert werden, während an den Racks montierte Wärmetauscher entweder die warme Abluft aus dem Rack oder die Frischluft vorkühlen können. Aus: ASHRAE Save energy now presentation, 2009

36 Steigerung der Effizienz innerhalb des Kalt-/Warmgangkonzepts
Rückführen der Abluft über einen Abluftschacht In the hot-aisle / cold-aisle the main action is to increase efficiency is to enhance airstream separation: - Use return air plenums and duct the returns of cooling units to draw the warmest air from the top of the space - Place air supplies (perforated floor tiles or diffusers) in cold aisles only, near the active IT equipment Die Frischluftversorgung (perforierte Bodenplatten oder Diffusor) nur im Warmgang platzieren Aus: ASHRAE Save energy now presentation, 2009

37 Steigerung der Effizienz innerhalb des Kalt-/Warmgangkonzepts
Lufstrombarrieren wie Kalt-/ Warmgangeinhausung installieren To minimize recirculation (typically using physical barriers): - Install airflow barriers such as hot aisle / cold aisle containment to reduce mixing of hot exhaust air with cooler room air - Install blanking panels at all open rack locations and within racks to prevent recirculation of hot air - Control the positioning and the sealing of cable openings and floor tiles. An allen offen Stellen Abdeckplatten montieren

38 Optimierung der Verkabelung
The optimization of cabling systems should be done at the rack level, at room level (ceiling, floor or underfloor) and at the external connection systems. A linear and ordered positioning will also benefit the maintenance and emergency interventions

39 Steigerung der Effizienz innerhalb des Kalt-/Warmgangkonzepts
CRAC Standort: der optimale CRAC-Standort befindet sich am Ende des Warmgangs; die Geräte sollten senkrecht zum Warmgang platziert werden: Dies verkürzt den Weg der Rückluft und reduziert die direkte Rezirkulation der Frischluft aus dem Kaltgang The CRAC location is typically another origin of low efficiency. The optimal CRAC location is at the end of the hot aisle and units are to be placed perpendicularly to the hot aisles, in order to shorten the path for return air, reducing the direct short-circuiting of cold air from cold aisles.

40 Steuerung und Monitoring von Kühlsystemen – Managementbelange
(Quelle: HP) Steuerung und Monitoring von Kühlsystemen – Managementbelange

41 Infrarotbild, von: http://www.datacentir.com/
Luft-Management Temperatur und Geschwindigkeit der Einzugsluft können die Effizienz eines Systems stark beeinflussen und sollten kontinuierlich überwacht werden; Hotspots und Ineffizienzen sind mit einer thermografischen Analyse oder einem kabellosen Sensorennetzwerk relativ leicht in einem bestehenden Rechen-zentrum zu entdecken. . Infrarotbild, von:

42 Aspekte der Luftstromsteuerung
Aufbau und Optimierung des Kühlprozesses können von der Simulationssoftware Computational Fluid Dynamics (CFD) unterstützt werden, um thermische/flüssigkeitsbezogene Phänomene in Rechenzentren vorherzusagen; Physikalische Messungen und Feldversuche sind nicht nur zeit- und arbeitsintensiv, sondern manchmal schlicht unmöglich.  Inlet air temperature and air speed can strongly affect the efficiency of a system and should be monitored continuously. CFD-Muster, von:

43 Soll-Wert und Kühlkapazität eines Split-Systems
Einstellungen für Temperatur und Luftfeuchtigkeit in mittleren und großen Rechenzentren Soll-Wert und Kühlkapazität eines Split-Systems (Quelle: P. Riviere et al., Preparatory study on the environmental performance of residential room conditioning appliances) Widening the temperature and humidity control ranges increases the operational “deadbands” and decreases the potential for systems to “fight” each other, with a reduced usage of humidification and dehumidification. For DX and chilled water systems, a warmer temperature setting typically increases the capacity and the efficiency of the cooling systems. In chilled water systems there are additional savings from the increase in coil temperature differences. For systems with air-side economizers, water-side economizers and evaporative cooling, a warmer temperature setting will increase the hours of functioning in non-compressor cooling mode. Eine höhere Zuluftstemperatur resultiert normalerweise in mehr Economizer-Stunden und einer effizienteren mechanischen Kühlung, allerdings mit einem niedrigeren "Sicherheitsfaktor" bezüglich der Einzugsbedingungen der IT; Für DX und Kühlwassersysteme steigert eine höhere Temperatureinstellung üblicherweise Kapazität und Effizienz des Kühlsystems

44 Lösungen für räumliche und zeitliche Inhomogenität
Räumliche Inhomogenitäten: IT-Lasten bzw. Wärmelasten voneinander entfernen und Freiräume in den Racks lassen. Zeitliche Inhomogenitäten: Speichersysteme für Kühlwasser verwenden; Für Rechenzentren mit einer hohen Energiedichte (z. B. mehr als 15 kW pro Rack): neue Kühlsysteme könnten in die Racks integriert und unabhängig betrieben werden (rack-basierte Kühlsysteme) Traditionally it was quite a common approach to spread the IT-loads and consequently heat loads by underpopulating of racks. Cooling is normally provided at corridor level, and later at rack level. For the refurbishment of existing systems and to avoid high heat density integration of direct liquid cooling can be considered. Thermographic analysis can help to improve efficiency in air flow management in traditional systems (air leakages, problems in air diffusion, poor control). A good option to cope with temporal inhomogeneities is thermal storage using chilled water to cover exceptional loads, cooling system failures or inadequacy of cooling power. In traditional systems where the cooling air is diffused from the underfloor the arrangement of the racks is a very important factor for the optimization of the cooling system. Proper positioning of the tiles from which cold air is diffused prevents mixing of hot and cold air. Improper placement of the diffuser may also destroy the advantages of the separation between the hot and cold aisle. Air supply shall be located as close as possible to the air intakes of the equipment, keeping the cold air in cold aisles. In the case of underfloor air distribution the perforated tiles must be arranged in the cold aisles.

45 Rack-basierte Kühlung
Rack-basierte Kühlung ist in der Lage, ca. 20 kW Wärme abzuführen und wird abgedichtet, um eine kontinuierliche Zirkulation der Kühlluft zu gewährleisten. Rack-basierte Kühlung wird häufig zusammen mit einem Flüssigkühlsystem eingesetzt, um hohe Energiedichten zu bewältigen. For data centers with high power density, e.g. more than 15 kW per rack, new cooling systems may be integrated in the racks and operated independently. Such cooling systems have a direct expansion or chilled water refrigeration circuit. They may be integrated into a single rack, or installed for a rack file (including power cables, data cables to connect to each other). The technology is also used in cases where space for installation of a cooling system is missing. Quelle: highdensityrackcooling.com

46 In-row Kühlung Aufbau eines Rechenzentrums mit in-row Kühlung. Quelle: APC by Schneider Electric, 2010; White Paper #139 rev.0

47 In-row Kühlung im Teillastbetrieb
Row based cooling places the AC within the rows of IT equipment, rather than at the perimeter of the room. The air path is shorter and the mixing of hot and cold air is reduced dramatically. The cooling distruibution is more precise and adjustable to the demand (locally): the efficiency is higher, compared to the room cooling with air handlers. While moderately effective, in-row coolers cannot be used for cooling a specific rack or racks because they are not directly connected to any rack. They cannot determine the exact direction of 100% of their airflow or cooling capacity. Current capacity limitation is around kW per in-row cooler (not per rack). In-row coolers are connected to a central chilled water system via flexible hydraulic hoses. Aus : APC White paper #126, rev. 1.

48 Flüssigkühlsystem Die Effizienz von Wasserkühlung ist 14 Mal höher als die der Luftkühlung The most efficient and recent cooling technology installed in data centers is liquid cooling. In this approach the heat removal is achieved on or near the heat source. The direct liquid heat exchange can be arranged at rack level, server level or even processor level. No cooling power is lost in the room. Figure shows the principle of water cooling at rack level which can be applied both in new and in refurbished datacenters. The raised floor option indicated is not mandatory for the installation, but facilitates maintenance and lowers overall installation costs. The chiller can be combined with free cooling solutions Aus: S. Novotny, Green field data center design – water cooling for maximum efficiency

49 Struktur eines Flüssigkühlsystems
Figure provides a more detailed overview of a liquid cooling system:the cooling tower (external) connected to a chiller with a condensed water system,. the cooling distribution unit (located in the datacenter) and the rack equipped with a cooling system (direct or via a heat exchanger) and control system (Datacom equipment cooling system). This concept allows higher cooling media temperatures within the IT equipment, increasing opportunities for “free cooling” and supporting advanced solutions like processor based cooling Aus: ASHRAE Save energy now presentation, 2009

50 Flüssigkühlung auf Rack-Basis mit zentralem Wärmetauscher
Liquid cooling can be designed via a fluid cooled heat exchanger contained in a distribution cooling unit in the room (Figure) or with the exchanger installed directly at rack level (installed in the rack) Aus: ASHRAE Save energy now presentation, 2009

51 Flüssigkühlung auf Rack-Basis mit Flüssigkeits-Wärmetauschern
The liquid cooling can be also be designed based on a CRAC unit replacing the central heat exchanger (Figure 25), that distributes air in a hot aisle/cold aisle concept, combined with a rack level air to water heat exchanger. Liquid cooling is often used for refurbishment of existing datacenters. Savings regarding space and installation can be high. Existing CRAC can be used in a liquid to air heat exchanger. However implementation costs for liquid cooling can be high. Usually liquid cooling is combined with air cooling. Liquid cooling can cover high heat densities and allows a highly modular approach avoiding any hot spot problems. The redundancy of chillers for direct water systems is less expensive compared with the installation of redundant CRAC systems or other traditional solutions and availability is increased. Optimized setting of cooling conditions depending on monitored load per rack and per server allows a very efficient design. Free liquid cooling can also be based on non-potable water (industrial water, water from rivers, lakes, ..) however requiring a detailed analysis of the supply source (temperatures, flows and water properties during the year). Aus: ASHRAE Save energy now presentation, 2009

52 Prozessor-basierte Kühlung
The latest developments regarding systems for IT cooling is component based cooling using “hot” water. The general concept is already old (going back to the 1960s for IBM processor cooling systems). It is based on the fact that the typical operating temperatures of CPU’s are between 40 and 80 °C. Thus water based cooling at a temperature up to 60°C allows to cool CPUs at the typical operation level . The main disadvantage of the concept is the increased complexity and cost of the system. Each processor or component has to be connected to the cooling system via pipes. This may also involve risks if failures in the piping system occur. Apart from that the advantages of the system in terms of efficiency are considerable. IBM Coldplate-Kühlung, Quelle: thehotaisle.com IBM Aquasar, Quelle: ethlife.ethz.ch

53 Prozessor-basierte Kühlung
Die letzte Entwicklung in Bezug auf Systeme für IT-Kühlung besteht aus komponenten-basierter Kühlung unter Verwendung von "Warm"-wasser; Sie basiert auf der Tatsache, dass die üblichen Betriebstemperaturen einer CPU zwischen 40 und 80 °C liegen; Deshalb ermöglicht Wasserkühlung bei Temperaturen bis zu 60 °C die CPUs bei der üblichen Betriebsauslastung zu kühlen; Hauptnachteile bei diesem Konzept sind die erhöhte Komplexität und die Kosten des Systems; Jeder Prozessor bzw. jede Komponente muss über Rohre mit dem Kühlsystem verbunden sein; Dies birgt Gefahren wenn das Rohrleitungssystem versagt. Abgesehen davon sind die Vorteile des Systems in Sachen Effizienz jedoch beträchtlich.

54 Best Practice Beispiele und Erfahrungen

55 Aus: ASHRAE Save energy now presentation, 2009
#10 Best Practice # Best Practice 1 Zuluft ist für das IT-Equipment am wichtigsten 2 Umsetzung von Kalt-/Warmgang – Trennen der kalten und warmen Luft 3 Äußere Umweltbedingungen nutzen um das Rechenzentrum direkter zu kühlen 4 Energieeffiziente Komponenten zur Stromversorgung einsetzen 5 Punktuelle Kühlung für Flächen mit hoher Dichte einbeziehen 6 Messen, Analysieren und Vergleichen der Effizienz der IKT-Anlage 7 Jede Kühlkomponente für Verbesserungen der Effizienz untersuchen 8 Verbessern der Klimatisierung 9 Verwenden der vom Hersteller gemessenen Leistung / Verwenden von thermischen Daten, um die Struktur des Rechenzentrums zu optimieren 10 Virtualisierung und Konsolidierung Aus: ASHRAE Save energy now presentation, 2009

56 DOE Energy 101 – Energieeffizientes Rechenzentrum
Video über ein Beispiel für effiziente Kühlung von DOE Energy 101

57 Diskussion Fragen im Zusammenhang mit dem Modul

58 Fragen/Diskussion im Zusammenhang mit dem Modul
Bei der Auswahl eines Kühlsystems, was sind die wesentlichen Beschränkungen, die die Ausführung beeinflussen? Wie kann man die Energieeffizienz in der Kaltgang-/ Warmgangstruktur steigern? Wie effizient ist die Wasserkühlung im Vergleich mit der Luftkühlung? Warum denken Sie, dass "prozessor-basierte Kühlung" gegenwärtig nicht allgemein verwendet wird?

59 Literaturempfehlungen
Weißbücher Internetveröffentlichungen Sonstiges

60 Literaturempfehlungen
ASHRAE TC Thermal Guidelines for Data Processing Environments – Expanded Data Center Classes and Usage Guidance Energy Efficient Cooling Solutions for Data Centers ASHRAE: Save Energy Now Presentation Series Qualitative analysis of cooling architectures for data center

61 Literaturempfehlungen
Fundamentals of data center power and cooling efficiency zones Seven strategies to improve data center cooling efficiency Cooling strategies for IT equipment