Module 5 Netzwerk Equipment Technischer und operativer Rahmen

Netzwerk Equipment und Energiebedarf Ausgangssituation Netzwerk Equipment und Energiebedarf Netzwerke in Rechenzentren: verursachen ca. 8% bis 12 % des Energiebedarfs der IT-Ausstattung werden generell über lange Zeiträume eingesetzt (4-7 Jahre) sind ein potent. Flaschenhals für die Gesamtleistung & Energieeffizienz

Netzwerk Attribute Kundenanforderungen Grundlegende Leistungsparameter: Hohe Bandbreite, geringe Latenzzeit (Auswahl der Netzwerktechnologie) Skalierbarkeit und Agilität (Netzwerkarchitektur und -management) Flexibilität zur Unterstützung div. Services (Konsolidierung, Anforderungen bestehender Systeme) Sicherheit (zunehmende Bedeutung und beeinflusst den Overhead) Hohe Verfügbarkeit und Redundanz (QoS-Anforderungen) Verwaltbarkeit und Transparenz (wird durch Virtualisierungslösungen unterstützt) Langfristige Rentabilität Kostenoptimierung (CAPEX und OPEX reduzieren) The improvement of energy efficiency network infrastructure requires a structured approach. The planning for improvement starts with a strategic analysis. The Data Center operator needs to define network attributes and performance requirements. This task should include a market analysis. By utilizing Software-as-a-Service and Cloud Computing, applications and traffic is produced in data center and data center clouds. A necessary condition for this trend is broadband connectivity and low latency. This general trend leads not only to increased data traffic between client and server, but also to an increased server to server and storage to server data flow. Network architecture and configuration will change in order to support the growing server to server and storage to server traffic. Due to the fact that there is a large variety of products and network options available on the market it is recommended that Data Center operators or IT administrators are developing a priority list with respect to network attributes. These should include network services, latency requirements, quality of service, virtualization support and other performance or interoperability aspects. The best approach is a system optimization.

technische Performance Verbesserungsziel Die richtige Balance finden Balance zwischen technischer Performance und Energiebedarf Improvement targets for technical performance: Bandwidth, high-speed, low latency, and lossless traffic Quality of Service (QoS) is an additional performance requirement. Low latency and lossless networks are however basic requirements for storage traffic. Current technology development shows that with increasing bandwidth the latency improves. From an energy consumption point of view it is necessary to balance latency improvement with potentially higher power consumption of the high bandwidth capacity. hoch technische Performance Energie Performance gering

Rechenzentren Netzwerke Funktionales Model simplified functional model of energy-related aspects outlines the main elements for improvement on the network level The energy efficiency of network infrastructure and networking equipment is also influenced by the applications, service level agreements, bandwidth and latency performance requirements that have been defined by the operator of the data center.

Rechenzentren Netzwerke Basis Netzwerkarchitektur & Komponenten Network architecture is typically structured in three levels (tiers) Tier 1 Access: Includes floor level equipment (LAN or SAN) and respective access switches. They are mostly top-of rack or end-of-row. Tier 2 Aggregation: Involve distribute L2/L3 switches and firewalls connecting the individual server pool to other server pools (LAN) and storage with SAN respectively. Tier 3 Core: Core network switches are the backbone connecting individual LANs or SANs and they also connect the edge network (routers, gateways) with the data center. This network architecture is currently changing from three-tier structure to two-tier structure (Leaf-Spine network) At the same time the LAN and SAN infrastructure is converging. (east-west)

Netzwerk Energieprofil Einflussfaktoren für die Energieprofil des Netzwerkes: Netzwerkarchitektur (Technologie, Anzahl der Layer, Attribute) Netzwerktopologie (inklusive Verkabelung und Switchtopologie) Gerätespezifikationen (Komponenten, Funktionen und Konfigurationen) Virtualisierung, lastadaptives Management (geeignete Standards und Protokolle)

Verbesserungsstratgie und Ziele Die drei grundlegenden Verbesserungsziele: Verringerung der physischen Komponenten (Geräteanzahl): Verringerung der Leistungsaufnahme der entsprechenden Geräte Systemoptimierung auf Rack- und Raumebene

Verringerung der physischen Komponenten Verringerung der physischen Komponenten (Geräteanzahl): Router-, Switch-, Portkonsolidierung (Virtualisierung, Multifunktionalität, Dienste) Weniger Netzwerklayer durch all-IP Technologien (z.B. FCoE) Erstellen einer einheitlichen Netzwerkstruktur Einführung der aktuellen Breitbandtechnologie (10/40Gbit/s)

Netzwerk-Virtualisierung System-Virtualisierung inkl. des Netzwerkes bedeutet: Virtuelle Router (Software mit Routingfunktionalität, mehrere Systeme auf einer realen Maschine) Virtuelle Links (logische Verbindungen der virtuellen Router) Virtuelle Netzwerke (virtuelle Router verbunden durch virtuelle Links) Vorteile der Netzwerk-Virtualisierung Managementschnittstellen sind flexibler Reduzierte Anschaffungskosten durch Softwareeinsatz Verbesserte Leistung der Anwendungen durch vereinfachte Diensterweiterung und -zuordnung Potentiell verringerter Stromverbrauch durch Gerätekonsolidierung Virtualization is a well established technology to consolidate physical server with multiple virtual machines. Manage network resources as logical units independent of their physical topology. The ability to configure network and port level capabilities at the individual VM level as well as dynamically tracking VMs as they move across the data center are important for an efficient management of virtualized environments. Energy efficiency is mainly archived by consolidation of routers, physical adapters for I/O ports, and additional hardware for specific network services. The virtualization of a firewall module or IPS by providing a software image to different applications via single network hardware would reduce the need of separate devices by utilizing the software in the same hardware. The full implementation of server virtualization requires appropriate network equipment, which is virtualization ready. Obsolete networking switches are not aware of Virtual Machines (VM) and this exposes the risk of service outage and security breaches due to incorrect network configuration.

zentralisierte Firewalls mit VMs Netzwerk-Virtualisierung Best Practice Netzwerk-Virtualisierung in Verbindung mit Konsolidierung Router: Verringerung der physischen Router um über 50% verringerter Energiebedarf um annährend 60% Firewall: Zentralisierte Firewalls basierend auf logischen Netzwerkstrukturen reduzieren den Firewall bezogenen Energiebedarf auf bis zu 60% zentralisierte Firewalls mit VMs Untrusted Network VM Through the network virtualization real practical cases have shown that physical routers could be reduced over 50%. This equates to an energy saving potential of approximately 60% compared to the initial situation. klassischer Aufbau Untrusted Network

Konsolidierung auf der Geräteebene Zusammenbringen der “traffic classes” Technologieimplementierung für hohe Bandbreite / Geschwindigkeit und “converged Network Adapter” (CAN) führt zu: Reduzierung von Netzwerkgeräten, Verkabelung und Gateways Darus resultiert ein geringerer Gesamtenergiebedarf

LAN und SAN Konsolidireung Einheitliche Protokolle Verbesserung: einheitliche Netzwerktechnologie (IP-basierend) mit reduzierter Hardware (Switch) Initial Situation: Two separate network technologies with respective hardware (switches)

Ausgangssituation: Klassisches SAN (FC or IB) The Consolidation of SAN and LAN is currently limited by the use of specific network protocols: SAN: Fiber Channel (FC) and Inifiniband (IB) LAN: Classic Ethernet (lossy) This slide shows three different protocolls Fiber Cannel, Infiniband and Ethernet. The first two protocols are used for storage area networks (SAN) and the last one for local area networks (LAN). FC and IB are optimized for an effective and lossless transmission of large data blocks in SANs. Verlustfrei kleiner Overhead  Hohe Übertragungseffizienz Packetverlust möglich hoher Overhead  Geringe Übertragungseffizienz

Verbesserungsoption: Netzwerkkonsolidierung (IP-basiert) Fibre Channel over Ethernet (FCoE) is the industry standard that aims to drive network convergence in data centers. The FCoE technology enables a lossless Ethernet infrastructure to carry native Fibre Channel traffic over Ethernet. With the bandwidth of 10GbE it is possible to carry data networking and storage networking traffic via a unified network structure. With the effect of reduced number of cables, switch ports and adapters which results in decreased power and cooling requirements. Carrying of Fibre Channel and Ethernet traffic over on physical cable have the following benefits: High-performance storage access over lossless 10G Ethernet fabrics Transparent access to storage devices by using existing SAN management methods Lower capital, energy, and cooling costs with fewer adapters, cables, and switches Lower management overhead by using a single fabric Increase application availability with simplified network and server configuration IP-based (Ethernet)

Vollständig konsolidierte Netzwerkarchitektur Larger picture: This slide describes a flat network architecture and the overlapping aspects of from north-south and west-east perspective. Smaller DC do not have necessarily a aggregation layer. The left side of access layer shows LAN and left SAN. The convergence of the server (LAN) and storage (SAN) networks is a general trend with energy saving potential. The maintaining of two separate networks increases the overall operation costs and power consumption by multiplying the number of adapters, cables, and switch ports required to connect every server directly with supporting LANs and SANs. To simplify or flatten the data center network structure, converged networking technologies such as iSCSI, Fibre Channel over Ethernet (FCoE), and Data Center Bridging (DCB) are currently being implemented in data centers.

Leistungsaufnahme der Geräte Verringerung des Stromverbrauchs der Netzwerkgeräte durch: Durchschnittlichen Stromverbrauch (Moore`s law) Power Management (derzeit noch nicht verfügbar) Netzteil (Effizienz, Redundanz) Passive und aktive Kühlung (Kupfer-Kühlkörper, regelbare Lüfterdrehzahl)

Moores Law Positive Effekte hoher Techologiedynamik Mikro/Nanoelektronik (Moore), Kommunikationstechnik (Shannon) , … Aber: Kosten und echnology gaps Implementierung geeigneter Schnittstellen (AVT/MST), wertvolle (selten) Materialen…

Switchtopologie und geeignete Dimensionierung Geräteauswahl Switchtopologie und geeignete Dimensionierung Vergleich von 3Com Switch 4800G 24/48-Port Energieprofil 3Com Switch 4800G 48-Port 3Com Switch 4800G 24-Port Power consumption with scaling effect, larger equipment have a better performance for high utilization. 2x uplinks and 1x 10G XFP transceiver

Offenlegung von Informationen Produktbeschaffung(Energieffizienz) Juniper Switch-EX4500 Quelle: Juniper 2011 Ausstattung: 8 W pro 10GE Schnittstelle, Geringer Stromverbrauch für 10GE Verbessterte Kühlungseffizienz mit regelbarer Lüfterdrehzahl (die Drehzahl wird automatisch an die bestehenden Bedingungen angepasst) Kriterien die aus Beschaffungssicht miteinander verglichen werden können und auch vom Hersteller offen gelegt werden sollten, sind: der Stromverbrauch pro Schnittstelle / Port (neue Technologien / Chipsätze ermöglichen hier eine höhere Leistungsdichte und somit eine bessere Energieeffizienz) Auslegung der Kühlung (eine automatisch regelbare Lüfterdrezahl sollte Standard sein) über physikalische Gesetzmäßigkeit steigt der Energieverbauch- Stromverbrauch eines Lüfters steigt ca. mit dem Quadrat seiner Drehzahl) durch ein minimalistisches Temperaturmanagement im Gerät kann somit gezielt Energie gespart werden

Netzteileffizienz Ausgangssituation: Energy Star und 80 Plus Effekte Viele Netzteile in installierten Netzwerkgeräten haben eine potent. Effizienz von unter 80% Netzteile mit einer Energieeffizienz von über 90% bereits am Markt verfügbar Energy Star und 80 Plus Energy Star für Servernetzteile setzt bereits Effizienzanforderungen von 90% 80 Plus Programm hat noch höhere Anforderungen Empfehlung für 80 Plus Gold / Plantinum Effekte Reduzierter Stromverbrauch Geringerer Kühlungsaufwand Absenkung der TCO TCO= Total Cost of Ownership = Betriebskosten

Power Management Energy Efficient Ethernet Abschalten von Ethernet Transceivers (PHYs) in Zeiten mit geringen Datenaufkommen Vergleichbar mit Wake-on-LAN Konzept 1000BASE-T und 10GBASE-T Transceiver neue LPI Modes wurden definiert Hauptmerkmale: Abschalten der Transmitter und drei von vier Rreceivern Aufnahme eines Refresh-Zyklus Definition eines Alarmsignals für schnelle Reaktivierung Aktuell noch nicht für Netzwerkgeräte für Rechenzentren verfügbar LPI = low-power idle

EE Netzwerkgerätevergleich Best Practice EE Netzwerkgerätevergleich better Hier wurde die technische und energetische Performanz aktueller 10GbE Switche vergleichen. Anhaltspunkt für einen Produktbezogenen Energievergleich auf der Basis zwei unterschiedlicher Methoden, bei drei Lastzuständen. Im Ergebnis haben die aktuellen Switche einen annähernd gleichen Energieverbauch pro Port. Geringe unterschiede spiegeln sich in oberen Grafik wieder. Relevant werden diese Unterschiede bei dem massenhaften Einsatz in TOR-Lösungen. Power consumption measured by various load points (idle of 0%, 30% and 100%) WATIS= 0,1*(Power draw at 0% load) + 0,8*(Power draw at 30% load) + 0,1*(Power draw at 100% load) WATTS= weighted avaerage / total number of ports Telecomunications Energy Efficiency Ratio (TEER) TEER=perfromed work / power consumption per time Higher TEER values are better cause of more work is done at less energy consumption. better Source: (Lippis 2011)

Systemoptimierung auf Rack- und Raumebene Switchtopologie (ToR, EoR) geeignete Verkabelung (Luftstrom, Kabelart, Schnittstelle) Position im Rack (Kühlungskonzept) Virtualisierung und Steuerung

End-of-Row Switchtopologie optimale Ressourcenausnutzung There are two basic types of switch distribution on the floor or application level: End-of-Row and Top-of-Rack. End-of-Row (EoR) switching is a conventional networking approach, featuring a single large chassis-based switch support of one or more racks. This type of switch topology requires considerable long cabling. However, it also provides good scalability and flexibility to support a broad range of servers. . EoR switching performance best, when two servers exchanging considerable traffic are placed on the same line card. End-of-Row (EoR) switching is a conventional networking approach Advantage: Centralized switching with good scalability and energy savings compared to suboptimal ToR solution Disadvantage: Considerable cabling effort with inefficiency in dense systems

Top-of-Rack Switchtopologie optimale Ressourcenausnutzung Top-of-Rack (ToR) switching is a new networking approach that has been developed in conjunction with densely packed blade servers, high performance computing (HPC), virtualization and cloud computing. The ToR concept reduces with decentralized and resulting one uplink the cabling efforts on the aggregation layer. This has the advantage of fast port-to-port switching between servers within the rack. With this excellent networking performance, ToR switching not only supports high performance computing but also Data Center Bridging (DCB) and therefore the migration towards (lossless) Converged Enhanced Ethernet (CEE) or a fully integrated Data Center. Top-of-Rack (ToR): each rack have a dedicated switch Advantage: Decentralized switching for dense server environments (I/O consolidation) whicg reduces cabling effort. The shorter cabling distance between server and switch improves transmission speed and reduces energy consumption for this transmission. Disadvantage: If ToR is utilized in less dense computing (few servers in a rack) the system is over-dimensioned. Energy efficiency is low due to suboptimal utilization of available ports.

Geeignete Verkabelung Verbesserung v. Luftstrom und Kühlung

Verkabelung Kupfer Kupfer twisted pair: Geringe Kosten: im Vergleich zu Glasfaserlösungen Begrenzte Reichweite: z.B. geeignete Entfernung für 10GE sind ca. 10m Geringer Strombedarf: z.B. 10GE “small form factor pluggable (SFP) nur 0.1W (auf 10m) 10GbE Kupferkabel PHY aktuell ca. 10W pro Port Weniger robust: z.B. Kabel kann während der Installation einfacher brechen als vergleichbares Glasfaserkabel)

Verkabelung Glasfaserleiter Glasfaserleiter: Hoher OpEx : aktive Komponenten (Photonik) Hohe Performanz: Geschwindigkeit, Bandbreite über lange Distanzen (300m) Energieverbrauch: mit 10GbE Port benötigen Glasfaserleiter 1-2W Sehr robust: unter Berücksichtigung von Isolation, Biegeradius und entsprechenden Netzwerkgeräten Besonders geeignet für Core-Switching-Netz, während Kupfer die erste Wahl für Serververbindungen mit TOR-Switchen ist. Core-Switching-Netz: Kernvermittlungseinrichtung

Vergleich von Glasfaser und Kupfer Verkabelung Vergleich von Glasfaser und Kupfer 10 GbE Medien Glasfaser (SR/LRM) Kupfer(Base-T) Stromverbrauch (PHY + Adapter) 1 - 3 Watt 14 - 17 Watt Entfernung 300 m 100 m Zukünftige Datenraten 40 - 100 Gb/sec 10 Gb/sec Dichte pro Rackeinheit 32 24 Kabeldichte 10% 100%

Optimierungsprozess Schritt-für-Schritt Maßnahmen: Auswahl von Verbesserungszielen (bedarfsgerecht, konvergiert und intelligent) Planung der Netzwerkarchitektur (Technologie) Beschaffung energieeffizienter Geräte (Power Management) Umsetzen geeigneter Verkabelung (Einfluss auf Luftdurchsatz und Kühlung) Lastausgleich und Virtualisierung Setting of improvement targets: according to overall server room / Data Center concept (eg. cooling, rack housing, power supply, SLAs What is the overall situation? Simple upgrade of equipment / Extended changes in the infrastructure or completely new data center build-up Planning of network architecture: in accordance with future performance parameters and the overall situtation (see also slide 3 network attributes) performance parameter have to be transferred into technical parameter (eg. network ports, data throughput…) At this point a decision has to be made on the basic network technology for individual networks (SAN, LAN , Access) and their performance parameters. Procurement of EEE: Create a list of technical specifications for equipment that needs to be purchase. Regard aspects like: What kind of network technology is the choosen standard for LAN and SAN? Equipment and cabling.

Optimierungsprozess Auswahl von Verbesserungszielen Tasks: Messen/Monitoren der spezifischen Leistungsaufnahme (Vorraussetzung): Individuelle Komponenten Entsprechende thermische und technische Parameter (Luftdurchsatz, Temperatur, Lüfterdrehzahl) Definition von Zielvorgaben: Energieefficienz (TEER/ECR) Power Management (Anmerkung: noch nicht verfügbar, Langzeitziel) Schwellwerttemperatur (z.B. Grenzbereich entsprechend ASHRAE) Monitoring Benchmark: Costs (CAPEX/OPEC) economy of monitoring equipment Precision and frequency (relative accuracy of measuring results) Location and number of measuring points (the more sensor data the more diverse is the assessment) Setting of improvement targets: according to overall server room / Data Center concept (eg. cooling, rack housing, power supply, SLAs What is the overall situation? Simple upgrade of equipment / Extended changes in the infrastructure or completely new data center build-up

Planung der Netzwerkarchitektur Optimierungsprozess Planung der Netzwerkarchitektur Tasks: Festlegen vorrangiger Zielparameter für: Technische Performanz (hohe Bedeutung für Interoperabilität, Einbindung bestehender Technik) Energie (eco) Performanz Übertragung der Leistungsparameter in produktorientierte technische Spezifikationen: An diesem Punkt muss die Entscheidung für die grundlegende Netzwerktechnologie der individuellen Netzwerke geroffen werden (LAN, SAN, Access) Art, Anzahl der Netzwerkports Datendurchsatz Funktionalität und zusätzliche Dienste (Virtualisierung und Steuerung)

Beschaffung effizienter Geräte Optimierungsprozess Beschaffung effizienter Geräte Tasks: Marktanalyse entsprechend der indentifizierten Spezifikationen Öffentliche Beschaffungsrichtlinien Beratung Anforderung energiebezogener Test-/Benchmarkdaten (TEER) Vergleich verschiedener Angebote (existieren Guides für Auswahlprozesse)

Ausblick Spezifische “Best-Practice-Beispiele” (reale Daten/praktische Fälle) Beispiele für Reduzierung der Hardware (Virtualisierung) Netzwerk Power Management (Standby und geringer idle) Weiterentwicklungen nach dem Stand der Technik (vollständig optisch, Tunnel Konzepte) Klassifizierung der Verbesserungsoptionen Complete new router architetures inside the device ( always electrical signal processing) Tunnel Konzepte: tunneln bestimmter Datenpakte ohne sämtliche Auswertungen der Netzwerkarchitektur zu durchlaufen

Weitere Literaturempfehlungen White papers Online Publikationen Etc

Weitere Literaturempfehlungen Energy Consumption Rating Initiative www.ecrinitiative.org Cisco Efficiency Assurance Program www.cisco.com/assets/cdc_content_ elements/flash/dataCenter/eap IBM, Network solutions http://www-03.ibm.com/systems/networking/ Energy Proportional Datacenter Networks Abts D.et al. (2010), Proceedings of the International Symposium on Computer Architecture, Saint-Malo http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/de//pubs/archive/36462.pdf

Weitere Literaturempfehlungen Government Data Center Network Reference Architecture, Using a High-Performance Network Backbone to Meet the Requirements of the Modern Government Data Center, Juniper (2010) http://www.buynetscreen.com/us /en/local/pdf/reference-architectures/8030004-en.pdf ElasticTree: Saving Energy in Data Center Networks Heller B. et al. (2010) http://www.usenix.org/event/nsdi10/tech/full_papers/heller.pdf