Top of Rack Switching vs. Strukturierte Verkabelung Martin Rottmann Dipl.-Wirt.Ing.

Agenda Einleitung Überblick der Top of Rack Switching Topologie Nachteile der Top Of Rack Tolpologie Cost Of Ownership Welche Kategorie in der passiven Kupfer Verkabelung

Top of Server Rack Switching LAN Konfiguration Grundlagen Jedes Server Rack beinhaltet einen 48 Port Top of Rack Switch Der TOR Switch ist direkt den im Rack befindlichen Servern zugeordnet Je nach Anzahl der Server kann ein weiterer Switch hinzugenommen werden Die Verbindungen zwischen dem TOR Switch und den Servern erfolgt durch RJ45 Patchkabel Die Verbindungen zwischen dem Access Switch (TOR Switch) und dem Aggregation Layer Switch erfolgen durch Rack zu Rack Interconnection oder durch einen Cross Connect Bereich MPO–MPO rack-rack interconnect LC –LC Fibre Uplinks RJ45 Patchkabel Access Layer Switche Aggregation Layer Switch Server

End of Server Row Switching LAN Configuration Beinhaltet einen high Density Switch m Ende der Serverreihe Im Chassis befinden sich 48 Port 1 GE Netzwerkkarten, die bedarfsgerecht skaliert werden Typisch für ein 13 He Switch Chassis mit 4 HE für die Lüfter sind 336 Ports Jeder Switch Port kann mit jedem Server Port verbunden werden Die Server sind durch die horizontale Verkabelung im Druckboden oder Deckentrassen mit dem Switch verbunden Verbindungen zwischen Servern und Switchen erfolgen über die passiven Panel im Rack mittels RJ45 Patchkabeln15 Server End Of Row switch Cross Connect Bereich Access Layer Switch Cross Connect Horizontal Panel im Rack Server

Nachteile der TOR Architektur

Nachteile der TOR Architektur Schlechte Switch Port Auslastung Anzahl der Server in den Racks variiert während der Nutzungsdauer dementsprechend variiert die Anzahl der Netzwerkports Beispiel: Rack A hat 20 Server mit jeweils 2 Ethernet Anschlüssen, Rack B hat 12 Server mit 2 Ethernet Anschlüssen Wenn jedes Rack einen 48 Port TOR Switch besitzt ergibt das eine Switch Port Auslastung im Rack A von 40 und im Rack B von 24 Schnittstellen Es bleiben 32 ungenutzte Schnittstellen von 96 möglichen >> dies ist eine inneffiziente Port Auslastung und verschwendetes Anlagevermögen

Nachteile der TOR Architektur stark erhöhter Energieverbrauch Ein End Of Row Switch unterstützt bis zu 336 Netzwerkschnittstellen wofür 7 TOR Switches benötigt werden um die gleiche Anzahl an Ports erhalten Um einen typischen 48 Port TOR switch zu betreiben werden im Vollbetrieb 212 W benötigt dies ergibt 7 x 212W = 1,484W Anschlussleistung um Um die gleiche Anzahl an Ports in einem End of Row Switch zu betreiben werden 885W benötigt (Cisco 6500 Chassis + 7x X6148 line cards) Dies bedeutet eine 67% höhere Leistung bei Vollauslastung Zu bedenken ist ebenfalls dass 7 aktive Komponenten mehr benötigt werden (Redundanz? Notstrom? Services?...)

Nachteile der TOR Architektur Ineffizinter Energieverbrauch Beispiel: Rack A 12 Server, B 12 Server, C 14 Server, D 16 Server, E 8 Server, F 10 Server = 72 Server = 144 Network Ports 6 Server Racks mit 48 Port TOR Switches = 288 Ports das bedeutet 144 unbenutzte Switchports 144 unbenutzte Ports bedeuten ca.174W – 348W verschwendete Leistung (Standby modus ca. 2,8W/port) Schwache PUE (Power Utilisation Efficiency) End of Row Switches können je nach Bedarf mit Line Cards bestückt werden – 3 Karten unterstützen 144 Ports somit ist die Verschwendung an Ports hier geringer und somit besitzt ein EOR Switch eine bessere PUE TOR stellt keine umweltfreundliche Lösung dar

Nachteile der TOR Architektur mehr Services & großer operativer Aufwand TOR Switche benötigen zusätzliche Recourcen an Wartung, Services wie Upgrades welches zusätzliche Kosten verursacht.

Nachteile der TOR Architektur Teuer & kaum Upgrademöglichkeiten TOR Switche sind nicht modulare Einzelplatzgeräte und können nicht auf Schnittstellen mit erhöhter Bandbreite aufgerüstet werden wie ein EOR Switch Ein Upgrade von ein auf zehn Gbit erfordert den kompletten Austausch des Systems gegen ein 48 port 10 GE TOR Switch, auch wenn aktuell nur einzelne Server die Bandbreite benötigen Fast alle Backplanes der chassisbasierenden Switche haben eine 100 Gbit Backplane und ermöglichen so den Einsatz von 10 Gbit Karten, je nach Bedarf Legacy line cards z.B.. 10/100/1000 in End of Row Switchen können mit geringerer Bandbreite weiterbetrieben werden, während Servicearbeiten auf ihnen ausgeführt werden

Nachteile der TOR Architektur System Configuration Flexibility Die TOR Systeme können nicht einfach konfiguriert werden, um eine Verbindung zwischen 2 Punkten zu schalten Benötigen Routing Routinen durch zahlreiche Systeme hindurch, welches die Performance des Netzes verschlechtert bedingt durch Latenzzeiten, Überlastungen (network congestion) TOR benötigt nach Möglichkeit Server, die räumlich nah beieinander installiert sind, welches die Bildung von Hotspots im RZ fördert End of Row Switching mit einem cross Connect Bereich erleichtert die Verbindung beliebiger Punkten innerhalb des Netzwerkes Ermöglicht es Server zu zentralisieren oder gleichmäßig zu verteilen und vermeidet somit die Bildung von Hotspots im DC

Delta: TOR ist 67% teurer als EOR Switching Nachteile der TOR Architektur Cost Of Ownership – hoher Energieverbrauch Vergleich der Konzepte TOR Lösung End of Row Lösung 212W pro TOR Switch 7 x TOR Switche = 1484W Gesamtkosten für Strom pro KW Anschlussleistung im Jahr 876€ (KWh=0,10€ 1Jahr=8760h) 1,484 kW x 876€/KW = 1299,98€ für TOR Switche End of Row line card X6148- GE-TX = 105W 7 x line cards = 735W End of Row Chassis plus Ventilator = 150W Gesamtleistung EOR Switch = 885W Kosten pro KWh/Jahr= 876Euros x 0,885 = 775,26€ Delta: TOR ist 67% teurer als EOR Switching

Disadvantages of TOR Topology Total Cost Of Ownership TOR Solution End of Row Solution TOR Switch 4948-10GE = 7.038€ 7 x TOR Switches à 7.038€ = 49.266€ End of Row C6509-E-FAN = 3.996€ 48 port line cards = 3.640€ x 7 25.486€ 8 x 10G Base SR up-links = 6.714€ Supervisor module = 6.310€ Gesamtkosten EOR Switch = 38.924€ Delta = Euros 10.342

Disadvantages of TOR Topology Total Cost Of Ownership TOR Solution End of Row Solution Power = 1.299€ Hardware = 49.266€ Total = 50.565€ Power = 775,26€ Hardware = 38.924€ Total = 39.699€ Delta = 10.866€ Mehrkosten für 336 Netzwerk Ports = Euros 32 pro Port

Anmerkung zur COO in der Praxis Das Modell nimmt eine Auslastung der Ports von 100% an Dies würde für 24 Server pro Rack reichen (336 Ports/7 Racks = 48 Ports/Rack = 24 Server (bei 2 Schnittst./Server) Laut Markstudien befinden sich durchschnittlich ca. 14 Server in einem Rack = 28 Netzwerk Ports Wenn das Model dies berücksichtigt verändert sich der COO beträchtlich (336Ports/28 Serverports = 12 Racks) =>12 TOR Switche werden benötigt, da 12 Racks End of Row Switch bleibt unverändert

Cost Of Ownership Model Basierend auf 14 Server pro Rack TOR Solution End of Row Solution Power = 1.671€* Hardware = 84.456€ Total = 86.127€ * Angepasst für unbenutzte Ports, Verbrauch 159W anstatt 212W bei Vollast Power = 775,26€ Hardware = 38.924€ Total = 39.699€ Delta = 46.428€ Mehrkosten für 336 Netzwerk Ports = 138 Euro pro Port

Zusammenfassung COO Modell Kosten für einen Link strukturierte Verkabelung im RZ im Schnitt 50€ (Kat. 6A Buchse/Kat. 7A Kabel inkl. Installation) Dies würde bei 32€ pro Port bei 100% Vollauslastung Einen Vorteil für TOR Switching gegenüber EOR Switching bieten ABER: 100% Portauslastung ist nicht die Realität Basierend einer statistischen Auslastung von 14 Ports pro Rack laut Studie beträgt der Portpreis für TOR Switching138€ Dies bedeutet bei 50€ pro Link einen Vorteil von 38€ pro Link* * Dabei sind noch keine laufenden Kosten für Services der aktiven Systeme berücksichtigt. Die Betrachtung gilt nur für das erste Jahr der Anschaffung

Welche Kategorie der Strukturierten Verkabelung? Überlegungen: Warum wird TOR Switching favorisiert? Es muss schnell auf Geschäftsanforderungen reagiert werden (z.B. schnelles Roll-out von Serversystemen) Wachstum ist unberechenbar (in manchen Geschäfts- feldern mehr in anderen weniger) Zeitaufwand und Kosten bei Nachverkabelung sind extrem aufwendig

Welche Kategorie der Strukturierten Verkabelung? Systeme mit hohen Anforderungen sind verfügbar: Geschäftsfelder mit unberechenbaren aber hohen Wachstum an Servern sollten auf das Unerwartete ausgelegt werden um sicherzustellen das das System belastbar genug ist um damit auch in Zukunft fertig zu werden Die Bandbreiten werden durch die Server Virtualisierung weiter teilweise unberechenbar wachsen Betriebsstörungen durch Nachverkabelungen sind kostenintensiv, neue Kabel erfordern mehr Platz in Kabelrinnen oder Böden usw.

Um dies zu vermeiden empfiehlt Nexans das LANmark-7A Verkabelungssystem: Höchste Bandbreitenansprüche, gutes Preis- Leistungsverhältnis Zukunftssichers Netzwerk (verlängerte Nutzungsdauer welche Betriebstörungen verhindert)

Vielen Dank für Ihre Aufmerksamkeit! Nexans Cabling Solutions Martin Rottmann