iSCSI neue Wege zum SAN MT ZDV

Pfad der Darstellung Was ist SCSI? Was ist ein SAN? Die aktuelle Situation: Fibre Channel SAN Probleme Eine Lösung: iSCSI Bericht über unsere Tests Setup Lies, DAMN Lies and BENCHMARKS Demo

Was ist SCSI? SCSI (gesprochen skasi) Small Computer System Interface ANSI Standard Eine Gruppe von Interfacedefinitionen zur Kommunikation von Computersystemen Meist benutzt für Peripheriegeräte Wichtigster Fortschritt (Anfang der 80er) war die logische Blockadressierung an Stelle der physikalischen (CHS). Der originale Standard definierte Protokoll, Schnittstellen und Signalisierung

Was ist SCSI? (2) Topologie: BUS Im Anfang 8Bit, asynchron 5MHz, Synchron 5-10MHz Single ended -5(2)m; Differential 12M? SCSI2. (ua:)16Bit (wide), Fast (20MHz); HD-Stecker Später: Ultra(40MHz), Ultra2(80MHz)....... SCSI3 teilte den Standard auf in Protokolle und Transportschichten (und Interfaces) Bei den Protokollen gab es auch serielles SCSI Transporte sind: FC, Firewire, SSA

Probleme von SCSI TERMINATION Dicke Kabel mit monströsem Stecker: Fehlerträchtig 16(7) Geräte Kabellängen klein besonders bei SE Multihosting erfordert DIFF sonst instabil DIFF teuer und selten BUS!?? Meist durchgeschleifter BUS!????? TERMINATION

Was ist ein SAN? SAN: A network whose primary purpose is the transfer of data between computer systems and storage elements and among storage elements. Abbreviated SAN. A SAN consists of a communication infrastructure, which provides physical connections, and a management layer, which organizes the connections, storage elements, and computer systems so that data transfer is secure and robust. The term SAN is usually (but not necessarily) identified with block I/O services rather than file access services. Quelle: Storage Networking Industry Association www.snia.org

Was ist ein SAN? Sternförmige Vernetzung Serial SCSI3 über Fibre Channel (FCP) Switches für die Übermittlung Müssen auch `Sicherheit‘ herstellen Herstellerübergreifende Mangementtools vorhanden Aber sehr teuer Analysegeräte für FC vorhanden Noch teuerer

JoGuSAN V2 EC1 MS1 TSM EC2 CS MS2 NTAP1 NTAP2 DR2 DR1 T3 1 T3 2 ITL1 Brocade 3800 SAN A Brocade 3800 SAN B DR2 DR1 T3 1 T3 2 ITL1 ITL2 JBOD VA

Was Stimmt nicht mit FC? Entdeckungen: Erste Wahrheit über SANs (Fast) Alles was Sie Böses über Interoperabilität gehört haben ist wahr! Es wird nicht besser sondern schlimmer! Die Sun (mit Sun Treibern) loggen sich nicht im Fabric ein (loopmode) -mittlerweile: mit Tip von SE * Wartungsvertrag + patches für alle FC Software Mit MultipathIO wird der HP Va nicht als 1 Gerät erkannt T3 Luns zur Hälfte als unformatiert erkannt?? Mit der SUN in der Zone sichtbar booten die W2K Cluster member nicht Auf dem HP Compute server bleibt der ioscan hängen, falls der T3 Array in seiner Zone sichtbar ist, ziehen des FCKabel beendet den unkillbaren Prozess, alles ok danach! Linux+Emulex HBA: nur LUNs zusammenhängend ab 0 gefunden auch Solaris 9

Was stimmt nicht mit FC? Interoperabilität (Fortsetzung): Preis Cannot assume anything will just work. It has to be prequalified. Jacob Farmer, Cambridge Computer Services, Lisa02 Preis Die FC Adapter sind schweineteuer? Aufsattler, AKSYS 2003 Witten It can be cost-prohibitive for many applications ...... Per host cost for redundant connection = $5K-$10K(nach oben offen) Jacob Farmer, Cambridge Computer Services, Lisa 02 Wer ein SAN will muss 2 kaufen. MT, AKSYS2002

Es ist Rettung in Sicht Andere Transportschichten für Serial SCSI möglich Beispiele: (nicht für SANs) Firewire und SSA im Standard, in Nutzung USB und IDE/Atapi ALSO: wähle billige vernetzbare Transportschicht: IP iSCSI Network Working Group Request for Comments: 3347 Category: Informational Small Computer Systems Interface protocol over the Internet (iSCSI) Requirements and Design Considerations

iSCSI Layers SCSI iSCSI Upper Functional Layers (e.g. SSL) TCP Lower Functional Layers (e.g. IPSec) IP LINK

Vorteile von iSCSI Niedrige Kosten für Switches Niedrige Kosten für HBA? Software Implementierung teilweise umsonst Linux, M$, NetApp Hardware HBA sollen auch preiswert werden Singlechip Lösungen in Arbeit Diskarrays auf IDE Basis angekündigt NexSan $10K/TB (ATABeast wird billiger) Vorhandene Infrastruktur evtl mitnutzbar Nicht bei Hochgeschwindigkeitslösungen Nicht bei hohen Sicherheitsanforderungen

Probleme für iSCSI Sicherheit Offene Netze, daher Authentisierung nötig Datenintegrität (TCP Checksum nur 16 Bit) Optionale Header und Daten CRC32 definiert Software Implementierungen leiden darunter Kommandoreihenfolge über multiple Pfade Nummerierung der Kommandos: CmdSN SCSI entwickelt für niedrige Latenz Command Collapsing Status mit Daten|Error code mit Ceck Condition

Implementierungen (SW) Freie: Source Forge Linux-iscsi (cisco Projekt nach source forge migriert) Nur Host (Initiator) Intel referenz Implementierung Initiator + Target, Scheint alter draft zu sein Alle drafts nach 0.8 sollten kompatibel sein(teilweise) Kostenlosen (ohne Source) Microsoft Noch Beta, auch für Hardware HBAs geeignet Netapp Nur für Lizenzinhaber, nur Target

Implementierungen (hw) HBAs von intel, Adaptec Emulex, Qlogic (etc) SCSI Chip mit TCPoE(1Gb), evtl. weiter Funktionen (IPsec) In Vorbereitung (Betaphase) Ende des Jahres 10Gb (PCI-X) Diskarrays ( meist in Vorbereitung ) IBM IP Storage 200i seit 2002 (noch?) verfügbar bis Mitte 03: NexSAN Viele andere Router: (eigentlich inverse router) Cisco SN5420 SN5428 MDS95xx andere Switches???????

Cisco Storage Networking Products Fabric Manager SAN-OS Fabric Mgr MDS 9509 7200 FCIP PAM Multilayer Fabric Switch MDS 9216 Multilayer Director Supervisor-1 MDS 9506 MDS 9513 MDS 9000 Modules SN5428 Workgroup SAN 16-port FC 32-port FC 8-port IP Storage Gateway SN5420 Current Q4 CY 2002 1H CY 2003

iSCSI Tests 0 10.2002 Cisco SN5420 an unserem SAN Linux Driver Draft 8, Arbeitsplatzrechner über 100MBit und das ganze Campusnetz DELL 2650 über GBit und wenige Switches Zugriff auf JBoD Platten und T3 Zugriff klappt mkfs übersteht auch 1-2 Minutenlange Netzstörung Performance an 100MBit 11.5 MB/s Performance über GBit limitiert durch SB5420 60-70MB/sec gemessen (Cisco: 70-80 mit Tuning)

iSCSI Test 1 Setup: Netapp Test Maschine FAS825: Zugriffe von 825 Cluster mit je 1 TB/Node, 2x FC/Node zu 2 Brocade Gbit in für iSCSI, Os 6.4xy Zugriffe von W2K mit INTEL Beta HBA W2k mit Microsoft Beta Software Initiator Linux mit linux-iscsi (Cisco, sourceforge)

iSCSI Test 1 .... W2K mit INTEL Beta HBA Funktionierte (problematisch:SW upgrade der Adaptern) War aber langsamer als dieselbe Operation über FC W2k mit Microsoft Beta Software Initiator Konfiguration wirklich Beta mindesten 17 positionelle Kommandozeileargumente etc Funktionierte und war SCHNELL (ca2 mal Hardwareadapter!) (DEMO)

iSCSI Test 1 .... Linux mit linux-iscsi (Cisco, sourceforge) Versionen von 3.1.0.18 bis3.2.0.1 getestet Funktionalität ok, findet auch einzelne lun >>0 allerdings neue devices nicht direkt sichtbar Stabilität überraschend gut Performance (Client Dell 1650, 2CPU PIII 993MHz):