Storage Management.

Präsentation zum Thema: "Storage Management."—  Präsentation transkript:

1 Storage Management

2 Inhalt Disksubsysteme I/O-Techniken Speichervirtualisierung
Einsatz von Speichernetzen Filesysteme Backup, Recovery, Archivierung Business Continuity Hochverfügbarkeit Sicherheit im SAN

3 Disksubsysteme Architektur von Disksubsystemen JBOD
RAID-Systeme und RAID-Level Intelligente Disksubsysteme (Instant Copies, Remote Mirroring)

4 Disksubsysteme Serverzentrierte Architektur
Speicherzentrierte Architektur

5 Disksubsysteme Der interne Aufbau eines Disksubsystems bleibt dem angeschlossenen Rechner verborgen Anschlüsse (Ports) z.B. SCSI, Fibre Channel, iSCSI Ein Controller realisiert den Zugriff auf die internen Festplatten Ein Cache kann die Zugriffe beschleunigen

6 Disksubsysteme Viele kleine Platten: hohe Performance
Große Platten: hohe Kapazität Freie Ressourcen können nach Bedarf an die angeschlossenen Rechner verteilt werden

7 Disksubsysteme JBOD (Just a Bunch of Disks): die Platten werden vom Rechner als eigenständige Geräte mit eigenen Adressen erkannt (meist kein Controller) Einfachere Handhabung im Gegensatz zu einzelnen Geräten

8 Disksubsysteme Disksubsysteme mit RAID-Controller fassen die physikalischen Festplatten zu einer virtuellen Festplatte zusammen RAID: Redundant Array of Independent Disks Nur die virtuelle Festplatte ist für den/die Server sichtbar Technische Vorteile: keine Beschränkungen bzgl. der Anzahl der Geräte, keine Begrenzung von Partitionsgrößen durch Plattengrößen

9 RAID-Systeme RAID-Systeme können die Performance und/oder die Ausfallsicherheit im Vergleich mit einer einzelnen Festplatte erhöhen Der Server speichert die Daten auf der virtuellen Festplatte, erst der Controller verteilt die Daten auf verschiedene Weise auf die physikalischen Platten Hierzu sind sog. RAID-Levels definiert

10 RAID-Systeme Ausfallsicherheit durch Redundanz
Rekonstruktion der verlorenen Daten aus den verbliebenen Mit Hot Spare Disks kann dies ohne Unter-brechung im laufenden Betrieb geschehen

11 RAID-Level 0 RAID 0 erhöht die Performance (Schreib-/Lesegeschwindigkeit im Vergleich zu einer einzelnen Festplatte) Bietet keine Redundanz Verteilt die Daten blockweise auf mehrere physikalische Platten (Data Striping) Vorteil: der Rechner schickt die Daten mit der Geschwindigkeit des Datenbusses, der Con-troller verteilt die Daten auf die Platten

12 RAID-Level 1 Erhöhung der Ausfallsicherheit durch Spiegelung der Platten (Data Mirroring) Der Controller dupliziert die Datenblöcke und schreibt Kopien parallel auf zwei Platten Vorteil: beim Ausfall einer Platte wird der Be-trieb nicht beeinträchtigt, Lese-Operationen können auf beide Platten verteilt werden Nachteil: es wird für die virtuelle Platte die doppelte phys. Plattenkapazität benötigt

13 RAID 0+1 und RAID 10 Vereinigung der Konzepte von RAID 0 und RAID 1
RAID 0+1: Bildung eines RAID 0 (Striping) aus mehreren physikalischen Platten, dann Duplizierung des RAID 0 in einem RAID 1 RAID 10: aus jeweils zwei phys. Platten werden mehrere RAID 1 gebildet, dann Striping der Blöcke per RAID 0

14 RAID 0+1 und RAID 10 Beide Level erzeugen eine große, schnelle und ausfallsichere virtuelle Festplatte RAID 10 bietet eine etwas höhere Ausfall-sicherheit Vorteil beider Level: funktionsfähiges System u.U. sogar beim Ausfall mehrerer Platten Nachteil: hohe Kosten

15 RAID-Level 2 RAID 2 hat heute keine praktische Bedeutung mehr
Ziel: Korrektur von einzelnen Bitfehlern Fortlaufendes bitweises Striping Berechnung eines Hamming-Codes zur Fehlerkorrektur, der auf weiteren Platten abgelegt wird

16 RAID-Level 3 Ähnlich wie RAID 2, aber byteweises Striping
Berechnung einer einfachen Parität Der Paritätswert wird auf einer weiteren Platte gespeichert Vorteil: beim Ausfall einer (beliebigen) Platte können die Daten aus den verbliebenen Platten rekonstruiert werden Nachteil: langsam wegen Parity-Berechnung

17 RAID-Level 4 Wie RAID 3, aber blockweises Schreiben
Beim Lesen etwas effizienter als RAID 3 RAID 3 und RAID 4-Systeme sind heute in der Praxis unüblich

18 RAID 5 Blockweises Striping über alle Platten
Verteilung der Parity-Blöcke über alle Platten Beim Ausfall einer Platte: Wiederherstellung der Daten aus den Parity- bzw. Datenblöcken der anderen Platten Guter Kompromis aus Redundanz, Schreib-geschwindigkeit und Kosten Problem: „Write Penalty“

19 RAID 6 wie Raid 5, jedoch zwei unabhängige Prüf-summen (Double Parity)
Vorteil schnelleres Recovery, hohe Sicherheit Nachteil: Schreibgeschwindigkeit, doppelte Write Penalty

20 weitere RAID-Level Hot Spare RAID 7 RAID 6 mit eigenen Parity-Platten
Kombinationen, z.B. RAID5+0, RAID 5+1, RAID 53 Fast alle proprietären RAID-Level sind Kombinationen aus den Basis-Leveln

21 RAID Implementationen
Software (oft RAID 0, 1, 5) Vorteile: kostengünstig, RAID-Verbünde auch über Partitionen, mehrere RAID-Level parallel Nachteile: sehr schlechte Performance, ggf. Probleme beim Booten Hardware Vorteile: oft sehr gute Performance, keine Probleme beim Booten, z.T. batterie-gepufferte I/O-Caches, ggf. Hot Swapping möglich Nachteile: hohe Kosten, oft „sehr prorietär“

22 Intelligente Disksubsysteme
Festplatten-Cache Cache des RAID-Controllers Caching beim Schreiben Caching beim Lesen Allgemeiner Vorteil des Cachings: der Bus ist schneller wieder frei

23 Intelligente Disksubsysteme
Instant Copies: sehr schnell angelegte virtuelle Kopien (Erzeugung von Testdaten, Archivierung/Backup, Data Mining Varianten: Incremental Instant Copy Umkehrung der Instant Copy Space effincient Instant Copy

24 Intelligente Disksubsysteme
Remote Mirroring: Spiegelung der Daten auf ein entferntes zweites Disksubsystem zu unterscheiden: Synchrones Remote Mirroring Asynchrones Remote Mirroring Konsistenzgruppen Write Order Consistency

25 IDE/ATA Integrated Disc Electronics (IDE)
Advanced Technology Attachement (ATA) Verlagerung des Festplattencontrollers in die Laufwerkselektronik Die Normierung der IDE-Schnittstelle ist der ATA-Standard Die IDE-Schnittstelle kann ein (Master) oder zwei (Slave) Geräte bedienen

26 IDE/ATA IDE/ATA ist eine parallele Übertragungs-technik mit 16 Bit Datenbreite und einem 40-poligen (bis 33 MB/s) bzw. 80-poligen Kabel (UltraDMA, ab 66 MB/s) Kabellänge: max. 46 cm (UltraDMA) Als Bus-Technik für größere Speicher-anwendungen nicht geeignet

27 Serial ATA Bei SATA wird eine serielle Übertragungs-technik verwendet (bei höheren Geschwindig-keiten ist der Datenfluss kaum synchron zu halten) Jedes Gerät hat einen eigenen Anschluss Entfernungen: 1 m (SATA), bis 8 m (xSATA) Geschwindigkeiten: 150 MB/s (SATA), 300 MB/s (SATA Rev. 2), zukünftig 600 MB/s

28 ATAoE Spezielle Technik: ATA over Ethernet
ATAoE verpackt die SATA/ATA-Kommandos in Ethernet-Rahmen Eine Alternative zu iSCSI Vorteil: weniger Overhead, da weder IP noch TCP genutzt wird Nachteil: nicht route-bar (nur Schicht 2)

29 SAS Serial Attached SCSI
Verwendung des SCSI-Protokolls mit ver-änderter physikalischer und elektrischer Verbindungstechnik Dünnere Kabel, geringerer Energieverbrauch, aber erheblich höhere Taktraten Physikalisches Medium ähnlich wie SATA (SATA-Laufwerke können an SAS-Schnitt-stellen angeschlossenen werden)

30 SAS Übertragungsrate SAS-1: 3 Gbps (entspricht wegen 8B/10B-Codierung 300 MB/s) Anschluss von bis zu 128 Geräten an einen Expander (Switch), bei Fanout-Expandern (hierarchisches System) bis zu 16384 Höhere Verfügbarkeit mit doppelter Schnittstelle

31 SCSI Small Computer System Interface (SCSI)
Geräteunabhängiges I/O-System Das SCSI-Protokoll definiert Regeln zur Realisierung dieses I/O-Pfades Technische Umsetzung mittels SCSI-Bus, alternativ SAN oder iSCSI

32 SCSI Der I/O-Pfad ist an den internen Host-I/O-Bus (meistens PCI) angeschlossen, die Kommu-nikation erfolgt über Gerätetreiber Protokolle für Device Driver außer SCSI z.B. Firewire, HIPPI, IDE/ATA, SATA, SAS, USB

33 SCSI Historie: SCSI-1 (1986) 5 MB/s SCSI-2 (1989) 10 MB/s
Ultra-SCSI (1992) MB/s SCSI-3 (1993) Bündelung verschiedener Normen Ultra-2-SCSI (1997) MB/s Ultra-160 (1999) 160 MB/s Ultra-320 (202) 320 MB/s

34 SCSI Versions-Überblick Version MB/s Bus-breite Geräte-zahl SE HVD LVD
SE: Single-ended, LVD: Low Voltage Differential, HVD: High Voltage Differential Version MB/s Bus-breite Geräte-zahl SE HVD LVD SCSI-2 5 8 6 m 25 m - UW-SCSI 40 16 4 - 8 bis 3 m UW2-SCSI 80 12 m U160 160 U320 320

35 SCSI Installation (parallel) mittels Daisy-Chaining und aktiver/passiver Terminierung an beiden Enden Adressierung: Controller-ID, Target-ID, LUN Höchste Priorität hat Target-ID 7 Es sind diverse (meistens nicht kompatible) interne und externe Kabel- und Stecker-Typen definiert

36 SCSI SCSI und Speichernetze
Auch wenn der parallele SCSI-Bus zunächst eine reine DAS-Technik ist, können prinzipiell mehrere Server an einen Bus angeschlossen werden In der Praxis: twin-tailed-Verkabelungen in Heart-Beat-Clustern Nur eine einfache Vorstufe zu einem hoch-verfügbaren Speichernetzwerk

37 SCSI Konfiguration HBA Konfiguration Geräte SCSI-ID SCAM
SCSI Disconnect Start-Unit Kommando Ultra-SCSI und synchroner Transfer (veraltet) Konfiguration Geräte Terminierung Startup-Delay

38 SCSI Signale am 68-poligen Wide-SCSI LVD-Kabel (34 Adernpaare):
16 Datenleitungen 9 Steuersignale (u.a. Busy, Select, Reset, Data, ACK) 2 Spannungsversorgung aktiver Terminatoren 2 Paritätssignale 3 Masse 1 reserviert 1 DIFF_SENSE (SE-Geräte am LVD-Kabel)

39 SCSI Bus-Phasen Bus Free: kein Gerät belegt den Bus
Arbitration: Aushandlung, welches Gerät den Bus erhält Selection: Herstellung der Verbindung zwischen Initiator und Target Message-Out, z.B. Fehlermeldungen, Task Ab-bruch, Disconnect, Optionen, Parityfehler, LUN

40 SCSI Command Phase Data in/out: Austausch von Steuer- bzw. Nutzdaten
Status Phase: Meldungen nach Beendigung oder Abbruch eines Kommandos Message-In: Meldungen vom Target

41 SCSI SCSI-Kommandos Prinzipieller Aufbau: Opcode, Kommando-Parameter, Steuerbyte SCSI unterstützt verschiedene Typen von Geräten (Geräteklassen), für die es unterschiedlich aufgebaute Komandos gibt (Festplatten, Band-laufwerke, CD/DVD, Optische Medien, Medien-wechsler, Kartenleser, Drucker, Storage-Array-Controller, Gehäusedienste)

42 SCSI SCSI-Kernkommandos (für blockorientierte Geräte)
Opcode: das eigentliche Kommando LUN (nur SCSI-1) Block-Nr. (adressierter Block) Datenlänge Steuerbyte

43 SCSI Allgemeine Kommandos INQUIRY (Informationsabfrage)
TEST UNIT READY REQUEST SENSE (Anforderung von Zustandsdaten) MODE SELECT / MODE SENSE: einstellen bzw. abrufen der Gerätecharakteristik

44 SCSI Kommandos für blockorientierte Geräte z.B. READ CAPACITY
READ und WRITE FORMAT UNIT

45 SCSI Kommandos für flussorientierte Geräte
Bandlaufwerke, allgemein: Geräte mit sequentiellem Zugriff REWIND READ und READ REVERSE WRITE SPACE LOAD UNLOAD

46 Fibre Channel Ursprünglich als Netzwerktechnik entwickelt
Heute eine Technik für Storage Area Networks (SAN) Entwurfsziele: serielle Übertragung, große Entfernungen, geringe Fehlerrate und Verzögerung FC ist lediglich eine Übertragungstechnik, kennt jedoch keine höheren Protokolle

47 Fibre Channel höhere Protokolle z.B. IP oder SCSI
FC ist eine Art „Datenkanal“ (mit Über-tragungsraten bis zu 4 Gbps (400 MB/s)) mit den Eigenschaften eines I/O-Buses Der FC-Protokollturm besteht aus 5 Leveln sowie den ULP

48 Fibre Channel Protokollturm
ULP Upper Layer Protocols FC-Level 4 Schnittstelle zu ULP FC-Level 3 vorges. u.a. für Komprimierung, Verschlüsselung FC-Level 2 Rahmenstruktur, Dienstklassen, Adressierung … FC-Level 1 Kodierungsverfahren 8b/10b FC-Level 0 Physikalisches Interface

49 Fibre Channel Topologien: Point-toPoint Arbitrated Loop
Switched Fabric

50 Fibre Channel Port-Typen N_Port (Node) Endgeräte in einer Fabric
F_Port (Fabric) Gegenstück zum N_Port L_Port (Loop) Port im Loop NL_Port: Fähigkeiten von N_ und L_Port FL_Port: Verbindung von Fabric und Loop E_Port (Expansion) Verbindung zweier Switches G_Port (Generic) automatische Konfiguration B_Port (Bridge) WAN-Verbindung zweier Switches

51 FC-Level 0 FC-0 definiert das physikalische Medium
Kabel: LWL (MMF und SMF), Kupfer nur für sehr kurze Entfernungen Stecker: heute LC üblich (oft mit SFPs), bei älteren Geräten auch ST oder SC Übertragungsraten: 100, 200, 400 MB/s sowie 1 GB/s für Switch-Verbindungen

52 FC-Level 1 Kodierung der Daten (8b/10b-Kodierung)
Sender und Empfänger müssen ihre Taktraten synchronisieren Die 8b/10b-Kodierung löst das Problem ohne zu großen Overhead

53 FC-Level 1 8b/10b-Kodierung
Verwendung von zwei Teil-Kodierern (3b/4b und 5b/6b) Beide Kodierer verwenden feste Kodiertabellen Der 5b/6b-Kodierer wandelt die 32 möglichen 5-Bit-Symbole in 18 sog. „gleichstrom-neutrale“ 6-Bit-Symbole um Die verbleibenden 5-Bit-Zeichen werden in jeweils zwei mögliche Symbole mit entweder zwei oder vier Einsen kodiert

54 FC-Level 1 Für die Zeichen mit vier Einsen und zwei Nullen ist die sog. „Running Disparity“ (RD) negativ, positiv im Fall zwei Einsen und vier Nullen Der 3b/4b-Kodierer verfährt ähnlich es gibt vier gleichstromneutrale Zeichen und vier mit RD= -1 bzw. RD= +1 Die 6-Bit bzw. 4-Bit-Zeichen werden so zu einem 10-Bit-Zeichen zusammengesetzt, dass nie RD = +2 bzw. RD = -2 entsteht Weitere Regeln: nie mehr als vier bzw. fünf Einsen oder Nullen hintereinander

55 FC-Level 1 Es stehen freie 10-Bit-Zeichen zur Verfügung, die für Verwaltungszwecke des FC-Links verwendet werden (K28.5) Das K28.5-Zeichen wird zur Trennung von Datenwörtern verwendet, die aus 4 Daten-bytes bestehen FC unterscheidet zwischen Datenwörtern und einer Kommandosyntax, den sog. „Ordered Sets“

56 FC-Level 1 Datenwörter beginnen mit Start of Frame (SOF) und enden mit End of Frame (EOF) Ein Ordered Set (nur zwischen EOF und SOF) beginnt immer mit K28.5 und enthält verschiedene Kommandotypen zur Kommunikation mit den Ports (z.B. Idle, Receiver_Ready (R_RDY), Offline State (OLS), Not Operational (NOS), Link Reset (LR))

57 FC-Level 2 Level für die Datenübertragung: Regelung wie größere Dateneinheiten übertragen werden, Flusssteuerung, Dienstklassen FC-2 definiert eine dreistufige Hierarchie Exchanges Sequences (innerhalb einer Exchange) Frames (innerhalb einer Sequence)

58 FC-Level 2 Frames (Rahmen)
Ein Rahmen ist die kleinste logische Dateneinheit Zu unterscheiden sind Daten- und Kontroll-Frames Ein Datenframe enthält zwischen 0 und 528 Datenwörter (40 Bit kodiert, 32 Bit Nutzdaten) d.h. max Byte Nutzdaten Er besteht aus: SOF, Frame Header (incl. Adres-sierung), Datenfeld, CRC, EOF

59 FC-Level 2 Der Frame Header: Routing Control (R_CTL): Art des Payloads
D_ID und S_ID: 24 Bit Port-Adresse Type: Protokoll des Payloads Frame Control (F_CTL): Kontrollinformationen SEQ_ID: Bezeichner für eine Sequence Data Field Control (DF_CTL): Definition, ob es innerhalb der Payload einen Optional Header gibt SEQ_CNT: Position eines Frames in einer Sequence OX_ID: Bezeichner für die Exchange (vom Originator) RX_ID: Bezeichner für die Exchange (vom Responder)

60 FC-Level 2 Werden größere Datenmengen innerhalb einer Sequence übertragen als in einen Frame passen, werden mehrere Frames generiert Die Fehlerkorrektur findet auf Ebene einer Sequence statt (d.h. Wiederholung einer gesamten Sequence bei Fehler in einem Frame)

61 FC-Level 2 Sequence: Dateneinheit (bestehend aus einem oder mehreren Frames), die zwischen einem Source- und einem Destination-Port übertragen wird Exchange: Kommunikationsverbindung zwischen zwei Geräten, bestehend aus ggf. mehreren Sequences auch in beide Richtungen

62 FC-Level 2 Flusssteuerung
FC definiert ein Credit-Modell zur Flusskontrolle Zwei Mechanismen Buffer-to-Buffer (oder Link-Flusskontrolle) End-to-End Die Art der Flusskontrolle ist abhängig von der verwendeten Dienstklasse Dienstklassen erfüllen spezifische Anforderungen von Anwendungen bzgl. garantierte Bandbreite, Art der Verbindung, Art der Zustellung

63 FC-Level 2 Es sind sechs (sieben) Dienstklassendefiniert
Class 1: bestätigter verbindungsorientierter Dienst Class 2: bestätigter verbindungsloser Dienst Class 3: unbestätigter verbindungsloser Dienst Class 4: wie Class 1 mit reservierten Bandbreiten pro Virtual Circuit (VC) Class 5: für zukünftige Zwecke Class 6: uni-direktionale Dienste Class F: Kommunikation von Switches unter-einander

64 FC-Level 2 Class 1 verbindungsorientierte Kommunikations-verbindung zwischen zwei Node-Ports (N_Ports) Bestätgungen werden gesendet Reihenfolge der Frames ist garantiert Verfügbarkeit der vollen Bandbreite

65 FC-Level 2 Class 2 Bestätigter verbindungsloser Dienst
Keine vorgegebene Verbindung bzw. Route Keine Garantie der Frame-Reihenfolge End-to-End-Flusskontrolle (Credit-basiert)

66 FC-Level 2 Class 3 Unbestätigter verbindungsloser Dienst
Wie Class 2 aber ohne End-to-End-ACK Frame-Verluste müssen von höheren Schichten erkannt und korrigiert werden Geeignet für Multicast- und Broadcast-Anwen-dungen sowie für FC-AL und IP-Anwendungen

67 FC-Level 2 Class 4 Bestätigter verbindungsorientierter Dienst mit reservierten Bandbreiten Herstellung einer Verbindung (Virtual Circuit) mit bestimmter Bandbreite Es gibt Quality-of-Service-Parameter Geeignet für Echtzeit-Anwendungen Class F Ähnlich Class 2, jedoch nur für die Kommunikation zwischen Switches für Management einer Fabric über E_Ports

68 FC-Level 3 FC-3 befindet sich in der Entwicklung
Heutige FC-Produkte nutzen FC-3 nicht Denkbar sind folgende Funktionen: Striping: Frames parallel über mehrere Ports Multipathing: Herstellung einer logischen Pfadgruppe Automatische Komprimierung Verschlüsselung Mirroring und andere RAID-Funktionen

69 Link Services Verwaltungsdienste für das FC-Netz
Login Adressierung Login mittels eines dreistufigen Mechanismus Fabric Login (FLOGI) N_Port-Login (PLOGI) Process Login (PRLI)

70 Link Services Fabric Login
Verbindung zwischen einem N_Port und einem F_Port nach Initialisierung des Links Zuweisung einer dynamischen Adresse für den N_Port durch den F_Port Aushandlung von Parametern

71 Link Services N_Port-Login Process Login
Session zwischen zwei N_Ports nach dem FLOGI Service-Parameter Optional für Class 3 Process Login Session zwischen zwei FC-4-Prozessen zur Aushandlung spezieller Service-Parameter

72 Link Services Adressierung
Jedem FC-Gerät wird ein eindeutiger Bezeichner zugeordnet: der World Wide Name (WWN) mit 64 Bit WWNs sind sowohl Ports (WWPN) als auch Geräten (Nodes, WWNN) zugewiesen Automatische Zuweisung einer 24-Bit-Port-Adresse (N_Port_ID) vom Switch an den N_Port Die N_Port_ID wird zur Adressierung der Frames verwendet

73 Link Services Die N_PORT_IDs sind hierarchisch aufgebaut und spiegeln die Topologie des Netzes wider Damit erkennt ein FC-Switch, ob ein Ziel-Port an einem eigenen F_Port hängt oder ein Frame über einen E_Port an einen weiteren Switch weiter-geleitet werden muss In Arbitrated Loops werden 8-Bit-Port-IDs verwendet

74 Link Services Fabric Services
FC-Switches verwalten Informationen, die zum Betrieb eines FC-Netzes erfoderlich sind: Fabric Login Server, Fabric Controller, Name Server Alle Dienste sind über festgelegte Adressen per FC-2-Frames erreichbar Fabric Login Server (Adresse FF FF FE) verarbeitet eingehende FLOGI-Anforderungen

75 Link Services Fabric Controller (Adresse FF FF FD): Verwaltung von Änderungen Name Server (Adresse FF FF FC): Verwaltung einer Datenbank über N_Ports (WWNN, WWPN, Port_ID, unterstützte Dienstklassen usw.)

76 FC-Level 4 Protocol Mapping (Abbildung eines Upper Layer Protocols auf die FC-Technik) FC-4-Protokolle unterstützen die API bestehender ULP und transferieren deren Anforderungen auf die FC-Techniken Das FC-4-Protokoll für SCSI ist FCP (Fibre Channel Protocol) IPFC ist das FC-4-Portokoll für IP

77 IP-Storage Alternativ zu Fibre Channel stehen verschie-dene IP-basierte Speicherstandards zur Verfügung Vorteil: etablierte, preiswerte Netzwerktechnik Nachteil: sehr hoher Protokoll-Overhead Standards z.B.: iSCSI, iFCP, FC over IP (FCIP)

78 IP-Storage iSCSI: Übertragung des SCSI-Protokolls über das Netzwerk
Ein Rechner im iSCSI-SAN benötigt nur eine normale Netzkarte und einen iSCSI-Treiber iSCSI-HBAs setzen den iSCSI/TCP/IP-Protokoll-turm in Hardware um Strategien zur Minimierung des Protokoll-Overheads

79 IP-Storage Internet FCP (iFCP) FC over IP (FCIP)
Abbildung von FCP auf TCP/IP Vorteil: normale Arbeitsplatz-Rechner können per iFCP mit einem FC-SAN kommunizieren Variante mFCP setzt auf UDP auf FC over IP (FCIP) Tunneling-Protokoll für FC, das FC-Frames in IP-Pakete einpackt Überbrückung größerer Entfernungen

80 IP-Storage TCP/IP vs. FC als I/O-Technik Engpass PCI-Bus InfiniBand
„normaler“ PCI-Bus (shared-media): Übertragungsraten zwischen 1 und 8 Gbps Alternative PCIe (seriell) InfiniBand Serielles geswitchtes Netzwerk als Ersatz für das parallele PCI

81 IP-Storage Virtual Interface Architecture VIA
VIA realisiert eine schnelle Kommunikation zwischen Anwendungen auf verschiedenen Rechnern Vorauss.: schnelles Netz mit geringer Latenz Grundprinzip: Umgehung des Betriebssystems bei der Kommunikation zwischen Anwendung und Netzkarte

82 IP-Storage Aufbau eines Virtual Interface (VI)
Einrichtung eines gemeinsamen Speicherbereichs von Anwendung und NIC Ablauf: Anwendung auf Rechner 1 füllt den Speicherbereich Information an VI-Hardware mittels Send Queue, dass Daten zu versenden sind VI-Hardware liest die Daten aus dem gemeinsamen Speicherbereich Übertragung an die VI-Hardware von Rechner 2

83 IP-Storage Remote Direct Memory Access (RDMA)
Anwendungen lesen und schreiben Speicher-bereiche von Prozessen auf entfernten Rechnern Zugriff mittels VI Heute existieren Standards wie z.B. iSER (iSCSI Extension für RDMA) oder RDMA over TCP

84 Network Attached Storage NAS
Netzwerk-Dateisysteme Network File System NFS Common Internet File System CIFS NAS-Server als eigenständige Geräte Performance-Engpässe Beschleunigung von Netzwerk Filesystemen Shared Disk Filesysteme

85 Virtualisierung im Speichernetz
Virtualisierung z.B. Caching, RAID, Volume Manager, Instant Copy, Remote Mirroring Verschiebung der Virtualisierungsfunktionen von Servern in das Speichernetz Virtualisierung im I/O-Pfad: Anwendung, Volume Manager, HBA, Disksubsystem Virtualisierung im Speichernetz: Trennung von Servern und Speichergeräten

86 Virtualisierung im Speichernetz
Ohne Virtualisierung: hohe Anforderungen an die Daten-Administration Flexible Zuordnung von Ressourcen oft nur in homogenen Umgebungen möglich Umzug von Daten auf ein neues Speicher-system per Remote Mirroring oft nur Theorie Verschiedene Daten haben unterschiedliche Anforderungen an Verfügbarkeit, Backup, Performance

87 Virtualisierung im Speichernetz
Ziele der Speichervirtualisierung Vereinfachung der Verwaltung von Speichern Effiziente Ressourcennutzung, Verbesserung von Performance und Verfügbarkeit Automatische, an Datenprofilen orientierte Verwaltung Trennung von physikalischem Speicher und logischer Darstellung

88 Virtualisierung im Speichernetz
Realisierung über eine Virtualisierungsinstanz Möglichkeiten: Austausch von Speichergeräten zur Laufzeit Dynamische Zuweisung von Speicher Automatische Datenmigration Performance-Verbesserung Redundanz Backup und Archivierung Gemeinsame Datennutzung

89 Virtualisierung im Speichernetz
Virtualisierung auf Block-Ebene vs. Datei-Ebene Speichervirtualisierung im Server (z.B. Volume Manager) Speichervirtualisierung im Speichergerät Speichervirtualisierung im Netz (symmetrisch oder asymmetrisch)

90 Business Continuity Ziel von Business-Continuity-Programmen und –plänen ist die Aufrechterhaltung des Geschäftsbetriebs in Krisenfällen Hierzu gehören sowohl technische als auch organisatorische Strategien Business Continuity Programm: Sicher-stellung eines unterbrechungs- und verlustfreien Betriebs

91 Business Continuity Business Continuity Plan beschreibt Aktionen und Abläufe im Krisenfall Risiken für IT-Systeme: Benutzerfehler, Ausfall von IT-Komponenten, Umwelt IT-Ausfälle stehen im Kontext mit Geschäfts-prozessen: jedes Unternehmen muss indivi-duell Risiken und Auswirkungen definieren

92 Business Continuity Phasen des Wiederanlaufs nach Störungen
Wiederanlauf der Datenverfügbarkeit Wiederanlauf der IT-Infrastruktur Wiederherstellung der operativen Prozesse Wiederherstellung der Geschäftsprozesse Eine Business Continuity Strategie soll wirtschaftlich sinnvoll sein: Risikoanalyse zur Identifizierung von Risiken, Strategie zur Abwehr von Risiken, Kontrolle der Strategie

93 Business Continuity Erstellen eines Business Continuity Plans
Analyse geschäftskritischer Prozesse Analyse geschäftskritischer IT-Systeme Risikoanalyse Anforderungen an die Technik Auswahl der Technik Implementierung und Test der Lösung Validierung und Aktualisierung des Plans

94 Business Continuity Unterschiedliche Strategien
Hochverfügbarkeit Desasterschutz Kontinuierlicher Geschäftsbetrieb Hochverfügbarkeit: Schutz vor Komponenten-ausfällen Desaster: verlustfreie Wiederaufnahme Kontinuierlicher Betrieb: möglichst geringe Auswirkungen der administrativen Aufgaben

95 Business Continuity Verfügbarkeit Kenngrößen
Verfügbarkeit = Betriebszeit / (Betriebszeit + Ausfallzeit) Kenngrößen Mean Time between Failure (MTBF) Mean Time to Repair (MTTR) Mean Time to Failure (MTTF) Verfügbarkeit = MTTF / (MTTF + MTTR) Gesamtverfügbarkeit abhängig von serieller oder paralleler Koppelung der Komponenten

96 Business Continuity Charakterisierung von Ausfällen
Recover Time Objective (RTO): maximale Zeit zur Wiederherstellung des Betriebs Recover Point Objective (RPO): Zeitspanne, über die ein Datenverlust tolerierbar ist Network Recovery Objective (NRO): Zeit zur Wiederherstellung des Netzbetriebs

97 Business Continuity Hochverfügbarkeit: kontinuierlicher Daten-zugriff, RTO nahe Null, keine Anforderungen an den RPO Desasterschutz bei synchroner Spiegelung: RPO nahe Null, keine Anforderung an RTO Desaterschutz bei asynchroner Spielgelung: kleiner RPO, keine Anforderung an RTO

98 Business Continuity Sieben-Stufen-Modell
Stufe 0: keine strukturierte Datensicherung Stufe 1: Datensicherung kein Notfallrechenzentrum Stufe 2: Datensicherung mit Notfallrechenzentrum Stufe 3: Datensicherung über LAN/WAN Stufe 4: Instant Copies Stufe 5: Software-Spiegelung Stufe 6: Spiegelung über Disksubsystem Stufe 7: vollautomatische Lösungen

99 Business Continuity Stufen 1-3: klassische (Band-)Speichertechnik
Stufen 4-6: Speicher mit Replikationstechniken Stufe 7: Absicherung gegen alle Arten von Ausfällen

100 Business Continuity Lösungen
Klassische Datensicherung Wiederherstellung von Kopien Instant Copy: hoher RPO, geringer RTO; neuer Ansatz: Continuous Data Protection CDP oder Disk-to-Disk-to-Tape Spiegel: Remote Mirroring, Spiegelung im Volume Manager, Replikation von Datei-systemen und Anwendungen

101 Business Continuity Remote Mirroring: RPO = 0, ohne Verwen-dung von Konsistenzgruppen RPO ungewiss, RTO vom Remote Mirroring unabhängig Spiegel über drei Standorte: Kombination von synchronem und asynchronem Remote Mirroring Alternativ: Spiegelung mit Datensicherung

102 Business Continuity Volume Manger Mirroring
synchron: Desasterschutz asynchron: Hochverfügbarkeitslösung Kontinuierliche Verfügbarkeit Kombination verschiedener Lösungen Volume Manager Spiegel mit Remote Mirroring Erweiterung um (doppelte) Instant Copies

103 Datensicherung Was ist ein Backup? Warum sind Backups wichtig?
Eine Kopie von Daten zu einem bestimmten Zeitpunkt Warum sind Backups wichtig? Datenverluste aufgrund von Fehler-situationen können zu hohen wirtschaft-lichen Verlusten führen Wie oft sollten Daten gesichert werden? Je nach Anforderungen an die Daten-sicherheit

104 Datensicherung Fehlersituationen: Hardware-Fehler (z.B. Plattencrash)
Stromausfall Betriebssystemfehler Software-Fehler Datenverlust durch Cracker, DoS, Viren ... Fehlverhalten von Benutzern

105 Datensicherung Begriffe Sicherungsmedien
Backup/Recovery: temporäre Speicherung Archivierung: langfristige Speicherung Migration (HSM): Verschieben von Dateien Sicherungsmedien Backup: meistens Magnetbänder Archivierung: Bänder, MO, CD-R Migration: „schnelle“ Medien (MO, CD-R)

106 Datensicherung Hardware Techniken von Bandlaufwerken
Digital Audio Tape DAT, 4mm: bis 12GB 8mm, AIT: bis 25 GB Digital Linear Tape DLT: bis 40GB Quarter Inch Tape QIC: bis 5GB High-Speed-Techniken (IBM Magstar, StorageTek Redwood): schnelle Zugriffszeiten

107 Datensicherung Band-Roboter („Jukebox“) Silos
mehrere Bänder in einem Gerät für alle Bandtechniken verfügbar ein Greifarm lädt autom. ein Band ins Laufwerk ab 4 Slots bis 1000 Slots, Kapazitäten > 50TB Silos von > 1000 Slots bis mehrere Slots mehrere Dutzend Bandlaufwerke Kapazitäten > 100TB Hersteller: IBM, EMASS/Grau, StorageTek

108 Datensicherung Magneto-Optische Medien MO, CD-R, WORM bis zu 2,5GB
DVD-R: bis 4GB Vorteil: sehr kurze Zugriffszeiten Nachteil: geringe Kapazität, dadurch teure Medien, z.T. nicht wiederbeschreibbar

109 Datensicherung Techniken von optischen Medien CD-R (CD-WORM)
5¼´´-Scheibe aus einem Platomer Reflexionsschicht mit lichtempf. Farbschicht beim Schreiben verändert ein Laser die Farbe Vorteil: preiswerte Technik, geeignet für gelegentliche lokale Sicherungen Nachteil: geringe Kapazität (800MB), langsame Schreibgeschwindigkeit ( x • 150KB/s)

110 Datensicherung DVD-R magneto-optische Scheiben (MO)
ähnliche Technik wie CD-R Speicherkapazität bis 4GB (kleinere Pit-Länge, engere Datenspur, größere Datenfläche) mehrere Layer (wie bei DVD-ROM) sind nicht vorhanden magneto-optische Scheiben (MO) verfügbar als WORM oder wiederbeschreibbar 3½´´ oder 5¼´´, beidseitig beschreibbar

111 Datensicherung aktive Schicht aus magnetischem Material
magnetische Speicherung der Daten Ummagnetisierung der Schicht mittels Laser Lesen ebenfalls per Laser die Polarisierung des Laserlichts abh. von der Magnetisierungsrichtung (Kerr-Effekt) Vorteil: zuverlässige Technik, langer Archi-vierungszeitraum > 10 Jahre Nachteil: geringe Kapazität (2,6 GB), langsame Schreibgeschwindigkeit (500KB/s)

112 Datensicherung Phase-Change-Technik 5¼´´-Polymer-Scheiben
Laserlicht verändert die Polymer-Struktur von amorph (unstrukturiert) zu kristallin (strukturiert) Vorteil: bei platin-beschichteten Scheiben Haltbarkeit > 50 Jahre (?) Nachteil: geringe Kapazität (1,5 GB)

113 Backup-Strategien Lokale Sicherung ohne festes Backup-Gerät
CD, Diskette oder Bandlaufwerk sind direkt am zu sichernden Rechner angeschlossen Vorteil: geringe Kosten, einfache Hand-habung Nachteil: ab mittleren Umgebungen sehr umständlich, hoher administrativer Aufwand, meist nur für gelegentliche Teilsicherungen sinnvoll, aufwändiges Recovery

114 Backup-Strategien Lokale Sicherung mit festem Backup-Gerät
fest installiertes Laufwerk oder Jukebox geeignet für Server Vorteil: regelmäßiges, automatisiertes Backup, geringer administrativer Aufwand Nachteil: hohe Kosten, falls mehrere Server zu sichern sind, evtl. unterschiedliche Software, Recovery nur am Rechner direkt

115 Backup-Strategien Zentrale Netzwerk-Sicherung
Backup-Geräte am zentralen Backup-Server Sicherung anderer Rechner über das LAN Client-Server-Anwendung Vorteil: zentrale Administration, autom. regel-mäßiges Backup aller Rechner im LAN, Skalierbarkeit, benutzergesteuertes Recovery Nachteil: hohe Belastung des LAN, teure Software Hersteller z.B. IBM, HP, Legato, CA

116 Backup-Strategien Entwicklung einer Strategie
welche Rechner sind zu sichern? welche Daten sind wichtig? Zeitpunkt der Sicherung Dauer der Sicherung (Geschwindigkeit von LAN, Rechnern und Laufwerken) wie oft sind Daten zu sichern? Art des Backups (Vollsicherung, inkremen-tell)

117 Backup-Strategien Anforderungen an die Wiederherstellung (Recovery)
Archivierung erforderlich? Kopieren (Clonen) des Bandmaterials? wie lange sollen Backup-Daten online sein?

118 Client-Server-Architektur
Koordination aller Backup-Funktionen Verwaltung des Datei-Index Steuerung aller Medien- und Sicherungs-operationen sollte mehrere Clients parallel sichern können sollte mehrere Laufwerke parallel beschreiben bzw. auslesen können

119 Client-Server-Architektur
startet auf Anforderung die Backup-Prozesse liest alle benötigten Verzeichnisse und Dateien (Rechte!) schickt die Daten an den Server ist i. Allg. selbst für das Recovery zuständig Kommunikation z.B. per RPC

120 Datensicherung Anforderungen an die Software
Unterstützung diverser Betriebssysteme Unterstützung diverser Sicherungsgeräte parallele Sicherung mehrerer Clients auf mehrere Laufwerke Integration von Online-DB-Sicherungen Sicherung offener Dateien

121 Datensicherung Backup-Arten Vollsicherung: Backup aller Dateien
inkrementell: alle Dateien, die sich seit der letzten Sicherung geändert haben differentiell: alle Dateien, die sich seit einem Referenzzeitpunkt geändert haben konsolidierend: „virtuelle“ Vollsicherung

122 Datensicherung Aufbewahrungs-Zeitraum im Index
im Index werden alle Informationen über die gesicherten Dateien abgelegt nur Dateien im Index sind gezielt wieder herstellbar Index-Datei kann sehr groß werden ältere Daten müssen gelöscht werden typischer Zeitraum für Online-Recovery: 2 bis 4 Wochen

123 Datensicherung Aufbewahrungs-Zeitraum für Bänder
abhängig von der Größe einer Jukebox abhängig von der Menge der Bänder welche Daten sollen gesichert werden? alle lokal gemounteten Filesysteme einzelne Partitionen (/usr, C:, SYS:) einzelne Verzeichnisse (/usr/local/httpd) einzelne Dateien

124 Datensicherung Wann soll die Sicherung starten?
Zeitfenster muss eingehalten werden nicht alle Clients gleichzeitig starten „geeignete“ Clients gleichzeitig sichern Behandlung spezieller Dateien einige Dateien/Dateitypen nie sichern einige Dateien immer sichern Wiederherstellung der access time client-seitige Kompression

125 Datensicherung Staging
automatische Verlagerung gesicherter Daten von einem Medium auf ein anderes Beispiel: Sicherung auf Festplatte (z.B. RAID-Array) Kopieren der Daten in Abh. vom Alter auf ein langsameres (preiswerteres) Medium Löschen der Daten von der Backup-Festplatte Vorteil: schnelles Recovery

126 Datensicherung Hierarchical Storage Management HSM
erster Schritt: übliche Datensicherung anschließend: Entfernen der gesicherten Dateien, ersetzen durch einen Link migrieren von Dateien in Abh. von Alter oder Größe bzw. Füllgrad der Festplatte beim Öffnen einer migrierten Datei wird sie autom. vom Band zurückgeholt (recall)

127 Datenbank-Backup Sicherung (Backup) einer Datenbank
Warum Sicherung einer DB? SQL-Fehler Prozess-Fehler Tabellen-Fehler Benutzer-Fehler System- / Hardware-Fehler

128 Datenbank-Backup Physikalische Struktur einer Datenbank (am Beispiel Oracle) Datenfiles (Tabellen) Transaction-Logs (Online-Redo-Logs) Archive-Logs Control-File Rollback-Segmente

129 Datenbank-Backup Offline-Sicherung: Online-Sicherung:
Datenbank-Prozesse herunterfahren Datenfiles sichern Online-Sicherung: DB bleibt während der Sicherung in Betrieb sehr wichtig: Control-File sichern Backup der Transaction-Logs ist unnötig aber: Transaction-Logs sollten gemultiplexed werden

130 Datenbank-Backup Archive-Logs (geschlossene Redo-Logs) müssen gesichert werden im NOARCHIVELOG-Modus nur Offline-Backup möglich Datenfiles müssen gesichert werden

131 Datenbank-Backup Typen von Backups konsistentes Backup der gesamten DB
inkonsistentes Backup der gesamten DB Sicherung einer Tabelle Sicherung eines Datenfiles Archive-Log Backups

132 Backup im SAN Klassische Backup-Architektur: Sicherung im LAN, ggf. separates Backup-LAN, es gibt einen oder mehrere Backup-Server Server-free Backup Backup-Client sichert direkt ins SAN nur Metadaten-Verwaltung im Backup-Server Koordination mittels Netzwerk-Backup-System Problem: kopieren von Daten direkt auf das Speichermedium im SAN, Erweiterung: 3rd-Party-SCSI Copy Command

133 Backup im SAN LAN-free-Backup etwas einfacher als Server-free-Backup
Backup-Client verhält sich bzgl. des Schreibens der Daten wie ein Backup-Server Verwaltung der Metadaten im Server Koordination der Gerätezugriffe über den Server LAN-free-Backup per Shared-Disk-Filesystem

134 Backup im SAN Datensicherung mit Instant Copies
Sicherung der „eingefrorenen“ Daten über einen zweiten Zugriffspfad Vorteil: Anwendungen können ohne Unter-brechung weiterarbeiten Ebenen: Block-, Datei-Ebene, Anwendungen Vorsicht: Instant Copies müssen unbedingt mit konsistenten Daten erzeugt werden

135 Backup im SAN Datensicherung mit Remote Mirroring
Nachteil der Instant Copy: nützt nichts im Katastrofen-Fall Remote Mirroring als Backup funktioniert nicht Daher: Erzeugen einer Instant Copy auf dem Remote System Sicherung von NAS-Servern Oftmals nur proprietäre Backup-Lösungen, nicht in ein Datensicherungssystem integrierbar Möglich: Sicherung per NFS/CIFS

136 Backup im SAN Network Data Management Protocol NDMP
Schnittstelle zwischen NAS-Server und Datensicherungssystem Bestandteile: Data Management Application DMA NDMP Services NDMP Session (Control und Data Session) Steuerung einer Session über die DMA mittels Control Connection zu jedem NDMP-Service

137 Backup im SAN Datenübertragung direkt zwischen den NDMP-Services (Data Connection) NDMP-Services NDMP Data Service (Schnittstelle zum Dateisystem eines NAS-Servers) NDMP Tape Service (Schnittstelle zum Speichergerät) NDMP SCSI Pass Through Service DMA verwaltet Zustände der Services, die Medien, Anstoßen eines Recovery NDMP Version 5: Translator-Service für Verschlüsselung, Kompression, Multiplexing

138 Archivierung Aufheben/einfrieren von Daten über lange Zeiträume
Archivierung darf nicht mit Backup verwechselt werden Ziel Backup: erzeugen mehrerer Kopien zur Wiederherstellung im Fehlerfall Ziel Archivierung: Aufbewahrung aktuell nicht mehr benötigter Daten

139 Archivierung Dementsprechend sind unterschiedliche Anforderungen an Backup- bzw. Archiv-systeme sowie die Medien zu stellen Begriff: Information Lifecycle Management Notwendigkeit der Archivierung Gesetzliche Anforderungen Informationen aufbewahren, Wissen erhalten Auslagerung selten benötigter Daten auf weniger performante, preiswertere Systeme

140 Archivierung Gesetzliche Anforderungen:
revisionssichere Archivierung (Steuerdaten, Verträge, Belege) Unterschiedliche Aufbewahrungszeiträume Schutz der Daten vor Veränderung, Manipulation Zugriff muss jederzeit möglich sein (protokollierter) Zugriff nur durch authorisierte Personen Löschen von Daten nach der Aufbewahrungsfrist

141 Archivierung Bei Archivierung zu beachten: Technischer Fortschritt
Dauerhaftigkeit der Archivlösung Schutz vor Katastrofen Skalierbarkeit Anforderungen an den laufenden Betrieb Kosten

142 Archivierung Techniken (Medien) Datensicherheit und –integrität
WORM Write Once Read Many (optische Medien) Aber auch festplatten- und band-basierte WORM-Techniken verfügbar Datensicherheit und –integrität Revisionssicherheit Löschen von Daten Unterbrechungs- und verlustfreier Betrieb Speicherhierarchie

143 Sicherheit in Speichernetzen
NFS-Sicherheit Sicherheit des Protokolls ist gering: keine native Verschlüsselung, Client-Authentifizierung nur per IP-Adresse, keine Authentifizierung auf Benutzer-Basis (Ausnahme NFSv4 mit Kerberos) Prinzipiell ist jeder IP-basierte Angriff möglich Problem Sniffing: Übermittlung sensitiver Informationen beim Verbindungsaufbau Nach erfolgreichem NFS-Mount besteht der Zugriffsschutz nur noch per FS-Permissions

144 Sicherheit in Speichernetzen
root-Zugriff verhindern: root_squash Freigaben: /etc/exports auf dem NFS-Server Problem Authentifizierung: findet nur auf Basis von Cleint-IP-Adressen statt Problem Verschlüsselung: keine native Verschlüsselung (sinnvoll IPSec) ab NFSv4 wird Kerberos direkt im Protokoll zur Authentifizierung und Verschlüsselung unterstützt

145 Sicherheit in Speichernetzen
Sicherheit im Fibre Channel SAN Prinzipiell sind die Sicherheitsrisiken im FC-SAN ähnlich wie bei IP Authentizität (Herkunft), Authorisierung (Berechtigungen), Integrität (Unversehrtheit), Verschlüsselung, Verfügbarkeit (DoS), Auditing Problem: Speichernetze und –protokolle werden heute oft als rein lokale Technik betrachtet

146 Sicherheit in Speichernetzen
Authentizität: Diffie-Hellman CHAP als Teil des FC Security Protocols (FC-SP) optional Authorisierung: nur über WWN WWN-Spoofing Schwächen des Logins (FLOGI, PLOGI): adress-Spoofing und Name Server Pollution Session Hijacking: es muss die Sequence-/Exchange-ID bekannt sein, dann kann ein Frame mit passender SEQ_CNT zur passenden Zeit eingeschleust werden

147 Sicherheit in Speichernetzen
MITM-Attacken: Abhören einer Verbindung zwischen zwei Ports per Name Server Pollution Verschlüsselung: heute kein natives FC-Protokoll zur Verschlüsselung verfügbar Integrität: keine nativen Methoden verfügbar

148 Sicherheit in Speichernetzen
Sicherheit von iSCSI Alle Sicherheitsrisiken von TCP/IP gelten auch für iSCSI Eine ähnlich Funktion wie DNS übernimmt hier der iSNS (iSCSI Name Server): Name Server Pollution Gegenmaßnahme: Challenge Response CHAP, zukünftig besser Kerberos