Mario Vodisek 1 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Speichernetzwerke und Evaluierung von Aspekten der Speichervirtualisier- ung Mario Vodisek

2 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Übersicht Bisherige Entwicklung SAN – Aufbau und Einsatz von Speichernetzwerken Nutzen von Speichervirtualisierung V:Drive: Ein Überblick –Produktumfang von V:Drive –Betrachtung der Komponenten Einsatz und Funktionsweise Evaluierung

Mario Vodisek 3 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Was bisher geschah… Kooperationsprojekt PReSTO, AG Rückert (SCT) seit ´98 Seit Mitte 2002 Aufbau der kommerziellen Speichervirtuali- sierungslösung V:Drive –Ziel: Ausgründung aus der Universität –Maßgebliche Umsetzung des Linux-Kernelmoduls Aufbau der Kernelstruktur und Nutzbarkeit Umsetzung spezifischer Virtualisierungsmechanismen (SnapShots…) Robustheit und Handling mit Fokus auf Produktniveau Dokumentation, Spezifikation, … Teilweise Unterstützung des Business Development (CeBit) Nebenläufig: vereinzelt Publikationen (praktische Evaluierung einzelner Aspekte von V:Drive (Kay‘s Diss)) 2005: –V:Drive-Status 1.0 –Incorporation in den USA –Verstärkt Publikationen (praktische Evaluierung von V:Drive)

Mario Vodisek 4 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität SAN: Allgemeiner Aufbau SAN 100 GByte – 1 PByte 10’s to 1000’s Unix and Windows Servers FC-SAN Director Class Switches 1000’s of Clients SAP, Oracle Symmetrix Cluster HP MSA Vorteile und Merkmale: Speicherkonsolidierung erhöhte Skalierbarkeit erhöhte Erreichbarkeit und Performanz (LAN-Entlastung) Einbindung heterogener Systeme vereinfachte Migration Nachteile: stark wachsenden Komplexität  erhöhter Automatisierungsgrad  Speichervirtualisierung

Mario Vodisek 5 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Speichervirtualisierung Abstraktion des Speichers, die eine Trennung zwischen Host-Sicht und Speicherimplementierung vornimmt Verbirgt für den Host: –Physikalische Verbindung zum Speichersystem –Charakteristiken des Speichersystems –Exakten Ort der Datenspeicherung Dynamisch –Ermöglich „On-the-fly Konfiguration“ und Skalierung –Daten sind für den Host transparent verschiebbar Verschiedene Arten der Umsetzung möglich –Ebenen (Disksubsystem, etc.) –Arten (in-band, out-of-band)

Mario Vodisek 6 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität V:Drive: Ein Überblick V:Drive: blockbasierte out-of-band Speichervirtualisierung für heterogene Speicherumgebungen Basis: Randomisierte Datenverteilungsstrategie (SHARE) –Nahezu optimale Datenverteilung über das Speicherfeld –=> Steigerung der I/O-Performanz Online Adaption an Konfigurationsänderungen –=> Theoretisch unbegrenzte Skalierbarkeit Dateisystem- und Applikationsunabhängigkeit Linux kernel Version 2.4 and 2.6

Mario Vodisek 7 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität V:Drive: Modularer Aufbau SAN Cluster Umgebung Metadata-Server Speicher V:Drive Pool 1 Pool 2 Virtual (V:Drive) Volume SHARE

Mario Vodisek 8 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Produktabdeckung V:Drive Block Virtualization Virtual RAID / RAID Unified Management Cluster / Parallel File System Provisioning Billing & Accounting ILM-Support Snapshot Migration Replication/Mirroring Disaster Recovery Backup Support

Mario Vodisek 9 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Adaptive Blockvirtualisierung Datenplatzierung basiert auf pseudo-randomisierter Zufallsverteilung (SHARE-Strategie) –Verteilung über heterogene Disks –(2+ε)-competitive mit competitive analysis –Adaption an Änderungen der Speicherumgebung per Umplatzierung –…. (siehe Brinkmann, Salzwedel, Scheideler, SPAA 2000, 2002) Verteilungsgüte besteht zur Zeit nur theoretisch ToDo: praktische Evaluierung der erwarteten theoretischen Resultate von SHARE –Zeit der Umplatzierung –Verteilung der Daten, Verteilung der Zugriffsmuster… –ggfs. Vergleich zu ähnlichem Verfahren (Christian, Gunnar) –Andere Verteilungen (Prioritäten, etc), Prefetching, …

Mario Vodisek 10 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Produktabdeckung V:Drive Block Virtualization Virtual RAID / RAID Unified Management Cluster / Parallel File System Provisioning Billing & Accounting ILM-Support Snapshot Migration Replication/Mirroring Disaster Recovery Backup Support

Mario Vodisek 11 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Distributed MD / VRAID Cluster Umgebung Speicher V:Drive Pool 1 Pool 2 MD Volume (RAID 1) V:Drive Volume 1 V:Drive Volume 2 Synchronisationsprotokoll Synchronisation Recovery

Mario Vodisek 12 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Distributed MD / VRAID: Standard RAID Storage Infrastructure RAID 5 RAID 1 RAID 5 Grenzen des Standard RAIDs: Administration –Kapazitätserweiterungen eines single RAID sets nicht möglich / schwierig –Schlechte Kapazitätsauslastung Performanz Restriktionen –Paralleler Zugriff zu einem bestimmten Zeitpunkt ist auf disks begrenzt Sequenzielles Recovery bei Diskfehlern –Hohe Anfälligkeit gegen Double Disk Failures

Mario Vodisek 13 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Distributed MD / VRAID: Virtual RAID Storage Infrastructure RAID Virtual RAID Administration –Platten sind in Speicherpools organisiert / RAID sets werden den Pools zugeordnet –Einfache Skalierung der Pools / Bessere Kapazitätsauslastung Performanz Benefits –ALLE Platten werden parallel zugegriffen (Limits obsolet) Datenrecovery erfolgt parallel nach einem Disk Failure –Erhöhte Datensicherheit und Verlässlichkeit RAID 1

Mario Vodisek 14 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Produktabdeckung V:Drive Block Virtualization Virtual RAID / RAID Unified Management Cluster / Parallel File System Provisioning Billing & Accounting ILM-Support Snapshot Migration Replication/Mirroring Disaster Recovery Backup Support

Mario Vodisek 15 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität SnapShots V:Drive Volume X Y Z Snap Volume 1 Snap Volume 1_1 Snap Volume 2... Snap Volume 1_2... Snap Volume 2_1... Y‘Y‘‘

Mario Vodisek 16 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Produktabdeckung V:Drive Block Virtualization Virtual RAID / RAID Unified Management Cluster / Parallel File System Provisioning Billing & Accounting ILM-Support Snapshot Migration Replication/Mirroring Disaster Recovery Backup Support

Mario Vodisek 17 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Heinz Nixdorf Institut & Institut für Informatik Universität Paderborn Fürstenallee Paderborn Tel.: / Fax: / Wir danken für Ihre Aufmerksamkeit!