Mario Vodisek 1 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Speichernetzwerke und Evaluierung von Aspekten der Speichervirtualisier-

Präsentation zum Thema: "Mario Vodisek 1 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Speichernetzwerke und Evaluierung von Aspekten der Speichervirtualisier-"—  Präsentation transkript:

1 Mario Vodisek 1 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Speichernetzwerke und Evaluierung von Aspekten der Speichervirtualisier- ung Mario Vodisek

2 2 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Übersicht Bisherige Entwicklung SAN – Aufbau und Einsatz von Speichernetzwerken Nutzen von Speichervirtualisierung V:Drive: Ein Überblick –Produktumfang von V:Drive –Betrachtung der Komponenten Einsatz und Funktionsweise Evaluierung

3 Mario Vodisek 3 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Was bisher geschah… Kooperationsprojekt PReSTO, AG Rückert (SCT) seit ´98 Seit Mitte 2002 Aufbau der kommerziellen Speichervirtuali- sierungslösung V:Drive –Ziel: Ausgründung aus der Universität –Maßgebliche Umsetzung des Linux-Kernelmoduls Aufbau der Kernelstruktur und Nutzbarkeit Umsetzung spezifischer Virtualisierungsmechanismen (SnapShots…) Robustheit und Handling mit Fokus auf Produktniveau Dokumentation, Spezifikation, … Teilweise Unterstützung des Business Development (CeBit) Nebenläufig: vereinzelt Publikationen (praktische Evaluierung einzelner Aspekte von V:Drive (Kay‘s Diss)) 2005: –V:Drive-Status 1.0 –Incorporation in den USA –Verstärkt Publikationen (praktische Evaluierung von V:Drive)

4 Mario Vodisek 4 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität SAN: Allgemeiner Aufbau SAN 100 GByte – 1 PByte 10’s to 1000’s Unix and Windows Servers FC-SAN Director Class Switches 1000’s of Clients SAP, Oracle Symmetrix Cluster HP MSA 1000... Vorteile und Merkmale: Speicherkonsolidierung erhöhte Skalierbarkeit erhöhte Erreichbarkeit und Performanz (LAN-Entlastung) Einbindung heterogener Systeme vereinfachte Migration Nachteile: stark wachsenden Komplexität  erhöhter Automatisierungsgrad  Speichervirtualisierung

5 Mario Vodisek 5 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Speichervirtualisierung Abstraktion des Speichers, die eine Trennung zwischen Host-Sicht und Speicherimplementierung vornimmt Verbirgt für den Host: –Physikalische Verbindung zum Speichersystem –Charakteristiken des Speichersystems –Exakten Ort der Datenspeicherung Dynamisch –Ermöglich „On-the-fly Konfiguration“ und Skalierung –Daten sind für den Host transparent verschiebbar Verschiedene Arten der Umsetzung möglich –Ebenen (Disksubsystem, etc.) –Arten (in-band, out-of-band)

6 Mario Vodisek 6 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität V:Drive: Ein Überblick V:Drive: blockbasierte out-of-band Speichervirtualisierung für heterogene Speicherumgebungen Basis: Randomisierte Datenverteilungsstrategie (SHARE) –Nahezu optimale Datenverteilung über das Speicherfeld –=> Steigerung der I/O-Performanz Online Adaption an Konfigurationsänderungen –=> Theoretisch unbegrenzte Skalierbarkeit Dateisystem- und Applikationsunabhängigkeit Linux kernel Version 2.4 and 2.6

7 Mario Vodisek 7 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität V:Drive: Modularer Aufbau SAN Cluster Umgebung Metadata-Server Speicher V:Drive Pool 1 Pool 2 Virtual (V:Drive) Volume SHARE

8 Mario Vodisek 8 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Produktabdeckung V:Drive Block Virtualization Virtual RAID / RAID Unified Management Cluster / Parallel File System Provisioning Billing & Accounting ILM-Support Snapshot Migration Replication/Mirroring Disaster Recovery Backup Support

9 Mario Vodisek 9 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Adaptive Blockvirtualisierung Datenplatzierung basiert auf pseudo-randomisierter Zufallsverteilung (SHARE-Strategie) –Verteilung über heterogene Disks –(2+ε)-competitive mit competitive analysis –Adaption an Änderungen der Speicherumgebung per Umplatzierung –…. (siehe Brinkmann, Salzwedel, Scheideler, SPAA 2000, 2002) Verteilungsgüte besteht zur Zeit nur theoretisch ToDo: praktische Evaluierung der erwarteten theoretischen Resultate von SHARE –Zeit der Umplatzierung –Verteilung der Daten, Verteilung der Zugriffsmuster… –ggfs. Vergleich zu ähnlichem Verfahren (Christian, Gunnar) –Andere Verteilungen (Prioritäten, etc), Prefetching, …

10 Mario Vodisek 10 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Produktabdeckung V:Drive Block Virtualization Virtual RAID / RAID Unified Management Cluster / Parallel File System Provisioning Billing & Accounting ILM-Support Snapshot Migration Replication/Mirroring Disaster Recovery Backup Support

11 Mario Vodisek 11 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Distributed MD / VRAID Cluster Umgebung Speicher V:Drive Pool 1 Pool 2 MD Volume (RAID 1) V:Drive Volume 1 V:Drive Volume 2 Synchronisationsprotokoll Synchronisation Recovery

12 Mario Vodisek 12 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Distributed MD / VRAID: Standard RAID Storage Infrastructure RAID 5 RAID 1 RAID 5 Grenzen des Standard RAIDs: Administration –Kapazitätserweiterungen eines single RAID sets nicht möglich / schwierig –Schlechte Kapazitätsauslastung Performanz Restriktionen –Paralleler Zugriff zu einem bestimmten Zeitpunkt ist auf 8- 16 disks begrenzt Sequenzielles Recovery bei Diskfehlern –Hohe Anfälligkeit gegen Double Disk Failures

13 Mario Vodisek 13 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Distributed MD / VRAID: Virtual RAID Storage Infrastructure RAID 5 1 2 3 4 5 1 2 3 4 5 1 3 2 4 5 1 3 2 4 5 Virtual RAID Administration –Platten sind in Speicherpools organisiert / RAID sets werden den Pools zugeordnet –Einfache Skalierung der Pools / Bessere Kapazitätsauslastung Performanz Benefits –ALLE Platten werden parallel zugegriffen (Limits obsolet) Datenrecovery erfolgt parallel nach einem Disk Failure –Erhöhte Datensicherheit und Verlässlichkeit RAID 1

14 Mario Vodisek 14 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Produktabdeckung V:Drive Block Virtualization Virtual RAID / RAID Unified Management Cluster / Parallel File System Provisioning Billing & Accounting ILM-Support Snapshot Migration Replication/Mirroring Disaster Recovery Backup Support

15 Mario Vodisek 15 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität SnapShots V:Drive Volume X Y Z Snap Volume 1 Snap Volume 1_1 Snap Volume 2... Snap Volume 1_2... Snap Volume 2_1... Y‘Y‘‘

16 Mario Vodisek 16 HEINZ NIXDORF INSTITUTE Universität Paderborn Algorithmen und Komplexität Produktabdeckung V:Drive Block Virtualization Virtual RAID / RAID Unified Management Cluster / Parallel File System Provisioning Billing & Accounting ILM-Support Snapshot Migration Replication/Mirroring Disaster Recovery Backup Support

17 Mario Vodisek 17 HEINZ NIXDORF INSTITUT Universität Paderborn Algorithmen und Komplexität Heinz Nixdorf Institut & Institut für Informatik Universität Paderborn Fürstenallee 11 33102 Paderborn Tel.: 0 52 51/60 64 66 Fax: 0 52 51/60 64 82 E-Mail: vodisek@upb.de http://www.upb.de/cs/ag-madh Wir danken für Ihre Aufmerksamkeit!