Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen Am Fassberg, Göttingen Fon: Fax: von Servervirtualisierung bei der GWDG Andreas Ißleiber

2 SAN (gemeinsamer Zugriff auf Massenspeicher) Management Client (Helpdesk) VMWARE ESX Server GÖNET Virtualisierung bei der GWDG, Struktur Management Server Server für Backup der Guests Backup TSM

Virtualisierung von diversen Betriebssystemen (Windows, Linux, BSD, Solaris etc.) Zuweisung unterschiedlicher Umgebungsparameter (CPU(s), RAM, HDD, Netz) Snapshots (mehrere …, automatisiert und zeitgesteuert) Memory Sharing (optimal bei gleichen OS) VMWARE, Features: 256 MB 512 MB =1512 MB << 1512 MB Hosts: ESX RAM Guests: RAM

4 Features: DRS (Distributed Resource Scheduler) DRS überwacht permanent die Auslastung der verschiedenen Ressourcen-Pools und richtet die Ressourcen nach Anforderungen der Guests automatisch aus Eines der wichtigsten DRS Features ist: VMOTION Hierarchisch unterhalb der DRS Gruppe befinden sich die einzelnen Ressourcenpools. In diesem Ressourcenpools können Grenzwerte für CPU, Memory etc. gesetzt werden. Die gleichen Einstellungen lassen sich aber auch pro Gastsystem vornehmen

… automatische, ressourcenabhängige Migration von Guests über die Hardwaregrenzen hinweg. Die Gastsysteme bleiben dabei eingeschaltet. Guestkonfiguration wird von ESX 1 nach ESX 2 migriert RAM Inhalt des Guest wird über spez. Netzwerkinterfaces kopiert. Änderungen im RAM des Guest, während der Übertragung, werden am Schluss des VMOTION-Prozesses erneut synchronisiert. Die Festplatteninhalte selbst sind für alle ESX-Server im SAN erreichbar. ESX 1ESX 2ESX 3 Gigabit Switch Bei Überlastung des ESX 1 werden die Guests migriert Schritt 1 Schritt 2 Schritt 3 Guest Migration zum anderen ESX Host VMWARE, Features: VMOTION

6 - Bei Ausfall eines Hosts, übernehmen die verbleibenden Hosts die laufenden Guests - Dazu müssen ausreichend Ressourcen verfügbar sein - Zwei getrennte Netzwerk- verbindungen zwischen den beteiligten Hosts sind erforderlich - HA-failover wird durch Hello Packets sowie Erreichbarkeit des z.B. default gateways geprüft (Fehlalarme vermeiden durch Erhöhung der Management-Interfaces/IP-Adressen) Aktivieren des HA im VCenter Features: High Availability (HA):

HA: Automatischer (re)Start der Gastsysteme, bei Ausfall eines, oder mehrerer Hosts Features: High Availability (HA): File-Locking im SAN für die laufenden Guests wird deaktiviert, sodass die anderen Hosts die Guests starten können ESX 1ESX 2ESX 3 Erkennung des Isolation eines Hosts (keine Hello Packets empfangen, default gateway nicht erreichbar) Schritt 1 Schritt 2 Default gateway SAN -rw root root Mar 2 10:14 GWDG_radius1-neu-edf07efb.vswp -rw root root Apr 20 14:08 GWDG_radius1-neu-flat.vmdk -rw root root 8684 Mar 17 15:16 GWDG_radius1-neu.nvram -rw root root 409 Apr 2 13:40 GWDG_radius1-neu.vmdk Guests werden auf aktiven Hosts gestartet. Funktion des HA Master wird ggf. von anderem Hosts übernommen. Schritt 3 Ausfall !

… sorgt für automatische Updates/Patches der Hosts. -Lädt automatisch Updates/Patches zum vorgegebenem Zeitpunkt herunter -Update wird automatisch installiert, oder (… wenn ein reboot des Hosts erforderlich) von Hand aktiviert Features: Update Manager:

9 Die Filesysteme der virtuellen Maschinen (Guests) liegen ausschließlich im SAN uns sind als LUN gemounted (FS=VMFS3) SAN ist essentiell für VMWARE, da die VMWARE Server auf das gleiche Filesystem zugreifen müssen, damit VMOTION und HA funktionieren kann Virtueller Switch: Ein virtueller Switch in VMWARE erlaubt über VLANs die Anbindung mehrerer Netzwerke an die ESX Server und damit an die Guests. Netzwerkänderungen sind leichter durchführbar, als bei physischen Switches SAN und Netz…

Virtualisierung bei der GWDG, Hardware Stand: x HP Proliant DL580 G5 mit jeweils … : - CPU: 4 x QuadCore Xeon 2,4 GHz - RAM: 256 Gbyte - FC: 2 x 4 Gbit FibreChannel Anschluß - LAN: 3 x 1 Gbit LAN Anschluß SAN: - 12,5 Tbyte EMC CX ,0 Tbyte Transtec (FalconStor) Bestellung weiterer 2 Proliant Server mit jeweils 2 QC CPUs erfolgte am Lieferung voraussichtlich Ende April

11 Speicher (RAM) … die wertvollste Ressource CPU Leistung ist derzeit reichlich vorhanden Massenspeicher (Festplatten der Guests) im SAN, kann leicht erweitert werden, Kosten sind abhängig von der Qualität des SAN (FC Platten, SATA, SCSI-HDD) Leistung & Ressourcen

Virtualisierung bei der GWDG, Gastsysteme 12 Verteilung der Gastsysteme (Stand: 04/09): Anzahl virtueller Server (Guests): 277 davon… 205 Systeme der Universität(162) Verwaltung der UNI (19) sowie Max-Planck-Institute(24) 51 Serversysteme der GWDG 21 Testsysteme (UNI, MPG, GWDG) Nach OS sortiert: 150 x Windows Systeme (W2k3, XP, Vista, Server 2008) 3 x FreeBSD 117 x LINUX (Sles, Opensuse, Ubuntu, Redhat, RHEL, Debian, sonstige) 7 x Sondersysteme (Solaris etc.)

13 Leistung & Ressourcen

Virtualisierung bei der GWDG, Performance 16 Summe der Ressourcen des gesamten Struktur (Stand: 04/09): System load (CPU & Memory, Stand: 04/09): Produktivsysteme (2 x HP Proliant) Testsysteme (Dell Blades) nicht produktiv im Einsatz

Management (zentral) & Monitoring, eigener Client VCENTER VMWARE, Features:

Leistung & Ressourcen der alten Struktur

19 Leistung & Ressourcen der neuen Struktur 2 x HP Proliant DL580G5 Ab Mai 2009: 4 x HP Proliant DL580G5 4 x QC 2,4GHz 128 GByte 2 x QC 2,4GHz 128 GByte 4 x QC 2,4GHz 256 GByte Σ cpu = 76.8 GHz Σ mem = 512 GByte Σ cpu = GHz Σ mem = 512 GByte

20 Leistung & Ressourcen: Vergleich 16 GB 8 x 2.3 GHz 256 GB 16 x 2,4 GHz 5 x Dell Server 1955 (Blades) bei 74 aktiven Guests 2 x HP Proliant DL580G5 bei 185 aktiven Guests

Virtualisierung bei der GWDG, Performance 21 Summe der Ressourcen des gesamten Struktur (Stand: 04/09): System load (CPU & Memory, Stand: 04/09):

22 Verhältnis zwischen ESX Server und Guests bei HP Proliant DL580 G5 als Server Leistung & Ressourcen : Host Guests …

VMWARE Limitations: Guest system maximum RAM: 64 GB Number of hosts in a HA cluster: 32 Number of hosts in a DRS cluster: 32 Maximum number of processors per virtual machine: 4 Number of virtual CPUs per server: 192 Number of virtual machines per server: 170 Number of cores per server: 32 Number of (hyperthreaded) logical processors/server: 32 23

Tipps… 24 Externe Überwachung der Stati von Hosts und ggf. Guests sowie Erfassung der Leistungsdaten. -> SNMP -> CACTI, Nagios Zur HA Verbesserung mehrere (auch virtuelle) Managementinterfaces nutzen/instrallieren Möglichst mehrere Hosts im Cluster einsetzen (weniger Verschnitt) und weniger Ausfall bei Maintenance LUN Größen von ca. 1-2 Tbyte, max. 60 Guests Bei Guests mit der Tendenz zum einschlafen -> Ressourcen reservieren Backup: Alternativen suchen

25 Unterschiedliche Prozessoren in den ESX-Servern müssen durch komplexe CPU Masken an die Prozessoren angepasst werden, damit VMOTION funktioniert Kleine Details im Monitoring, Fehler bei der Darstellung HA: Überprüfung der Ressourcen bei Aktivierung des HA Undurchschaubare Lizenzpolitik und FLEXNet als Lizenzserver Was kann bei VMWARE verbessert werden …

26 Zugriff auf den ESX Server (Webseite) Zugriff auf das Managementsystem (Virtual Infrastructure Client) Leistungen virtueller Maschinen (Speicher, CPU) SAN Anbindung Ressourcengruppen (Einstellungen) Starten, Stoppen, Ändern virt. Maschinen Netzwerke (virtual Switch) Clonen virt. Maschinen Alarme, Ereignisse Rechte und Gruppierungen VMOTION, Maintenance-mode, HA Gruppierung von Guests in VMOTION Einrichten einer virtuellen Maschine Weitere Themen …

27 Neue Server einrichten… 1.) Kunde beantragt Server auf Sharepoint Webseite ) wird automatisch erzeugt und an 3.) Helpdesk kann im Sharepoint den Status auf bearbeiten setzen 4.) Nachdem der Server eingerichtet ist, kann Helpdesk im Sharepoint den Status auf erledigt setzen, wobei der beantragenden Benutzer eine bekommt. IP-Adressen und Firewallregeln müssen vom Benutzer definiert/beantragt werden

VMWARE Betrieb… Sinnvolles… Gute, weitreichende Community (auch in deutsch) Best Practices zu diversen Themen bei vmware.com (meist als PPT, oder PDF) 28

29 - W2K3 TS als Zugang für non-Windows Systeme (VI) - Limitations: 177 Guests, - Lizensierungen, Enterprise, Academic, (Foundation) - Backup, VCB, VRanger - VMWARE Maintenance Mode - ISO Fileserver, CD Images - HA, Failover - VMOTION CPU ID - Was sollte virtualisiert werden ? Mailserver etc. - SNMP Überwachung etc Bit, 64 Bit und SMP - Beantragungen, Abrechnungen (SNMP oder statisch) - Updates / Automatisch und Client Updates - Problem einschlafender Guests -> Ressourcenerhöhung

30 CISCO S YSTEMS CISCOYSTEMS S CISCOSYSTEMS UPPER POWER LOWER POWER NORMAL … Fragen Vielen Dank! und Diskussionen! Vortrag ist unter: … … zu finden ? ?