Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

„Well balanced DWH“ SIG Database 27.Sep.2007 Beste Leistung Marcus Bender Strategisch Technische Unterstützung (STU ) „Well balanced DWH“ Wir möchten heute einen ganz anderen Weg zeigen, der nicht nur Vorteile für das WH, sonderen Vorteile, für die ganze IT Infrastruktur hat Prpjekte: Otto, BMW, EDEKA, Lufthansa Cargo, Talkline, bofrost*, Tengelmann Beste Leistung Exzellente Skalierung Guter Preis Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

<Insert Picture Here> Agenda <Insert Picture Here> Wie sind wir darauf gekommen? Non Well Balanced DWH Well Balanced DWH Beste Leistung Exzellente Skalierung Guter Preis Oracle Optimized Warehouse Initiative Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Tablespace Used ( incl. Kompression ) Deutsche Oracle Terabyte Community Volkswagen Continental AG KKH AOK Berlin Insight Health Deutsche Post Landesvermessungsamt BaWü DKRZ GfK Informatik Deutsches Apotheken Prüfungsinstitut Thyssen Krupp Stahl ENBW Schenker Rhenus AG BASF ... T-Mobile E-Plus Debitel O2 T-Com Talkline Freenet / Mobilcom Tengelmann Bofrost Jomo Otto Versand Karstadt Quelle Globus SB Warenhaus Deutsche Bank Comdirect Bank Postbank HVB Allianz In Summe: 411 Terabytes Tablespace Used ( incl. Kompression ) Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Architektur- / CPU- /OS - Verteilung Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Storage- / SAN- / DB Files - Verteilung Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Oracle Release Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Anzahl physikalischer Disks Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Physikalische Disks/Terabyte Notes: Bei 2 TB DWH, eine große Tabelle 1 TB = 1024 * 1024 MB Bei 15 Platten pro TB und 2 TB = 30 Platten, ca. 300 MB/sec. 1024*1024/300 = 3495 Sekunden ~ 1 Std. Bei 4800 MB/sec. 1024*1024/4800 = 218 Sekunden ~ 3,5 Minuten 85 Disks / TB 45 Disks / TB Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Durchsätze in MB/Sekunde Notes: Warum ist denn Durchsatz in Gottes Namen so wichtig im DWH? Warum kann man die I/O Abfragen nicht durch den Cache befriedigen? Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Zusammenfassung Alle CPU-Typ und OS Kombinationen sind vertreten RAC wird bereits zu 29% verwendet ! Storage ist zu 85% über SAN angeschlossen ASM und RAW Devices werden öfter als Filesystem verwendet Bei 10g DWH fast nur ASM Sehr unterschiedliche DWH Leistungsfähigkeit im IO-Bereich -> Disks/Terabyte DWH „erben“ operationale Anforderungen ( Online Backup, Mixed Workload, HA, Human Error etc. ) Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

<Insert Picture Here> Agenda <Insert Picture Here> Wie sind wir darauf gekommen? Non Well Balanced DWH Well Balanced DWH Beste Leistung Exzellente Skalierung Guter Preis Oracle Optimized Warehouse Initiative Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Beispiel Kundenkonfiguration HP Superdome 32 CPUs Max IO Durchsatz: 3,2 GB/sec HBA1 HBA2 6 x 2 Gb HBA Max IO Durchsatz: 840 MB/sec 25% Nutzung des Potentials FC-Switch1 FC-Switch1 FC-Switch2 FC-Switch2 EMC DMX 2000 20 phys. Platten a 146 GB Max IO Durchsatz: 280 MB/sec 8,75% Nutzung des Potentials Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

1. Grund: Zuständigkeiten Server Hardware Anzahl CPU, Memory, HBAs Storage Shared Storage oder exclusiv ( für das DWH ) Anzahl Platten Typ Platten LUN Mapping und Konfiguration Striping RAID 5 oder RAID 10 SAN SAN Switches, welcher Typ, Ausfallsicherheit Betriebssystem Konfiguration Ausfallsicherheit HBA, Ethernet, RAC Interconnect Filesystemkonfiguration, wieviele ? Direct IO, Async IO Oracle Datenfiles im Filesystem, IO Verteilung, Add Datafile etc. Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

IO Problem: Kapazität / Performance „10 Jahre / Heute“ - Beispiel einer 180 GB DB 1993 1997 2002 2007 1 GB disk 2 MB/sec 50 IO/sec 20 ms Zugriff 3.600 upm 4 GB disk 6 MB/sec 70 IO/sec 14 ms Zugriff 7.200 upm 72 GB disk 40 MB/sec 160 IO/sec 6 ms Zugriff 10.000 upm 180 GB disk 45 MB/sec 200 IO/sec 5 ms Zugriff 15.000 upm Eine Platte IO Subsystem 180 GB 180 disks 50 disks 3 disks 1 disk 360 MB/sec 300 MB/sec 120 MB/sec 45 MB/sec 9000 IO/sec 3500 IO/sec 480 IO/sec 200 IO/sec Wichtig: I/O planen nach Kapazität und Leistung!! Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

2. Grund: Einkauf Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Non Well Balanced DWH Non Well Balanced DWH Konfiguration 100% Mögliche Leistung < 10% Erreichte Leistung Database CPUs Memory Controller LUNs Raid Disks Well Balanced DWH Konfiguration 100% Erreichte Leistung 100% Mögliche Leistung Database CPUs Memory Controller LUNs Raid Disks Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

<Insert Picture Here> Agenda <Insert Picture Here> Wie sind wir darauf gekommen? Non Well Balanced DWH Well Balanced DWH Beste Leistung Exzellente Skalierung Guter Preis Oracle Optimized Warehouse Initiative Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Was ist ein balanciertes System ? Die schwächste Komponente bestimmt den Durchsatz Relevante Komponenten: CPUs: Anzahl und Speed HBAs (Host Bus Adapter): Anzahl und Speed Switch: Anzahl und Speed Controller: Anzahl und Speed Disk: Anzahl und Speed HBA1 HBA2 FC-Switch1 FC-Switch2 Disk Array 1 Disk Array 2 Disk Array 3 Disk Array 4 Disk Array 5 Disk Array 6 Disk Array 7 Disk Array 8 Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Komponenten eines DWH Systemes Grobe Sizing Werte Durchsatz Performance Komponente Theorie (Bit/s) maximal Byte/s HBA 2Gbit/s 160 Mbytes/s 16 Port Switch 8 x 4Gbit/s 1200 Mbytes/s Fibre Channel 2Gbit/s 160 Mbytes/s Fibre Channel 4Gbit/s 300 Mbytes/s GigE NIC 1Gbit/s 80 Mbytes/s Infiniband 10Gbit/s 890 Mbytes/s CPU 100-200MB/s Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Was ist ein balanciertes System ? Jeder Server hat 4 CPUs Alle vier Server erzeugen dann 4 * 150 MB/s * 4 = 2400 MB/s Die schwächste Komponente bestimmt den Durchsatz Relevante Komponenten: CPUs: Anzahl und Speed HBAs (Host Bus Adapter): Anzahl und Speed Switch: Anzahl und Speed Controller: Anzahl und Speed Disk: Anzahl und Speed HBA1 HBA2 Jeder Server hat 2 x 4 Git HBAs Alle 8 HBAs können 8 * 300MB/s = 2400 MB/s Jeder Switch muß 1200 MB/s garantieren für einen Gesamtsystem Durchsatz von 2400 MB/s FC-Switch1 FC-Switch2 8 Disk Arrays a 16 Platten Pro Disk Array 300 MB/sec. 8 * 300MB/s = 2400 MB/s Disk Array 1 Disk Array 2 Disk Array 3 Disk Array 4 Disk Array 5 Disk Array 6 Disk Array 7 Disk Array 8 Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

<Insert Picture Here> Agenda <Insert Picture Here> Wie sind wir darauf gekommen? Non Well Balanced DWH Well Balanced DWH Beste Leistung Exzellente Skalierung Guter Preis Oracle Optimized Warehouse Initiative Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Referenzarchitektur Size M 2 x 4 Cores 2 x 8 - 16 GB RAM 4 x 4Gbit FCAL Controller HBA1 HBA2 HBA1 HBA2 FC-Switch1 FC-Switch2 2,2 - 4,4 TB Nettodaten 1200 MB/sec. I/O Durchsatz ASM Diskgroup Aktivdaten Disk Array 1 Disk Array 2 Disk Array 3 Disk Array 4 Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Referenzarchitektur Size L 4 x 4 Cores 4 x 8 - 16 GB RAM 8 x 4Gbit FCAL Controller HBA1 HBA2 FC-Switch1 FC-Switch2 4,4 - 8,8 TB Nettodaten 2400 MB/sec. I/O Durchsatz ASM Diskgroup Aktivdaten Disk Array 1 Disk Array 2 Disk Array 3 Disk Array 4 Disk Array 5 Disk Array 6 Disk Array 7 Disk Array 8 Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Referenzarchitektur Size XL 4 x 8 Cores 8 x 8 - 16 GB RAM 16 x 4Gbit FCAL Controller HBA1 HBA2 HBA1 HBA2 HBA1 HBA2 HBA1 HBA2 HBA3 HBA4 HBA3 HBA4 HBA3 HBA4 HBA3 HBA4 FC-Switch1 FC-Switch2 8,8 - 17,6 TB Nettodaten 4800 MB/sec. I/O Durchsatz ASM Diskgroup Aktivdaten Disk Array 1 Disk Array 2 ... Disk Array 8 Disk Array 9 Disk Array 10 Disk ... Disk Array 16 Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Referenzarchitektur Skalierbarkeit User User ORACLE Real Application Clusters (RAC) unterstützt mit Cache Fusion das Lesen aus den Hauptspeichern aller Rechner Skalierbarkeit “Scale Up” und “Scale Out” Unterstützung für alle Applikationen: DWH OLTP ODS DWH & OLTP Mix User User User User User Applikation HBA1 HBA2 HBA3 HBA4

HBA1 HBA2 HBA3 HBA4

<Insert Picture Here> Agenda <Insert Picture Here> Wie sind wir darauf gekommen? Non Well Balanced DWH Well Balanced DWH Beste Leistung Exzellente Skalierung Guter Preis Oracle Optimized Warehouse Initiative Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Guter Preis Entry-Level- oder Midrange-Storage ist sehr preisgünstig. Entry-Level: Man bekommt heute Storage mit 16 Platten und ca. 300 MB/sec. für ca. 20000€ (z.B. HP MSA 1500) Midrange: IBM DS4700 oder Sun Storage ST 6140 oder ST 6540 mit ca. 600 - 800 MB/sec. für ca. 120.000€ Presigünstige Quad Boards mit 4 Dual Core CPUs IBM: p550q mit Power 5+ oder p570 mit Power 6 SUN: Sparc M4000 Server HP: HP Itanium Rx6600 Hochverfügbarkeit systemimmanent Optimale Ausnutzung der Ressourcen Grid Computing Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

BI&W Herausforderungen Heterogene Syteme Business Objects 4 Cpus DWH A Informatica 8 Cpus Oracle 4 Cpus Inselbildung der Applikationen Alle Rechner zu unterschiedlichen Zeiten unter Dauerlast Und zu anderen Zeiten 'idle' Hohe Kosten Hardware Betrieb Software Notes: Mehrere Rechner müssen beschafft und administriert werden Verschiedene Rechner können Ressourcen untereinander nicht nutzen Mehrere Produkte, Lizenzkosten x 3 Verschiedene Leute/Skills Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

BI&W Herausforderungen Heterogene Systeme I/O Business Objects 4 Cpus DWH A Informatica 8 Cpus Oracle 4 Cpus 1000 IO/Sec, 3500 200 Performance Notes: Verschiedene Plattensysteme können Ressourcen untereinander nicht nutzen Volume Manager Evtl. Schlecht aufgeteilte Platten mit schlechter Performance 30% 70% 95% Plattenplatz Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Guter Preis: Grid Computing Virtualisierung von BI&W Services im DWH Data Center Mining A Mining A ETL A OLAP A DWH A OLAP A ETL A ETL B Test & Entw DWH B Test B DWH K SAP BW Clusterware & RAC &ASM Grid Control

Fibre Channel SAN Switches Guter Preis: B&R Knoten 1 Knoten 2 RAC Fibre Channel SAN Switches Entry Level Arrays hohe Kapazität wenig aktiv . . . . . . 1 2 3 16 High End Festplatten ILM-Aktivdaten ASM Diskgroup Aktivdaten ASM Diskgroup Historie/Backup

Guter Preis: B&R Hoch aktiv, SCSI Disks oder Wenig aktiv, SATA Disks CREATE TABLE BELEGPOS_2005 TABLESPACE DATEN_GROSS; . . . . . . 1 2 3 16 Tablespace DATEN_GROSS Tablespace INDEX_GROSS .. alle weiteren Tablespaces ASM Diskgroup Aktiv ALTER TABLE BELEGPOS_2005 MOVE TABLESPACE ARCHIV; oder Wenig aktiv, SATA Disks Tablespace ARCHIV ALTER TABLE BELEGPOS_2005 MOVE TABLESPACE ARCHIV COMPRESS; ASM Diskgroup: Wenig Aktiv

<Insert Picture Here> Agenda <Insert Picture Here> Wie sind wir darauf gekommen? Non Well Balanced DWH Well Balanced DWH Beste Leistung Exzellente Skalierung Guter Preis Oracle Optimized Warehouse Initiative Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Oracle Optimized Warehouse Initiative Information Appliance Panta 2700 Netezza Informationen der DWH Initiative unter dem Link http://www.oracle.com/solutions/business_intelligence/optimized-warehouse-initiative.html Zusammenstellung einer Referenzarchitektur, abhängig von den Anforderungen mit folgenden HW Herstellern: IBM SUN HP Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Oracle Optimized Warehouse Initiative Balancierte System Konfigurationen werden aus modularen ebenfalls balancierten Building Blocks aufgebaut Hinzufügen von Building Blocks je nach Wachstum Jeder Building Block ist ausbalanciert ( CPU/IO/Memory/Network) Unterschiedliche Building Blocks werden unterstützt Viele kleine Knoten im Vergleich zu wenigen großen Knoten oder SMP Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Information Appliance – Beispiel Panta 2700 Data Warehouse Appliance 8 Blade RAC Cluster 4 AMD 2.2Ghz dual core CPU pro Blade 8 GB Speicher pro CPU Summe 64 cores und 256 GB Hauptspeicher 96 TB Datenbank Storage 532 Festplatten 250GB SATA 7200 RPM / Platte 2 Silverstorm 9024 Infiniband Switches Bis zu 12 GB / Sekunde ! Datenbank I/O Oracle Datenbank 10g mit RAC Red Hat Enterprise Linux Advanced Server 4 Sehr, sehr GÜNSTIG!! Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Information Appliance: 1TB TPC-H in October 2006* Das System: Example Data Warehouse Appliance vom vorigen Slide Vordefinierte Hardware und Software Die Resultate: Performance: 59,353.9 QphH@1000GB Price-performance: $24.94 $/QphH@1000GB Sehr starke Kombination von Performance und Preis/Performance #2 in der absoluten Leistung #1 in price-performance der 10 besten Resultate *Veröffentlicht am 23 Oktober, 2006:  PANTA Systems PANTAmatrix, 59,353.9QphH@1000GB, $24.94/QphH@1000GB, available 4/15/07.  Quelle:  Transaction Processing Performance Council (TPC), www.tpc.org Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)

Q & A Klaus Heßen, Direktor Strategisch Technische Unterstützung (STU)