DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE.

Präsentation zum Thema: "DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE."—  Präsentation transkript:

1 DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE

2 Themen Big Data Buzz Word oder eine neue Dimension und Möglichkeiten
Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten Cloudera Framwork „Connectors“ in die neue Welt Oracle Loader for Hadoop und HDFS Big Data Appliance Mit Oracle R Enterprise neue Analyse-Horizonte entdecken Big Data Analysen mit Endeca

3 <Insert Picture Here>
Big Data Ökosystem

4 Big Data Appliance Mögliches Szenario
Oracle Big Data Appliance Oracle Exadata Oracle Exalytics Oracle Big Data Connectors InfiniBand InfiniBand Acquire Organize Analyze

5 Warum eine Hadoop Appliance?
Zeit zum Aufbau? Optimierungsaufwand? Kosten und Aufwand für Wartung?

6 <Insert Picture Here>
Big Data Appliance Hardware Überblick

7 Oracle Big Data Appliance Hardware
18 Sun X4270 M2 Servers per Rack 864 GB RAM 216 cores 648 TB storage 40 Gb/s InfiniBand Fabric Inter-rack Connectivity Inter-node Connectivity 10 Gb/s Ethernet Connectivity Data center connectivity Full Rack Configuration Only

8 BDA Node – Sun Fire X4270 M2 Processors
2 Six-Core Intel® Xeon® X5675 Processors (3.06 GHz) Memory 48GB (6 * 8GB) expandable to 96 GB or 144 Disks 12 x 3 TB 7.2K RPM High Capacity SAS (hot-swap) Disk Controller Disk Controller HBA with 512MB Battery Backed Cache Network 2 InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe 2.0 HCA) 4 Embedded Gigabit Ethernet Ports Remote Management ILOM with 1 Gigabit Ethernet port Power Supplies Redundant Hot-Swappable power supplies and fans

9 Memory Expansion Kit Optionale Erweiterung für einzelne Knoten in der BDA (z.B. dem Name Node) Änderung der Konfiguration der X4270 M2 von 48GB zu entweder 96Gb (12 x 8 GB) oder 144 GB (18 x 8 GB) Kann für Alle oder Einzelne Knoten gelten (Name Node, HBase master etc.)

10 InfiniBand Network Sun 4x QDR (40Gb/s) InfiniBand switches
Immer ein Subnet Manager ist aktiv 2 “leaf” switches (32 port QDR gateway switch) für die Leafverknüpfung Ein Port für die Erweiterung auf andere EXA-Maschinen Einzelne Server Jeder Server hat einen Dual-port QDR (40Gb/s) IB HCA Dient der Vernetzung der “Leafs” untereinander und mit dem “Name Node” Vorverdrahtet

11 Horizontale Erweiterung
Vernetzung mehrer Racks durch InfiniBand Exadata Anschluss ebenfalls durch InfiniBand

12 <Insert Picture Here>
Oracle Big Data Appliance Software Überblick

13 Oracle Big Data Appliance Software
Software vor-installiert und optimiert für eine optimale Performance: Oracle Linux 5.6 Java Hotspot VM Cloudera CDH Cloudera Manager Open Source R Distribution Oracle NoSQL Database CE Oracle Big Data Connectors* * Separate linzenzpflichtige Software, kann vorinstalliert unf konfiguriert werden

14 Cloudera CDH Cloudera CDH 3 enthält: Apache Hadoop Apache Hive
Apache Pig Apache HBase Apache Zookeeper Apache Flume Apache Sqoop Apache Mahout Apache Whirr Apache Oozie Fuse-DFS Hue Aktuelle Details unter:

15 Hadoop Software Layout (Masters)
Node 1: M: Name Node, Balancer & HBase Master S: HDFS Data Node, NoSQL DB Storage Node* Node 2: M: Secondary Name Node, Cloudera Manager, Zookeeper, MySQL Slave Node 3: M: JobTracker, MySQL Master, ODI Agent, Hive Server MySQL SE is used as a repository for: Hive metadata Cloudera Manager ODI Repository MySQL SE on BDA can only be leveraged for above usages. See BDA Manifest for details. 3 2 1 * Optionale Konfiguration

16 Oracle NoSQL DB Eine verteilte, hoch skalierbare Key-Value Datenbank
Einfaches Daten Model Key-Value Paar mit major+sub-key Read/insert/update/delete Operationen Skalierbarkeit Dynamische Partitionierung und Verteilung Optimierter Daten Zugriff über dieTreiber Hoch Verfügbarkeit Ein oder mehrere Replicate Disaster recovery über die Replicate Kein “single point of failure” Transparentes “load balancing” Es wird vom Master oder einem Replicat gelesen Die Treiber berücksichtigen die Netzwerk-Topologie und die Latenzzeiten Application Application NoSQLDB Driver NoSQLDB Driver Storage Nodes Data Center A Data Center B

17 NoSQL Konfiguration (Optional für die BDA)
NoSQL DB Master Node Replicat Vor-Konfiguriert mit dreifacher Replikation

18 <Insert Picture Here>
Zusammenfassung

19 Big Data Appliance Big Data fürs gesamte Unternehmen
Optimiert und Vollständig Alles was man zur Speicherung und Integration von Daten mit geringer Informationsdichte braucht Integration mit Oracle Exadata Erweiterung des DWH Einfach und schnell einsetzbar Riskoarme, einfache und schnelle Einführung Ein Ansprechpartner Für den Support der gesamten Lösung

20 Kontakt und mehr Informationen
Oracle Data Warehouse Community Mitglied werden Viele kostenlose Seminare und Events Download – Server: Nächste deutschsprachige Oracle DWH Konferenz: März 2013 Kassel

21