Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE.

Ähnliche Präsentationen


Präsentation zum Thema: "Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE."—  Präsentation transkript:

1 Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE

2 Big Data Buzz Word oder eine neue Dimension und Möglichkeiten Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten Cloudera Framwork Connectors in die neue Welt Oracle Loader for Hadoop und HDFS Big Data Appliance Mit Oracle R Enterprise neue Analyse-Horizonte entdecken Big Data Analysen mit Endeca Themen

3 Big Data Ökosystem

4 Big Data Appliance Mögliches Szenario Oracle Big Data Appliance Oracle Exadata InfiniBand Acquire OrganizeAnalyze Oracle Exalytics InfiniBand Oracle Big Data Connectors

5 Warum eine Hadoop Appliance? Zeit zum Aufbau? Optimierungsaufwand? Kosten und Aufwand für Wartung?

6 Big Data Appliance Hardware Überblick

7 18 Sun X4270 M2 Servers per Rack –864 GB RAM –216 cores –648 TB storage 40 Gb/s InfiniBand Fabric –Inter-rack Connectivity –Inter-node Connectivity 10 Gb/s Ethernet Connectivity –Data center connectivity Oracle Big Data Appliance Hardware Full Rack Configuration Only

8 BDA Node – Sun Fire X4270 M2 Processors2 Six-Core Intel® Xeon® X5675 Processors (3.06 GHz) Memory48GB (6 * 8GB) expandable to 96 GB or 144 Disks12 x 3 TB 7.2K RPM High Capacity SAS (hot-swap) Disk ControllerDisk Controller HBA with 512MB Battery Backed Cache Network2 InfiniBand 4X QDR (40Gb/s) Ports ( 1 Dual-port PCIe 2.0 HCA ) 4 Embedded Gigabit Ethernet Ports Remote Management ILOM with 1 Gigabit Ethernet port Power SuppliesRedundant Hot-Swappable power supplies and fans

9 Memory Expansion Kit Optionale Erweiterung für einzelne Knoten in der BDA (z.B. dem Name Node) Änderung der Konfiguration der X4270 M2 von 48GB zu entweder 96Gb (12 x 8 GB) oder 144 GB (18 x 8 GB) Kann für Alle oder Einzelne Knoten gelten (Name Node, HBase master etc.)

10 InfiniBand Network Sun 4x QDR (40Gb/s) InfiniBand switches Immer ein Subnet Manager ist aktiv 2 leaf switches (32 port QDR gateway switch) für die Leafverknüpfung Ein Port für die Erweiterung auf andere EXA-Maschinen Einzelne Server Jeder Server hat einen Dual-port QDR (40Gb/s) IB HCA Dient der Vernetzung der Leafs untereinander und mit dem Name Node Vorverdrahtet

11 Horizontale Erweiterung Vernetzung mehrer Racks durch InfiniBand Exadata Anschluss ebenfalls durch InfiniBand

12 Oracle Big Data Appliance Software Überblick

13 Software vor-installiert und optimiert für eine optimale Performance: Oracle Linux 5.6 Java Hotspot VM Cloudera CDH Cloudera Manager Open Source R Distribution Oracle NoSQL Database CE Oracle Big Data Connectors* Oracle Big Data Appliance Software * Separate linzenzpflichtige Software, kann vorinstalliert unf konfiguriert werden

14 Cloudera CDH Cloudera CDH 3 enthält: Apache Hadoop Apache Hive Apache Pig Apache HBase Apache Zookeeper Apache Flume Apache Sqoop Apache Mahout Apache Whirr Apache Oozie Fuse-DFS Hue Aktuelle Details unter:

15 Hadoop Software Layout (Masters) Node 1: M: Name Node, Balancer & HBase Master S: HDFS Data Node, NoSQL DB Storage Node* Node 2: M: Secondary Name Node, Cloudera Manager, Zookeeper, MySQL Slave S: HDFS Data Node, NoSQL DB Storage Node* Node 3: M: JobTracker, MySQL Master, ODI Agent, Hive Server S: HDFS Data Node, NoSQL DB Storage Node* * Optionale Konfiguration

16 Oracle NoSQL DB Eine verteilte, hoch skalierbare Key-Value Datenbank Einfaches Daten Model Key-Value Paar mit major+sub-key Read/insert/update/delete Operationen Skalierbarkeit Dynamische Partitionierung und Verteilung Optimierter Daten Zugriff über dieTreiber Hoch Verfügbarkeit Ein oder mehrere Replicate Disaster recovery über die Replicate Kein single point of failure Transparentes load balancing Es wird vom Master oder einem Replicat gelesen Die Treiber berücksichtigen die Netzwerk-Topologie und die Latenzzeiten Storage Nodes Data Center A Storage Nodes Data Center B NoSQLDB Driver Application NoSQLDB Driver Application

17 NoSQL DB NoSQL Konfiguration (Optional für die BDA) Master Node Replicat Vor-Konfiguriert mit dreifacher Replikation

18 Zusammenfassung

19 Big Data Appliance Big Data fürs gesamte Unternehmen Optimiert und Vollständig Alles was man zur Speicherung und Integration von Daten mit geringer Informationsdichte braucht Integration mit Oracle Exadata Erweiterung des DWH Einfach und schnell einsetzbar Riskoarme, einfache und schnelle Einführung Ein Ansprechpartner Für den Support der gesamten Lösung

20 Kontakt und mehr Informationen Oracle Data Warehouse Community Mitglied werden Viele kostenlose Seminare und Events Download – Server: Nächste deutschsprachige Oracle DWH Konferenz: März 2013 Kassel

21


Herunterladen ppt "Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE."

Ähnliche Präsentationen


Google-Anzeigen