Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

© Copyright 2015 EMC Corporation. All rights reserved. Hadoop-as-a-Service (HDaaS) Flexible und skalierbare Referenzarchitektur Lena Frank – Systems Engineer.

Ähnliche Präsentationen


Präsentation zum Thema: "© Copyright 2015 EMC Corporation. All rights reserved. Hadoop-as-a-Service (HDaaS) Flexible und skalierbare Referenzarchitektur Lena Frank – Systems Engineer."—  Präsentation transkript:

1 © Copyright 2015 EMC Corporation. All rights reserved. Hadoop-as-a-Service (HDaaS) Flexible und skalierbare Referenzarchitektur Lena Frank – Systems EMC Marius Lohr – Systems EMC

2 © Copyright 2015 EMC Corporation. All rights reserved. klassische IT Dienste: neue IT Dienste: Fallbeispiel: CIO eines DAX Unternehmens

3 © Copyright 2015 EMC Corporation. All rights reserved. Die Möglichkeiten hjdfhjdsfh neue Geschäftsfelder Risikominimierung Verbesserung operatives Geschäft Umsatzsteigerung

4 © Copyright 2015 EMC Corporation. All rights reserved. Schnelles Deployment mehrere Mandanten Anforderungen und Workloads Hochverfügbarkeit und Datensicherheit Kostendruck ggü. Cloud Anbietern Fehlendes Wissen über Hadoop Infrastrukturen Die Herausforderungen

5 © Copyright 2015 EMC Corporation. All rights reserved. Ethernet Job TrackerTask TrackerDataNode 2 nd NameNode NameNode Klassische Hadoop Architektur Sqoop MahoutHiveHBase PIG NameNode Data Node + Compute Node

6 © Copyright 2015 EMC Corporation. All rights reserved. Klassische Hadoop Architektur dedizierte Serverumgebung mit lokalem Storage Hardware und Kapazität nur für Hadoop Daten gedacht Effizienz schlechte CPU Auslastung da auf Lastspitzen zugeschnitten 3-fach Spiegelung (300% Brutto) durch Hadoop Architektur Skalierungsmöglichkeiten starres Verhältnis von Compute Node zu Data Node Enterprise Class Dienste Fehlende Datensicherungskonzepte wie Snapshots, Replikation, Backup Keine logische Trennung von Mandanten

7 © Copyright 2015 EMC Corporation. All rights reserved. Ethernet Sqoop PIG Mahout HiveHBase Job TrackerTask TrackerDataNode Compute Node NameNode Hadoop Architektur mit konsolidiertem HDFS Storage data node HDFSHDFS HDFSHDFS name node

8 © Copyright 2015 EMC Corporation. All rights reserved. Open-Source Projekt Schnelles Deployment von Hadoop Clustern in virtuellen Umgebungen Project Serengeti vCenter VM vSphere + Serengeti Host Hadoop Node Host VM Management Server Templates

9 © Copyright 2015 EMC Corporation. All rights reserved. Hadoop-as-a-Service Referenzarchitektur data node HDFSHDFS HDFSHDFS Compute Node vCenter Infrastructure Mgmnt Self Service Portal Serengeti Orchestration & Chargeback User Management Hadoop virtuell physikalisch Name node

10 © Copyright 2015 EMC Corporation. All rights reserved. SELF SERVICE PORTAL ORCHES TRATOR 3: Invoke AD USER/ TENANT MGMT 2: Validate Shared HDFS Storage HDFS/ REST API 4a: Provision Storage SERENG ETI 4b: Provision Compute 5: Instantiate PIVO- TAL HD MASTER HD WORKER PIVO- TAL HD MASTER HD WORKER Data Scientist 1: Request 7: Access and Analyze Hadoop Cluster 6: Notify HDaaS Workflow

11 © Copyright 2015 EMC Corporation. All rights reserved. unabhängige Skalierung der Infrastruktur Compute und Data Nodes voneinander unabhängig erweiterbar bessere Ausnutzung der IT Infrastruktur >80% Storage Utilization, verbesserte CPU Utilization parallele Workloads von non-Hadoop Applikationen auf gleicher Hardware automatisierte Bereitstellung und einfaches Management konsolidierter HDFS Speicher Compute Templates als Basis für schnelles Deployment Mandantentrennung Logische Trennung der Datenzugriffe Logische Trennung der Compute Nodes zusätzlicher Schutz der Daten Snapshots, Replikation, Backup Vorteile einer entkoppelten und virtualisierten Hadoop Infrastruktur Data Scientist Hadoop-as-a-Service Referenzarchitektur Virtualisierte Hadoop Cluster Shared HDFS Storage

12 EMC Scale-Out Data Lake Foundation Data Lake Foundation 12© Copyright 2014 EMC Corporation. All rights reserved. NEXT-GEN WORKLOADSTRADITIONAL WORKLOADS HPC Backup/Archive Analytics Mobile File Shares Cloud Apps DASDAS CLOUDCLOUD OBJECTOBJECT TAPETAPE SANSAN NASNAS

13 EMC Scale-Out Data Lake Foundation Data Lake Foundation 13© Copyright 2014 EMC Corporation. All rights reserved. TAPETAPE NASNAS DASDAS CLOUDCLOUD SANSAN OBJECTOBJECT TRADITIONAL WORKLOADS HPC Backup/Archive Analytics Mobile File Shares Cloud Apps NEXT-GEN WORKLOADS

14 Next-Gen Access Methods FILE 14© Copyright 2014 EMC Corporation. All rights reserved. HPC Backup/Archive Analytics Mobile File Shares Cloud Apps

15 Expanded Enterprise-Grade Features DATA PROTECTION DATA SECURITY PERFORMANCE MANAGEMENT DATA MANAGEMENT 15© Copyright 2015 EMC Corporation. All rights reserved.

16 Haben Sie noch Fragen?


Herunterladen ppt "© Copyright 2015 EMC Corporation. All rights reserved. Hadoop-as-a-Service (HDaaS) Flexible und skalierbare Referenzarchitektur Lena Frank – Systems Engineer."

Ähnliche Präsentationen


Google-Anzeigen