HADOOP – a Brief overview

Präsentation zum Thema: "HADOOP – a Brief overview"—  Präsentation transkript:

1 HADOOP – a Brief overview
© Gottfried Hufnagel

2 Definition Big Data Any amount of data that's too big to be handled by one computer Jon Rauser, Data Scientist Pinterest

3 3 Vs Volume Velociy Value Varity
Welchen Vorteil zieht man aus Big Data Analysen strukturiert unstrukturiert teilstrukturiert alles andere Batch Echtzeit Near Time Streams Terrabyte Zettabyte Soziale Netze Sensoren Volume Velociy Value Varity

4 Charakter Hadoop Skaliert horizontal günstige Hardware Master 1 2 3 4
… x

5 Zwei grundlegende Komponenten
MapReduce Aufgabenteilung Parallelisierung HDFS Verteiltes Dateisystem N=3 ausfallssicher skaliert Dateien in Blocks gesplittet

6 HDFS Secondary Namenode Client NameNode (Katalog) DataNode #1 #2
#1 #2 Datanode #1 #3 #4 #1 #2 #4 … #3 #4 #n

7 HDFS - Console Befehle ähnlich der üblichen UNIX- Commands ~]# hdfs dfs -ls / Found 8 items drwxrwxrwx - yarn hadoop :27 /app-logs drwxr-xr-x - hdfs hdfs :35 /apps drwxr-xr-x - hdfs hdfs :42 /home drwxr-xr-x - mapred hdfs :32 /mapred drwxr-xr-x - hdfs hdfs :32 /mr-history drwxr-xr-x - hdfs hdfs :51 /system drwxrwxrwx - hdfs hdfs :42 /tmp drwxr-xr-x - hdfs hdfs :23 /user

8 MapReduce Java-Framework parallele Verarbeitung
Code kommt zu den Daten

9 Entwicklung 2002 – OpenSource Suchmaschine (Nutch)
2003 – Google Paper zu GFS 2004 – Google Paper zu MapReducde 2006 – Cutting + Nutch + Yahoo + Apache => Hadoop “[..] we were all solving the same problems“ – Raymie Sata, CEO VertiCloud

10 Ökosystem Management HBase Yarn Frameworks Pig Hive HCatalog MapReduce
Ambari / Cloudera / MapR Nicht-Rationale DB HBase Yarn Frameworks Pig Script Hive Query HCatalog Metadatenservices MapReduce Verarbeiten von Daten YARN Ressourcenverteilung HDFS Speichern von Daten Scoop Import und Export von relationalen Daten Flume Import und Export von Streams