HADOOP – a Brief overview © Gottfried Hufnagel
Definition Big Data Any amount of data that's too big to be handled by one computer Jon Rauser, Data Scientist Pinterest
3 Vs Volume Velociy Value Varity Welchen Vorteil zieht man aus Big Data Analysen strukturiert unstrukturiert teilstrukturiert alles andere Batch Echtzeit Near Time Streams Terrabyte Zettabyte Soziale Netze Sensoren Volume Velociy Value Varity
Charakter Hadoop Skaliert horizontal günstige Hardware Master 1 2 3 4 … x
Zwei grundlegende Komponenten MapReduce Aufgabenteilung Parallelisierung HDFS Verteiltes Dateisystem N=3 ausfallssicher skaliert Dateien in Blocks gesplittet
HDFS Secondary Namenode Client NameNode (Katalog) DataNode #1 #2 #1 #2 Datanode #1 #3 #4 #1 #2 #4 … #3 #4 #n
HDFS - Console Befehle ähnlich der üblichen UNIX- Commands [root@fue-hdc01 ~]# hdfs dfs -ls / Found 8 items drwxrwxrwx - yarn hadoop 0 2014-10-16 09:27 /app-logs drwxr-xr-x - hdfs hdfs 0 2014-10-15 15:35 /apps drwxr-xr-x - hdfs hdfs 0 2014-10-15 15:42 /home drwxr-xr-x - mapred hdfs 0 2014-10-15 15:32 /mapred drwxr-xr-x - hdfs hdfs 0 2014-10-15 15:32 /mr-history drwxr-xr-x - hdfs hdfs 0 2014-10-16 17:51 /system drwxrwxrwx - hdfs hdfs 0 2014-10-16 17:42 /tmp drwxr-xr-x - hdfs hdfs 0 2014-10-16 09:23 /user
MapReduce Java-Framework parallele Verarbeitung Code kommt zu den Daten
Entwicklung 2002 – OpenSource Suchmaschine (Nutch) 2003 – Google Paper zu GFS 2004 – Google Paper zu MapReducde 2006 – Cutting + Nutch + Yahoo + Apache => Hadoop “[..] we were all solving the same problems“ – Raymie Sata, CEO VertiCloud
Ökosystem Management HBase Yarn Frameworks Pig Hive HCatalog MapReduce Ambari / Cloudera / MapR Nicht-Rationale DB HBase Yarn Frameworks Pig Script Hive Query HCatalog Metadatenservices MapReduce Verarbeiten von Daten YARN Ressourcenverteilung HDFS Speichern von Daten Scoop Import und Export von relationalen Daten Flume Import und Export von Streams