New Business Intelligence Big Data Computing in der Cloud Rosenheim, 4. November 2013 Henrik Kemmesies.

Präsentation zum Thema: "New Business Intelligence Big Data Computing in der Cloud Rosenheim, 4. November 2013 Henrik Kemmesies."—  Präsentation transkript:

1 New Business Intelligence Big Data Computing in der Cloud Rosenheim, 4. November 2013 Henrik Kemmesies

2 Henrik Kemmesies, QAware204. November 2013 Motivation: New Business Intelligence Megabyte Gigabyte Terabyte Petabyte 100 10 1 100 10 1 100 10 1 100 10 1 100 10 1 Exabyte Das Internet Facebook Der Google Index Alle Schriften der Menschheit Speichervermögen des menschlichen Gehirns Aktuell durchschnittliche Datenmenge in Unternehmen. Schmerzgrenze klassischer relationaler Datenbanken. Offshore-Leaks- Daten

3 Es entsteht eine neue BI-Architekturgeneration, die mit großen und vielfältigen Datenmengen umgehen kann. Henrik Kemmesies, QAware304. November 2013 New Business Intelligence Megabyte Gigabyte Terabyte Petabyte 100 10 1 100 10 1 100 10 1 100 10 1 100 10 1 Exabyte New Business Intelligence (New BI) Klassische BI Big Data Verarbeitung großer Datenmengen durch: verteilte und hochgradig parallelisierte Verarbeitung. verteilte und effizient organisierte Datenablagen. New BI = BI mit Big Data Technologien Damit werden zusätzliche Daten für die BI erschlossen, die mit klassischer BI nicht handhabbar sind: groß: Großes Datenvolumen. schnell: Daten entstehen mit hoher Geschwindigkeit und müssen schnell weiterverarbeitet werden. vielfältig: Daten in vielfältiger Form aus vielfältigen Quellsystemen. dynamisch: Hohe Dynamik der Daten bzgl. ihrer Struktur New BI ist ein Ersatz für die klassische BI und kann auch mit Small Data umgehen. Nutzen Kennzahlengestützte und faktenbasierte Entscheidungs- findung Bessere Unter- nehmenssteuerung und Informations- versorgung

4 Die Technik hinter NewBI ist grundverschieden zur klassischen BI – entstanden im Open-Source-Ökosystem. Henrik Kemmesies, QAware404. November 2013 New Business Intelligence Mächtige Algorithmen und Sprache als Open Source Bausteine. NewSQL Datenbanken: SQL für große Datenmengen. Sharding (Datenverteilung) Verteilte und parallelisierte Verarbeitung Spaltenorientierte Speicherung Datenkompression Partitionierung In-Memory Computing Effiziente Indizes Ein zentraler Data Hub: NewSQL oder NoSQL. Business Infographics & Data Visualization Werkzeuge zu geringen Lizenzkosten und ohne Lock-In für Power User. … Dateibasierte Staging-Area als ewiges Gedächtnis. Verteiltes Dateisystem Integrierte Kompression Individuelle BI-Apps mit mächtigen Open Source Charting Bibliotheken statt teurer Reporting Server. D3 Leichtgewichtige Workflow-Steuerung Effizient zu entwickelnde Jobs Massive Parallelisierung Pig Open Studio

5 Leistungsfähige Visualisierungen sind frei verfügbar und können in jede Web-App integriert werden. Henrik Kemmesies, QAware504. November 2013 New Business Intelligence

6 NewBI in der Praxis: T-Online Business Intelligence Henrik Kemmesies, QAware604. November 2013 KennzahlWert Datenvolumen im DWH mit Daten vom 15.8. bis 22.10. 500,87 GB Datensätze im DWH mit Daten vom 15.8. bis 22.10. 1.751.960.156 Anzahl Dimensionen6 Anzahl Fakten5 Entwicklungsdauer3 Monate A B C D

7 Datenanalyse in der Cloud mit Google Big Query: Besucheranzahl aufgeschlüsselt nach Geschlecht und Tag. Henrik Kemmesies, QAware704. November 2013 New Business Intelligence

8 Liegt das BI-Datenmodell vor, dann sind Auswertungen mit BI-Frontends oder mit Charting-Libs schnell erstellt. Henrik Kemmesies, QAware804. November 2013 New Business Intelligence

9 Visualisierung mit Tableau: geographische Verteilung von Benutzern, differenziert nach Geschlecht: Henrik Kemmesies, QAware904. November 2013 New Business Intelligence

10 Fazit Henrik Kemmesies, QAware1004. November 2013

11 Klassische BI und NewBI im Vergleich: New BI macht BI zum Allgemeingut. Henrik Kemmesies, QAware1104. November 2013 New Business Intelligence EigenschaftKlassische BINewBI Konzeptionelle GrundlageOLAP LizenzkostenI.d.R. sehr hoch durch viele kommerzielle Werkzeuge: Vom ETL-Werkzeug über die Datenbank hin zum BI-Frontend. Gering durch hohen Anteil an Open-Source- Bausteinen. Kommerzielles Analyse-Frontend ratsam (ca. 1,5k pro Power User – ca. 10% der Nutzerbasis). Vendor Lock-InGeprägt von rundum glücklich Stacks großer Hersteller. Mehr Freiheit bei der Wahl des richtigen Tools für den Job. Viele Bausteine sind Open Source. DatenvolumenBis zu 1 TB möglich mit hohem Aufwand für DB-Optimierung und hohen Hardware- Kosten durch vertikale Skalierung. Datenvolumen nur durch verfügbaren Speicherplatz und Anzahl an Rechnern begrenzt. Horizontale Skalierung auf billiger Standard-Hardware. ZielgruppeManagement um strategische Entscheidungen fällen zu können. Alle Hierarchieebenen für operative, taktische und strategische Entscheidungen. ReifeSehr reife Technologien, die jahrelang erlernt sind und sich im produktiven Einsatz bewährt haben. Die Technologien sind größtenteils produktionsreif und haben eine aktive Community. Sie sind aber noch nicht jahrelang erlernt & erprobt. Es gibt aber bereits einige Erfolgsgeschichten. Anreicherung von bestehenden IT-Systemen um BI-Funktionalität Mit hohen Lizenzkosten verbunden oder individuell entwickelt als frickelige Reports. Direkt möglich über SQL-Abfragen und Darstellung über JavaScript Charting Bibliotheken. Die Hürden sinken: Datenvolumina, Heterogene Daten, Lizenzkosten, Herstellerbindung

12 Diskussion Henrik Kemmesies, QAware1204. November 2013 Fragen? Anmerkungen?

13 Backup Henrik Kemmesies, QAware1304. November 2013

14 Extraktion, Transformation und Laden der Daten: die Steuerung übernimmt ein Jenkins. Henrik Kemmesies, QAware1404. November 2013 New Business Intelligence