Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE.

Ähnliche Präsentationen


Präsentation zum Thema: "Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE."—  Präsentation transkript:

1 Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE

2 Big Data Buzz Word oder eine neue Dimension und Möglichkeiten Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten Cloudera Framwork Connectors in die neue Welt Oracle Loader for Hadoop und HDFS Big Data Appliance Mit Oracle R Enterprise neue Analyse-Horizonte entdecken Big Data Analysen mit Endeca Themen

3 Was hat uns bisher interessiert? Sales & Mktg Information Technology Engineering Supply Management Service Finance Sales & Operational Planning Production

4 Warum und wie Big Data jetzt? New Business Opportunities Kosten und andere Analysen Neue Wege der Datenerzeugung Beiläufig entstehende Daten Maschinen-generiert Kommunikation Geo-Bezüge Was sind interessante Daten Wie sind sie zu speichern Welche Analysetechnik / Verfahren Welche Kosten entstehen

5 Use Case gibt es viele Use Cases Financial Service Freizeit Automaten / Logistik Automotive Retail

6 Ein potentieller Fall Ein Börsen-Unternehmen misst permanent alle relevanten Aktienkurse über einen längeren Zeitraum. In dem Data Warehouse sind alle Entwicklungen, alle Ups und Downs der letzten 10 Jahre genau dokumentiert. Offen aber bleiben Frage wie: Warum sind diese Ups und Downs zu bestimmten Zeiten entstanden? Beeinflussen öffentliche Nachrichten den Aktienhandel? Parallel zu dem Data Warehouse sammelt das Unternehmen alle öffentlich zugänglichen Nachrichten. Gesucht werden bewertende Aussagen zu Zeitpunkten der Aktienbewegungen.

7 In vielen Lebenssituationen erzeugen wir beiläufig und permanent Daten (z. T. ohne es zu wissen oder zu bemerken) Potential für neue Analysen und Geschäftsmodelle

8 Potential für neue Analysen und Geschäftsideen 50 Kontaktpunkte / Skifahrer / Tag 10 KB pro Kontaktpunkt -> 500KB pro Skifahrer / Tag Bei 20 Millionen Skifahrer in den Alplen/Jahr und durchschnittlich 10 Tagen Aufenthalt sind das -> 10 TB / Tag -> 100 TB insgesamt Personendaten Herkunft (Wohnort) Kartenkaufort Alter (Geb. Datum) Nutzungszeitraum Monat / Woche / Tag Tageszeit Nutzungshäufigkeit Wetterdaten Pistendaten Schneeverhältnisse Schwierigkeitsgrade Höhenmeter Liftdaten Auslasung MaschinendatenVergleichsdaten / DWH

9 Technologisch erweiterte Möglichkeiten Bitte nicht als Zigarettenwerbung verstehen. Wir finden Rauchen nicht gut! Automaten / Deutschland Alle Automaten über Sensorik erfasst und zentral abrufbar Füllstände, Sensoren in der Mechanik der Geräten Wartungszyklen, Routenplanung für Service-Techniker

10 Auto: Der fahrende Computer > 200 Sensoren / Auto Reifendruck Kraftstoffverbrauch Drehzahl Beschleunigung Bremskraft Getriebeeinstellung Leerlaufverhalten Stromverbrauch Aktivierte Stromverbraucher Temperatur innen / aussen Motortemperatur Öldruck Kühlwasser Regenfühler Fahrpedalgeber Bremspedalgeber 10 KB / Km (?????) 10 MB / Tankfüllung 10 TB / Tankfüllung / 1 Mill Autos 500 TB / km / 1 Mill Autos 1 MB / Km (?????) 1 GB / Tankfüllung 100 TB / Tankfüllung / 1 Mill Autos 5 PB / km / 1 Mill Autos

11 Big Data in der Auto-Industrie Vielfältige Einsatzgebiete Welche Daten werden gesammelt VerwendungUse Case Komponenten-Sensoren (z. B. Öldrück, Temperatur etc.) Vorhersage von PannenIndividuellle Service Pläne Welche Stromverbraucher werden wie oft genutzt Welche Extras werden genutzt und sind wirklich wichtig Effektiveres Marketing Eingang in F&E Brems- / Beschleunigungsdaten, Fahrleistung, Schaltverhalten Messen des individuellen Fahrverhaltens Rekonstruktion von Unfällen Individuelle Versicherungsangebote GPS-Geo-Positionen Wo befindet sich das Fahrzeug Welche Strassen werden genutzt Proactive engagement Bessere Grundlagen für künftige Anforderungen (Gelände etc.) VerbrauchsdatenWer braucht wann und wo und wieviel Treibstoff. Messen des Tankverhaltens. Genauere Grundlage für Tankstellenplanung

12 Genauere Kundenanalysen Mehr als nur klassische Sortimentsanalysen Business ProblemNeue Art der Analyse Nutzen Zielgenauere Werbebotschaften Minimieren von Werbeaufwand Bessere Zielgruppen- orientierung Kaufgewohnheiten Kundenbindung Detailliertere Kundenprofile Hinzuziehen von zusätzlichen Informationsquellen Co-Varianz-Analysen s Web logs Effizienteres Marketing Umsatzsteigerung Schärfung des Sortiments Massenmarkt-Retailer

13 Soziale Stadtpläne Wo in bewegen sich zu welchen Zeiten die meisten Menschen

14 MEDIA/ ENTERTAINMENT Viewers / advertising effectiveness COMMUNICATIONS Location-based advertising EDUCATION & RESEARCH Experiment sensor analysis CONSUMER PACKAGED GOODS Sentiment analysis of whats hot, problems HEALTH CARE Patient sensors, monitoring, EHRs Quality of care LIFE SCIENCES Clinical trials Genomics HIGH TECHNOLOGY / INDUSTRIAL MFG. Mfg quality Warranty analysis OIL & GAS Drilling exploration sensor analysis FINANCIAL SERVICES Risk & portfolio analysis New products AUTOMOTIVE Auto sensors reporting location, problems RETAIL Consumer sentiment Optimized marketing LAW ENFORCEMENT & DEFENSE Threat analysis - social media monitoring, photo analysis TRAVEL & TRANSPORTATION Sensor analysis for optimal traffic flows Customer sentiment UTILITIES Smart Meter analysis for network capacity, Weitere Big Data Use Cases In allen Branchen ON-LINE SERVICES / SOCIAL MEDIA People & career matching Web-site optimization Challenged by: Data Volume, Velocity, Variety

15 Big Data Opportunities? Drei Kategorien In a big data world, a competitor that fails to sufficiently develop its capabilities will be left behind. McKinsey Global Institute Neue GeschäftsideenSteigern von UmsatzSenken von Kosten

16 AcquireOrganiseAnalyse, Decide &Deliver Semi strukturierte Daten Unstrukturierte Daten Strukturierte Daten Text Clickstream Web content Logs Profile Transaktionen Vertriebswege Absatzdaten Kundenprofile Externe Daten Social Media Blogs, Feeds, Forum NOSQL Relational High volumn, low Latency-Daten-Streams Marktdaten, News OLTP: Bank, PoS, Credit Card Complex event processing Transaction Event Correlation HDFS Batch bulk load Social Media, Mails, Briefe, Verträge Texte, Dokumente Low value density data processing User Defined Algorithms Statistical Analysis High value data processing Filter Classify corrolate HDFS Reduced data set Kundenprofile Angereicherte Wissensablage Transaktionen Aggregate Kennzahlen Analyse Tools Smart Visualisierung Leicht durchführbare Abfragen Kundenvorlieben (Sentiments Analyse) Massendaten- Analyse Predictive Analysen Realtime und Selbstlernend Stateless Delivery Unterschiedliche Kanäle Mobile Tablet Web Office New Data Paradigma

17 AcquireOrganiseAnalyse, Decide &Deliver Semi strukturierte Daten Unstrukturierte Daten Strukturierte Daten Text Clickstream Web content Logs Profile Transaktionen Vertriebswege Absatzdaten Kundenprofile Externe Daten Social Media Blogs, Feeds, Forum NOSQL Realtional High volumn, low Latency-Daten-Streams Marktdaten, News OLTP: Bank, PoS, Credit Card Complex event processing Transaction Event Correlation HDFS Batch bulk load Social Media, Mails, Briefe, Verträge Texte, Dokumente Low value density data processing User Defined Algorithms Statistical Analysis High value data processing Filter Classify corrolate HDFS Reduced data set Kundenprofile Angereicherte Wissensablage Transaktionen Aggregate Kennzahlen Analyse Tools Smart Visualisierung Leicht durchführbare Abfragen Kundenvorlieben (Sentiments Analyse) Massendaten- Analyse Predictive Analysen Realtime und Selbstlernend Stateless Delivery Unterschiedliche Kanäle Mobile Tablet Web Office New Data Paradigma

18 AcquireOrganiseAnalyse, Decide &Deliver Semi strukturierte Daten Unstrukturierte Daten Strukturierte Daten Text Clickstream Web content Logs Profile Transaktionen Vertriebswege Absatzdaten Kundenprofile Externe Daten Social Media Blogs, Feeds, Forum NOSQL Realtional High volumn, low Latency-Daten-Streams Marktdaten, News OLTP: Bank, PoS, Credit Card Complex event processing Transaction Event Correlation HDFS Batch bulk load Social Media, Mails, Briefe, Verträge Texte, Dokumente Low value density data processing User Defined Algorithms Statistical Analysis High value data processing Filter Classify corrolate HDFS Reduced data set Kundenprofile Angereicherte Wissensablage Transaktionen Aggregate Kennzahlen Analyse Tools Smart Visualisierung Leicht durchführbare Abfragen Kundenvorlieben (Sentiments Analyse) Massendaten- Analyse Predictive Analysen Realtime und Selbstlernend Stateless Delivery Unterschiedliche Kanäle Mobile Tablet Web Office New Data Paradigma Zählen von Strings und Mustern Strukturiert Unstrukturiert Klassisches DWH Massen Daten Klassische Auswertung +

19 AcquireOrganiseAnalyse, Decide &Deliver Semi strukturierte Daten Unstrukturierte Daten Strukturierte Daten Text Clickstream Web content Logs Profile Transaktionen Vertriebswege Absatzdaten Kundenprofile Externe Daten Social Media Blogs, Feeds, Forum NOSQL Realtional High volumn, low Latency-Daten-Streams Marktdaten, News OLTP: Bank, PoS, Credit Card Complex event processing Transaction Event Correlation HDFS Batch bulk load Social Media, Mails, Briefe, Verträge Texte, Dokumente Low value density data processing User Defined Algorithms Statistical Analysis High value data processing Filter Classify corrolate HDFS Reduced data set Kundenprofile Angereicherte Wissensablage Transaktionen Aggregate Kennzahlen Analyse Tools Smart Visualisierung Leicht durchführbare Abfragen Kundenvorlieben (Sentiments Analyse) Massendaten- Analyse Predictive Analysen Realtime und Selbstlernend Stateless Delivery Unterschiedliche Kanäle Mobile Tablet Web Office New Data Paradigma Zählen von Strings und Mustern Strukturiert Unstrukturiert Klassisches DWH Massen Daten Klassische Auswertung Individualisiertere Sichten +

20 AcquireOrganiseAnalyse, Decide &Deliver Semi strukturierte Daten Unstrukturierte Daten Strukturierte Daten Text Clickstream Web content Logs Profile Transaktionen Vertriebswege Absatzdaten Kundenprofile Externe Daten Social Media Blogs, Feeds, Forum NOSQL Realtional High volumn, low Latency-Daten-Streams Marktdaten, News OLTP: Bank, PoS, Credit Card Complex event processing Transaction Event Correlation HDFS Batch bulk load Social Media, Mails, Briefe, Verträge Texte, Dokumente Low value density data processing User Defined Algorithms Statistical Analysis High value data processing Filter Classify corrolate HDFS Reduced data set Kundenprofile Angereicherte Wissensablage Transaktionen Aggregate Kennzahlen Analyse Tools Smart Visualisierung Leicht durchführbare Abfragen Kundenvorlieben (Sentiments Analyse) Massendaten- Analyse Predictive Analysen Realtime und Selbstlernend Stateless Delivery Unterschiedliche Kanäle Mobile Tablet Web Office New Data Paradigma Zählen von Strings und Mustern Strukturiert Unstrukturiert Klassisches DWH Massen Daten Klassische Auswertung Individualisiertere Sichten Direkte Kundenansprache Direkte Einflussnahme auf Prozesse Konkrete Aktionen +

21 Big Data: Infrastruktur Anforderungen AcquireOrganize Analyze

22

23 Oracles integrierte Software Lösung Oracle (DW) Oracle (OLTP) Schema-less Unstructured Data Variety Schema Information Density Oracle Hadoop Loader

24 Oracle Engineered Systems Schema-less Unstructured Data Variety Schema Information Density Big Data Appliance Exadata Database Machine Exalytics

25 Oracle Database Management System Reporting & Publishing Ad-hoc Analysis Office Integration Mobile Scorecards Interactive Dashboards BI Server Oracle Database Management System Oracle Data Warehouse Architektur für unternehmensweites Datenmanagement Data Integration Real Time & Batch Any Source Controlling Financial Marketing Sales HR BI Apps Enterprise Information Layer Operational Data Layer Information Layer Architecture Concept User View Layer Data Integration Layer InDatabase ROLAP InDatabase MOLAP Optimiertes Netzwerk Server Cluster Operating System Optimized Network Storage Hierarchy Server Cluster Exadata / Database Machine / Exalytics Reference Data ModelsData Management Concept Dynamic Data Marts Data Quality Rules Checks&Monitoring DWH Logistic Utilities Business Catalogue Technical Auditing Metadata Utilities Lifecycle Management Concept DWH System Monitoring Utilities DWH Security Utilities DWH Backup / Recovery Concept Concept Framework InDatabase Data Mining R InDatabase noSQL Big Data Solution Big Data Appliance Exadata Exalytics Hadoop

26 Oracle Produkt-Komponenten Data Warehouse / BigData OLAP (18) Advanced Analytics (18) Diagnostic+Tuning (8) BigData Connectors (1,5) NoSQL EE (8) InMemory DB Cache(18)AD Comp (9) Label Sec (9) Oracle EE (37) Partitioning (18) RAC (8) Spatial (13) BigData Appliance (400K) Exadata /DBM (ab 350K) Business Intelligence Data Integration

27 Oracle Produkt-Komponenten Data Warehouse / BigData OLAP Advanced Analytics Diagnostic+Tuning BigData Connectors NoSQL EE InMemory DB CacheAD Comp Label Sec Oracle EE Partitioning RAC (8) Spatial BigData Appliance Exadata /DBM Business Intelligence Data Integration

28 Oracle Produkt-Komponenten Data Warehouse / BigData Advanced Analytics BigData Connectors NoSQL EE BigData Appliance Oracle R Enterprise Oracle Data Mining Oracle Loader for Hadoop Oracle Direct Connector for HDFS Oracle R for Hadoop Connector

29


Herunterladen ppt "Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE."

Ähnliche Präsentationen


Google-Anzeigen