Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE.

Ähnliche Präsentationen


Präsentation zum Thema: "Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE."—  Präsentation transkript:

1 Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE

2 Big Data Buzz Word oder eine neue Dimension und Möglichkeiten Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten Cloudera Framwork Connectors in die neue Welt Oracle Loader for Hadoop und HDFS Big Data Appliance Mit Oracle R Enterprise neue Analyse-Horizonte entdecken Big Data Analysen mit Endeca Themen

3 Oracle Hadoop Loader Utilities Oracle Loader for Hadoop Oracle Direct Connector for Hadoop Distributed File System Oracle R Connector for Hadoop

4 Oracle Loader for Hadoop Map Reduce – Programm Native – Aufruf Lesen aus HDFS Formate Hive table Delimited Text Files Simple delimited Text Files Avro*-Format, binäre record files Schreiben Schreiben in File Datapump-Format CSV-Format Schreiben direkt in die Datenbank OCI -> Direct Path Load JDBC -> Convential Path Load Kann parallelisieren über Partition-Funktion + sortieren *Avro ist ein Remote Procedure Call- und Serialisierungs-Framework, das als Teil von Apaches Hadoop-Projekt entwickelt worden ist. Es verwendet JSON, um Datentypen und Protokolle zu definieren. Die eigentlichen Daten werden in einem kompakten Binärformat serialisiert. Sein Hauptverwendungszweck ist Hadoop, wo es sowohl als Serialisierungsformat für die Persistierung von Daten als auch als Datenübertragungsformat für die Kommunikation zwischen Hadoop-Knoten untereinander sowie zwischenRemote Procedure CallSerialisierungsApachesHadoopJSONHadoopPersistierung Hadoop-Services und Client-Programmen verwendet werden kann.

5 Oracle Direct Connector for Hadoop Distributed File System (HDFS) Erweiterungsfunktion zu external Tables Hdfs_stream – Routine als Preprocessor-Funktionalität Liest direkt aus HDFS Aufruf aus der Datenbank heraus Z. B.: Insert into Ziel-Tabelle select * from Ext_Tab_HDFS; Input-Formate CSV Datapump

6 Oracle R Connector for Hadoop Erweiterungs-Package (Library) für R-Engine Library(ORHC) Sinnvoll für Datenextrakt direkt aus HDFS und laden in memory der R-Engine Making Connections orhc.connect orhc.disconnect orhc.reconnect orhc.which Copying Data hdfs.upload hdfs.download hdfs.get hdfs.push hdfs.put hdfs.pull Exploring Files hdfs.attach hdfs.cd hdfs.exists hdfs.ls hdfs.mkdir hdfs.parts hdfs.pwd hdfs.rm hdfs.rmdir hdfs.sample hdfs.size Executing Scripts hadoop.exec hadoop.run

7 Big Data Connectors - Optionen Oracle 11.2 R Environment Oracle Direct Connector for HDFS (ODCH) External Table Oracle Loader for Hadoop Preprocessor: hdfs_stream CSV Data pump Parallel Execution HDFS hdfs_stream Partitioned + sorted OCI JDBC direct path convential path Hive Table CSV + / n LoaderMap Target Table Offline Mode Online Mode Oracle Server-Machine HDFS Cluster-Machines MapReduce Job Framework Oracle R Connector for Hadoop R-Package Oracle R Enterprise (Advanced Analytics) R-Package

8 Big Data Connectors Oracle 11.2 R Environment Oracle Direct Connector for HDFS (ODCH) External Table Oracle Loader for Hadoop Preprocessor: hdfs_stream CSV Data pump Parallel Execution HDFS hdfs_stream Partitioned + sorted OCI JDBC direct path convential path LoaderMap Target Table Offline Mode Online Mode Oracle Server-Machine HDFS Cluster-Machines MapReduce Job Framework Oracle R Connector for Hadoop R-Package Oracle R Enterprise (Advanced Analytics) R-Package Mails

9 Big Data Connectors – Das Demo-Szenario Oracle Direct Connector for HDFS (ODCH) Oracle 11.2 R Environment External Table Oracle Loader for Hadoop Preprocessor: hdfs_stream HDFS LoaderMap Target Table Oracle Server-Machine HDFS Cluster-Machines MapReduce Job Framework Oracle R Enterprise (Advanced Analytics) R-Package Mails FilterCSV Oracle Direct Connector for HDFS (ODCH) hdfs_stream Util Mapper Reducer Jobs lf1.hdfsm lf2.hdfsm lf3.hdfsm lf1.hdfsm lf2.hdfsm lf3.hdfsm

10 Oracle Hadoop Loader Utilities Oracle Loader for Hadoop Oracle Direct Connector for Hadoop Distributed File System Oracle R Connector for Hadoop

11 Mails / Blogs / Texte Bewertung / Äusserungen zu Produkten des Marktes Cloudera Framwork Connectors in die neue Welt Oracle Loader for Hadoop und HDFS Big Data Appliance Mit Oracle R Enterprise neue Analyse-Horizonte entdecken Big Data Analysen mit Endeca Das Beispiel- Szenario

12 Cross-Segment-Dienstleister Bäumärkte Vermittlung von Handwerkerdienstleitungen Finanzierungs-Dienstleistungen Mails / Blogs / Texte Bewertung / Äusserungen zu Produkten des Marktes Die S ERVICE GmbH

13 13 D_ZEIT DATUM_ID TAG_DES_MONATS TAG_DES_JAHRES WOCHE_DES_JAHRES MONATS_NUMMER MONAT_DESC QUARTALS_NUMMER JAHR_NUMMER ZEIT_ID D_REGION REGION_ID ORTNR ORT KREISNR KREIS LANDNR LAND REGIONNR REGION D_ARTIKEL ARTIKEL_NAME GRUPPE_NR GRUPPE_NAME SPARTE_NAME SPARTE_NR ARTIKEL_ID D_VERTRIEBSKANAL KANAL_ID VERTRIEBSKANAL KANALBESCHREIBUNG VERANTWORTLICH KLASSE F_UMSATZ ARTIKEL_ID KUNDEN_ID ZEIT_ID REGION_ID KANAL_ID UMSATZ MENGE UMSATZ_GESAMT PK FK D_KUNDE KUNDEN_ID KUNDENNR GESCHLECHT VORNAME NACHNAME TITEL ANREDE GEBDAT BRANCHE WOHNART KUNDENART BILDUNG ANZ_KINDER EINKOMMENSGRUPPE ORTNR NUMBER, BERUFSGRUPPE STATUS STRASSE TELEFON TELEFAX KONTAKTPERSON FIRMENRABATT BERUFSGRUPPEN_NR BILDUNGS_NR EINKOMMENS_NR WOHNART_NR HAUSNUMMER PLZ ORT KUNDENKARTE ZAHLUNGSZIEL_TAGE TOTAL TOTAL_NR Bekannte Daten

14 Der Anwendungsfall Neue Information Umsatzzahlen, ProduktlistenProdukte Feedback-System Mails DWH

15 Der Anwendungsfall Umsatzzahlen, ProduktlistenProdukte Feedback-System Mails DWH Neue Information

16 Der Anwendungsfall Mails DWH Filter / Suchstrings Zählen / Statistik / Mining

17 Mails, Blogs etc

18 Neue Informationen Wie wird die Qualität von gekauften Artikeln bewertet? Was bedeutet Bewertung? Gibt es ein Klassifizierungssystem? Was ist gut, was ist schlecht? Wie kann Bewertung gemessen werden? Können Begriffe klassifiziert werden? Wann ist ein Begriff positiv / wann negativ? Welche Produkte prägen das Image der Firma mit? Neue Informationen über Wahrnehmung und Wirkung saustark sehr gut hervorragend klasse super super Sache geil affengeil passgenau eine Zumutung Schrott 11 Katzenjammer Müll Sch Stimmungslegende

19 saustark sehr gut hervorragend klasse super super Sache geil affengeil passgenau eine Zumutung Schrott 11 Katzenjammer Müll Sch Stimmungslegende saustark sehr gut hervorragend klasse super super Sache geil affengeil passgenau eine Zumutung Schrott 11 Katzenjammer Müll Sch Stimmungslegende Meldungs- und Bewertungs-Mails zu Produkten Produkt (Nr, Name) Standardisierter Meldungstext Freeform für Kommentare saustark sehr gut hervorragend klasse super super Sache geil affengeil passgenau eine Zumutung Schrott 11 Katzenjammer Müll Sch Stimmungslegende Ja Verpackung besch. Ja Verpackung falsch Ja Meldung Produkt_Nr: 75 -> 17 Falsche_Beratung -> Das ist Mieskram.

20 Schritt 1 Daten in das Hadoop Distributed File System laden Hadoop fs –put mails input

21 Anzeigen lassen

22 2. Schritt: Die Filter bereitstellen Feine -VersionStrassen -Version Suchreihenfolge so: 1.gut 2.sehr gut 1.sehr gut 2.gut oder so: Hadoop fs –put filter.txt input

23 Auswahl der Filterkriterien Begriffswahl abhängig von der sozialen Gruppe und vorherrschenden Sprachmittel der Gruppen Statistische Verwendungshäufigkeit bestimmter Wörter Gewichtung von Begriffen innerhalb einer positiv/negativ-Skala Soziologische und linguistische Analysen positiv negativ stark schwach stark schwach

24 Die zu analysierenden Mails im HDFS

25 3. Schritt Der HADOOP Loader- Aufruf MapReduce - Steps

26

27 4. Schritt: External Table Direct Access HDFS

28 Big Data Connectors – Das Demo-Szenario Oracle Direct Connector for HDFS (ODCH) Oracle 11.2 R Environment External Table Oracle Loader for Hadoop Preprocessor: hdfs_stream HDFS LoaderMap Target Table Oracle Server-Machine HDFS Cluster-Machines MapReduce Job Framework Oracle R Enterprise (Advanced Analytics) R-Package Mails FilterCSV Oracle Direct Connector for HDFS (ODCH) hdfs_stream Util Mapper Reducer Jobs lf1.hdfsm lf2.hdfsm lf3.hdfsm lf1.hdfsm lf2.hdfsm lf3.hdfsm

29 Weitere Schritte create table Bewertung (Produkt_Nr number, Fehler_Nr number, Bewertung varchar2(50), Treffer number) As select * from mail_wert; PRODUKT_NR FEHLER_NR BEWERTUNG TREFFER Bewertung ARTIKEL_NAME ARTIKEL_ID GRUPPE_NR GRUPPE_NAME SPARTE_NAME SPARTE_NR D_Artikel NUTZ_NR NUTZ_WERT Nutzbarkeit

30 Bewertungsstatistik Berechne für jeden Artikel den Mittelwert aller Bewertungen über eine Skala von

31 Weitere Fragen Welchen Anteil haben die Produkte mit einer Bewertung unter 11 am Gesamtumsatz? Wie verteilen sich die Produkte mit einer Bewertung von unter 11 auf die Regionen? Wie verteilen sich die Produkte mit einer Bewertung von unter 11 auf die Vertriebskanäle? positiv negativ stark schwach stark schwach

32

33


Herunterladen ppt "Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher, Detlef Schroeder DATA WAREHOUSE."

Ähnliche Präsentationen


Google-Anzeigen