Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Datenbanksysteme 3 Sommer 2003 Datenübernahme - 1 Worzyk FH Anhalt Data Warehouse Daten übernehmen und vorbereiten.

Ähnliche Präsentationen


Präsentation zum Thema: "Datenbanksysteme 3 Sommer 2003 Datenübernahme - 1 Worzyk FH Anhalt Data Warehouse Daten übernehmen und vorbereiten."—  Präsentation transkript:

1 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 1 Worzyk FH Anhalt Data Warehouse Daten übernehmen und vorbereiten

2 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 2 Worzyk FH Anhalt Datenstruktur im Data Warehouse Star - Schema Snowflake - Schema Starflake - Schema

3 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 3 Worzyk FH Anhalt Star Schema Verkaufs- transaktionen Zeit Produkte Lieferanten Kunde Ort FaktenDimensionsdaten

4 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 4 Worzyk FH Anhalt Snowflake Schema Verkaufs- transaktionen Zeit ProdukteOrt FaktenSnowflake Dimensionsdaten Woche Monat SSV Oster- verkauf Region Art Farbe

5 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 5 Worzyk FH Anhalt Starflake Schema Verkaufs- transaktionen Zeit ProdukteOrt FaktenSnowflake Dimensionsdaten Woche Monat SSV Oster- verkauf Region Art Farbe Dimensionsdaten Kunde Ort Zeit Produkte Lieferanten

6 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 6 Worzyk FH Anhalt Oracle Data Mining Architektur Datenbank z.B. Oracle Data Warehouse Oracle Warehouse Builder 8i 8.1.6Repository Net8 OWB Client Darwin Client Oracle Intelligent WebHouse Darwin OCI ODBC Sun Solaris HP UX

7 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 7 Worzyk FH Anhalt Beispieldatenbank Quelle

8 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 8 Worzyk FH Anhalt Beispieldatenbank OWB

9 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 9 Worzyk FH Anhalt Beispieldatenbank Quelle

10 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 10 Worzyk FH Anhalt Beispieldatenbank Quelle

11 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 11 Worzyk FH Anhalt Beispieldatenbank Quelle

12 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 12 Worzyk FH Anhalt Beispieldatenbank Quelle

13 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 13 Worzyk FH Anhalt Beispieldatenbank Quelle

14 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 14 Worzyk FH Anhalt Beispieldatenbank Ziel (Warehouse Schema)

15 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 15 Worzyk FH Anhalt Beispieldatenbank OWB Ziel (Faktentabelle)

16 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 16 Worzyk FH Anhalt Beispieldatenbank OWB Ziel (Dimensionen) Levels und Hierarchien Beispiel: Zeit H1: YearL->QuarterL->MonthL->WeekL->DayL H2: YearL->WeekL->DayL

17 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 17 Worzyk FH Anhalt Beispieldatenbank OWB Ziel (Warehouse Schema)

18 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 18 Worzyk FH Anhalt Beispieldatenbank Ziel (Warehouse Schema)

19 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 19 Worzyk FH Anhalt Tabellen ta_probant probant aufgaben_nr ergebnis_1 ergebnis_2 ergebnis_3 ergebnis_4 richtig datum ip_adresse ta_aufgaben aufgaben_nr augfaben_text loesung_1 loesung_2 loesung_3 loesung_4 kommentar_1 kommentar_2 kommentar_3 kommentar_4 richtige_loesung ta_mathetest_historie datum text ta_seite1 datum ip_adresse

20 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 20 Worzyk FH Anhalt Beispieldatenbank Quelle -> Ziel channel product

21 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 21 Worzyk FH Anhalt Beispiel Mathetest Wie sehen die zeitlichen Verläufe aus Wie lange braucht der einzelnen Probant pro Frage Welche Einträge sind plausibel Welche Daten der Eltern sind plausibel? Wie korrelieren die Antworten auf die Testfragen?

22 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 22 Worzyk FH Anhalt Rohdaten Apr :28PM deeeeeeeee5 17Apr :29PM Apr :29PM Apr :07PM Apr :41PM Jul :34PM 29.7´5429.9´523 54Sep :20AM Sep :05PM Oct :54PM Oct :29PM ab0 3Jan :46PM ab0 54Jan :57PM

23 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 23 Worzyk FH Anhalt Import der Faktendaten Sybase -> Oracle 1.select – insert 2.dump - restore

24 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 24 Worzyk FH Anhalt Sybase

25 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 25 Worzyk FH Anhalt

26 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 26 Worzyk FH Anhalt

27 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 27 Worzyk FH Anhalt

28 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 28 Worzyk FH Anhalt Faktentabelle drop table ta_zeitreihe; create table ta_zeitreihe( schluessel number(6) not null, probant char(24) not null, aufgaben_nr number(3) not null, ergebnis_1 number(1) null, ergebnis_2 number(2) null, ergebnis_3 number(1) null, ergebnis_4 number(4) null, richtig char(1) not null, datum date null, ip_adresse char(15) null, jahrestag char(7) null );

29 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 29 Worzyk FH Anhalt select - insert Faktentabelle select "insert into ta_zeitreihe values (sq_zeitreihe.nextval,"+"'" +probant+"',"+convert(char(2),aufgaben_nr)+"," +convert(char(1),isnull(ergebnis_1,0))+"," +convert(char(1),isnull(ergebnis_2,0))+"," +convert(char(1),isnull(ergebnis_3,0))+"," +convert(char(1),isnull(ergebnis_4,0))+",'"+richtig +"',to_date('"+convert(char(12),datum,104)+convert(char(8),datu m,108) +"','dd.mm.yyyy hh24:mi:ss')" +",'"+ip_adresse+"');" from ta_probant

30 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 30 Worzyk FH Anhalt SQL*Loader Übersicht SQL*Loader Input Datenfiles Log File Loader Control File Bad File Discard File Daten bank

31 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 31 Worzyk FH Anhalt Funktionen von SQL*Loader Mehrere Eingabedateien gleichzeitig SQL-Funktionen für die Eingabefelder Laden mehrerer Tabellen in einem Lauf Zusammenfassen mehrerer Zeilen zu einem logischen Datensatz Generierung von Schlüsseln Eingabe von Platte, Band, named pipes

32 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 32 Worzyk FH Anhalt Control file Enthält –Pfade für Eingabe, Log, fehlerhafte Datensätze, verworfene Datensätze –Struktur der Eingabedaten –Feldprüfungen –Zieltabellen –Vorschriften zur Fehlerbehandlung wird beim Aufruf übergeben

33 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 33 Worzyk FH Anhalt Control file Beispiel LOAD DATA INFILE 'example.dat' INTO TABLE emp (empno POSITION(01:04) INTEGER EXTERNAL, ename POSITION(06:15) CHAR, job POSITION(17:25) CHAR, mgr POSITION(27:30) INTEGER EXTERNAL, sal POSITION(32:39) DECIMAL EXTERNAL, comm POSITION(41:48) DECIMAL EXTERNAL,...

34 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 34 Worzyk FH Anhalt Control file Beispiel LOAD DATA INFILE * INTO TABLE DEPT FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' (DEPTNO, DNAME, LOC) BEGINDATA 12,RESEARCH,"SARATOGA" 10,"ACCOUNTING",CLEVELAND 11,"ART",SALEM 21,"SALES",PHILA. 22,"SALES",ROCHESTER 42,"INT'L","SAN FRAN"

35 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 35 Worzyk FH Anhalt Control file Beispiel load data infile 'example.dat' "fix 11" badfile 'example.bad' discardfile 'example.dsc' discardmax 999 truncate into table example (rown position(1-5), cmnt position(6-10))

36 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 36 Worzyk FH Anhalt Filtern der Datensätze Daten bank Eingabe SQL*Loader Feldprüfung SQL*Loader Auswahl DBMS Bad File Discard File

37 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 37 Worzyk FH Anhalt Syntax control file -- comment OPTIONS (options) DATACONTINUE_LOAD LOAD infile_clause READBUFFERS n INSERT APPEND REPLACE Concatenation_clause BEGINDATAPRESERVE BLANKS into_table_clause

38 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 38 Worzyk FH Anhalt Syntax control file * INFILE infile_clause::= input_filename BADFILEbad_file_name DISCARDFILEdiscard_file_nameDISCARDS DISCARDMAX n

39 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 39 Worzyk FH Anhalt Syntax control file COTINUEIF concatenation_clause::= n ( (n) CONCATENATE THIS NEXT ) pos_spec_operator char_string

40 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 40 Worzyk FH Anhalt Syntax control file pos_spec_operator::= ) : ( start end - = != <> =

41 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 41 Worzyk FH Anhalt Syntax control file field_condition FIELDS column_name INTO TABLE tablename INSERT APPEND REPLACE WHEN AND delimiter_spec (, column_spec) into_table_clause::=

42 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 42 Worzyk FH Anhalt Syntax control file delimiter_spec::= termination_spec enclosure_spec termination_specenclosure_spec OPTIONALLY TERMINATED by WHITESPACE char ENCLOSED by char AND char

43 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 43 Worzyk FH Anhalt Syntax control file column_spec::= POSITIONpos_specdatatype_spec ( *) +n NULLIF field_conditionDEFAULTIF field_condition sql_string

44 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 44 Worzyk FH Anhalt Syntax control file datatype_spec::= INTEGER FLOAT ( precision delimiter_spec (length) EXTERNAL DECIMAL, scale ) (length) EXTERNAL CHAR (length) DATE (length) mask

45 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 45 Worzyk FH Anhalt Aufruf des SQL*Loader SQLLDR80 schlüsselwort=wert [, schlüsselwort=wert ] Gültige Schlüsselworte: USERID - ORACLE userid/password CONTROL - controlfile LOG - logfile BAD - badfile DATA - datafile LOAD - Anzahl der einzulesenden logischen Datensätze ERRORS - Anzahl der erlaubten Fehler

46 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 46 Worzyk FH Anhalt Mathetest

47 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 47 Worzyk FH Anhalt Mathetest Auswertung pro Stunde select to_char(datum,'hh24'), count(*) from ta_zeitreihe group by to_char(datum,'hh24') order by to_char(datum,'hh24');

48 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 48 Worzyk FH Anhalt Mathetest

49 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 49 Worzyk FH Anhalt Mathetest Auswertung pro Wochentag select to_char(datum,'day'), count(*), to_char(datum,'d') from ta_zeitreihe group by to_char(datum,'day'), to_char(datum,'d') order by to_char(datum,'d');

50 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 50 Worzyk FH Anhalt Mathetest

51 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 51 Worzyk FH Anhalt Mathetest

52 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 52 Worzyk FH Anhalt Mathetest Faktentabelle –Alle Einträge der Originaltabelle und zusätzlich ein eindeutiger Zähler und Tagesnummer Dimensionstabelle –Jeder Tag seit Beginn des Tests mit: fortlaufende Nummer, Tagesnummer, Monat, Jahr, Datum Dimensionstabelle –zu jedem Eintrag in der Faktentabelle: Wochentag, Stunde, Tagesnummer

53 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 53 Worzyk FH Anhalt Dimensionstabelle TAG DATUM JAHREST MONAT

54 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 54 Worzyk FH Anhalt Datumsfunktionen von Oracle ADD_MONTHS Syntax ADD_MONTHS(d,n) Purpose Returns the date d plus n months. The argument n can be any integer. If d is the last day of the month or if the resulting month has fewer days than the day component of d, then the result is the last day of the resulting month. Otherwise, the result has the same day component as d.

55 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 55 Worzyk FH Anhalt Datumsfunktionen von Oracle LAST_DAY Syntax LAST_DAY(d) Purpose Returns the date of the last day of the month that contains d. You might use this function to determine how many days are left in the current month.

56 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 56 Worzyk FH Anhalt Datumsfunktionen von Oracle NEXT_DAY Syntax NEXT_DAY(d, char) Purpose Returns the date of the first weekday named by char that is later than the date d. The argument char must be a day of the week in your session's date language-either the full name or the abbreviation. The minimum number of letters required is the number of letters in the abbreviated version; any characters immediately following the valid abbreviation are ignored. The return value has the same hours, minutes, and seconds component as the argument d.

57 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 57 Worzyk FH Anhalt Datumsfunktionen von Oracle ROUND Syntax ROUND(d[,fmt]) Purpose Returns d rounded to the unit specified by the format model fmt. If you omit fmt, d is rounded to the nearest day. See "ROUND and TRUNC" for the permitted format models to use in fmt.

58 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 58 Worzyk FH Anhalt Datumsformate in Oracle

59 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 59 Worzyk FH Anhalt Datumsfunktionen von Sybase dateadd - adds an interval to a specified date. It takes three arguments-- the datepart, a number, and a date. The result is a datetime value equal to the date plus the number of date parts. select newpubdate = dateadd(day, 21, pubdate) from titles

60 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 60 Worzyk FH Anhalt Datumsfunktionen von Sybase datediff - calculates the number of date parts between two specified dates. It takes three arguments. The first is a date part. The second and third are dates, either datetime or smalldatetime values. The result is a signed integer value equal to date2 - date1, in date parts. select newdate = datediff(day, pubdate, getdate()) from titles

61 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 61 Worzyk FH Anhalt Datumsfunktionen von Sybase datename - produces the specified datepart (the first argument) of the specified date (the second argument) as a character string. Takes either a datetime or smalldatetime value as its second argument. select datename(month getdate()) November

62 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 62 Worzyk FH Anhalt Datumsfunktionen von Sybase datepart - produces the specified datepart (the first argument) of the specified date (the second argument) as an integer. Takes either a datetime or smalldatetime value as its second argument. select datepart(month getdate()) 11

63 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 63 Worzyk FH Anhalt

64 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 64 Worzyk FH Anhalt Datenkonvertierung Sybase convert (datatype [(length) | (precision[, scale])], expression[, style]) Converts between a wide variety of datatypes and reformats date/time and money data for display purposes.

65 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 65 Worzyk FH Anhalt

66 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 66 Worzyk FH Anhalt Dimensionstabelle TAG DATUM JAHREST MONAT

67 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 67 Worzyk FH Anhalt Dimensionstabelle drop table ta_Dim_zeit_1; create table ta_dim_zeit_1( tag_nr number(3) not null, Datum date null, jahrestag char(7), monat number(2) ); select to_number(to_char(max(datum),'J')) - to_number(to_char(min(datum),'J'))+1 from ta_zeitreihe; insert into ta_dim_zeit_1 (tag_nr) select schluessel from ta_zeitreihe where schluessel <= 382

68 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 68 Worzyk FH Anhalt Dimensionstabelle select to_char(min(datum),'J'), min(datum) from ta_zeitreihe; update ta_dim_zeit_1 set datum = to_date(to_char( tag_nr,' '),'J'); update ta_dim_zeit_1 set jahrestag = to_char(datum,'YYYY')||to_char(datum,'ddd'), monat = to_char(datum,'MM');

69 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 69 Worzyk FH Anhalt Auswertung pro Tag select to_char(d1.datum, 'yy.mm.dd'), count(z.schluessel) "Anzahl" from ta_dim_zeit_1 d1, ta_zeitreihe z where d1.jahrestag = z.jahrestag (+) group by to_char(d1.datum, 'yy.mm.dd'), d1.jahrestag order by to_char(d1.datum, 'yy.mm.dd');

70 Datenbanksysteme 3 Sommer 2003 Datenübernahme - 70 Worzyk FH Anhalt


Herunterladen ppt "Datenbanksysteme 3 Sommer 2003 Datenübernahme - 1 Worzyk FH Anhalt Data Warehouse Daten übernehmen und vorbereiten."

Ähnliche Präsentationen


Google-Anzeigen