Evolution statt Revolution Willfried Färber MVP SQL Server.

Präsentation zum Thema: "Evolution statt Revolution Willfried Färber MVP SQL Server."—  Präsentation transkript:

1 Evolution statt Revolution Willfried Färber MVP SQL Server

2 SSIS 2008: Alles wird besser Der erste Schritt: Import und Export Assistent Eine neue Möglichkeit in der Script Task Für Profis: Die neue Architektur des Datenflusses Datenprofiling Änderungen beim Lookup SCD für Fortgeschrittene

3 Erfassung von Datenänderungen Dump für alle Fälle Fragen und Antworten

4 Das sollte kein Neuland sein … Sie wissen was ETL ist Sie kennen bereits SSIS aus dem SQL Server 2005 Sie wissen warum SSIS ein wichtiges Werkzeug ist Ich zeige Ihnen Betacode Wahrscheinlich reicht die Zeit nicht ….. Sie bekommen die Folien zum Nachlesen

5 Noch nicht offiziell angekündigt

6 ForEach Database Enumerator Benutzt OLEDB als Verbindungsmanager Server der durchlaufen werden soll kann konfiguriert werden Sehr interessantes Benutzerinterface Nicht jede Innovation setzt sich durch

7 DBENUM_CUSTOM = 0 DBENUM_SYSTEMONLY = 1 DBENUM_USERONLY = 2 DBENUM_ALL = 3

8 Die DataReader Datenquelle verschwindet Heißt jetzt ADO.Net Datenquelle Es gibt jetzt auch ein ADO.Net Datenziel Kein Scriptkode für ODBC Datenquellen mehr notwendig ADO.Datenquelle / Ziel ist komfortabel Allerdings 5 bis 10 Prozent langsamer als OLE.DB Bestimme Tasks brauchen explizit die ADO.Net Datenquelle

9 ADO.Net Source Adapter

10 ADO.Net Destination Adapter für ODBC

11 Für einfache Import- und Exportvorgänge das Richtige Alle Datenquellen und Ziele aus SSIS werden unterstützt Komplett Assistenten gesteuert Auch beim Kopieren von vielen Tabellen effektiv Ganz geringe Eingriffsmöglichkeiten für eine Transformation

12

13

14

15 Die neue Scriptumgebung

16 C# Scrip Transform Aufruf eines Webservices

17 Jetzt Neue Implementierung des Thread Schedulers Verbesserte Parallelisierung der Verarbeitung im Datenfluss Deutliche Verbesserung bei der Performance und bei der Ausnutzung vorhandener Prozessoren Je nach Design des Datenflusses um bis zu 50 % Leistungssteigerung Weniger Zeitaufwand für manuelles Tuning Der Datenfluss funktioniert einfach ….

18

19

20

21 SSIS 2005 SSIS 2008 Bis zu 80% schneller* * Dieser Wert kann natürlich variieren

22 Wie sehen die Daten wirklich aus Genaues kennen der Daten ist im ETL Prozess sehr wichtig Bisher durch Abfragen auf die Daten Datenquellensicht konnte für einfache Fälle verwendet werden Jetzt gibt es eine eigene Data Profiling Task Erfordert eine ADO.Net Datenquelle Funktioniert nur mit dem SQL Server

23

24 Daten Profiling Task Oberfläche

25 Option: Quick Profile

26 Verteilung der Werte in einer Spalte

27 Wielviel Werte in einer Spalte sind NULL

28 Column Pattern Profile

29 Die Referenzdaten können von jeder beliebigen Datenquelle geladen werden Der Cache für die Suche-Transformation kann explizit gespeichert werden Der Cache kann zu jedem beliebigen Zeitpunkt geladen werden. Kann sehr schnell gelesen und geschrieben werden (Rohdatenformat mit Ergänzungen) Es gibt einen eigenen Nicht gefunden Datenpfad

30 Erster Schritt Der Cache wird von einer beliebigen Datenquelle gefüllt und gespeichert Weitere Verarbeitung Der Cache wird von der Platte geladen customer.csv Ablegen des Caches auf der Platte oder im Speicher Fact Sales Einlesen des Caches von der Platte oder Nutzung im Speicher Der Cache bleibt bestehen und kann mehrfach genutzt werden

31

32 Der Langsam veränderliche Dimension Assistent hat einen schlechten Ruf Kann durch geschickte Ausnutzung der Möglichkeiten auch mit großen Datenmengen umgehen Allerdings ist dafür Handarbeit notwendig Der Merge Befehl des SQL Servers 2008 kann für SCD Typ 1 und SCD Typ2 verwendet werden. Aufruf des TSQL Befehls in der Ablaufsteuerung Ausführen SQL Task

33 Steht in jeder Version des SQL Servers 2008 zur Verfügung Kann natürlich auch außerhalb von SSIS verwendet werden Führt Update, Insert oder Delete innerhalb eines Befehls aus Da nur ein Durchlauf durch die Zieltabelle notwendig ist, meistens deutlich effektiver als getrennte Befehle Kann bei größeren Datenmengen die SCD Transformation ersetzen

34

35

36

37

38

39 Das Schlüsselwort heißt Change Data Capture Nur geänderte Datensätze werden verarbeitet Steht im SQL Server 2008 zur Verfügung Kann natürlich auch für SSIS genutzt werden

40 Schalter bei DTExec und DTExecUI /Dump Erzeugt immer einen Dump bei einem Fehler /DumpOnError Erzeugt nur einen Dump bei einem oder mehreren bestimmten Fehlern Eintrag in der Registry Dump wird in zwei Formaten erzeugt *.mdmp – binäres File für den Microsoft Support *.tmp – textbasierter Dump

41 Gleiche Technik wie Dr. Watson Der Microsoft Support kann jetzt wirklich schnell helfen Für schwierige Fälle Beim Resourcenverbrauch Bei logischen Problemen Bei hartnäckigen Problemen mit der Laufzeitumgebung Das Dumpfile legt Ihre Geheimnisse auf den Tisch

42 Dumpfile wird unter %ProgramFiles%\Microsoft SQL Server\100\Shared\ErrorDumps abgelegt *.tmp Format ist Text *.mdmp für den Microsoft Support Informationen über Environment Dynamic-Link Libraries Letzten Meldungen aus einem Ringpuffer

43 Es hat sich mehr getan, als man glaubt SSIS profitiert von Erweiterungen in der Relationalen Datenbank Change Data Capture Merge Jede Menge unsichtbare Verbesserungen Optimierter Datenfluss Dumpfile Sichtbare Änderungen Verbesserungen bei der Suche Transformation Neue Scriptumgebung …..

44 Willfried Färber MVP für den SQL Server wfaerber@web.de wfaerber@web.de

45 http://www.sqlpass.de

46 Wir freuen uns auf Ihre Fragen: Technische Experten stehen Ihnen während der gesamten Veranstaltung in der Haupthalle zur Verfügung.

47 Microsoft BI www.microsoft.com/bi www.microsoft.com/bi SQL Server Integration Services http://www.microsoft.com/sql/technologies/integration/default.mspx http://www.microsoft.com/sql/technologies/integration/default.mspx Guided Tours for SSIS http://www.microsoft.com/sql/technologies/integration/tours.mspx http://www.microsoft.com/sql/technologies/integration/tours.mspx Technical Portal for SSIS http://www.microsoft.com/technet/prodtechnol/sql/2005/technologies/ssisvcs.mspx http://www.microsoft.com/technet/prodtechnol/sql/2005/technologies/ssisvcs.mspx Developer Portal for SSIS http://msdn2.microsoft.com/en-us/sql/aa336312.aspx http://msdn2.microsoft.com/en-us/sql/aa336312.aspx

48 Technical Communities, Webcasts, Blogs, Chats & User Groups http://www.microsoft.com/communities/default.mspx Microsoft Developer Network (MSDN) & TechNet http://microsoft.com/msdn http://microsoft.com/technet Trial Software and Virtual Labs http://www.microsoft.com/technet/downloads/trials/default.mspx Microsoft Learning and Certification http://www.microsoft.com/learning/default.mspx

49 © 2008 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.