Evolution statt Revolution Willfried Färber MVP SQL Server

SSIS 2008: Alles wird besser Der erste Schritt: Import und Export Assistent Eine neue Möglichkeit in der Script Task Für Profis: Die neue Architektur des Datenflusses Datenprofiling Änderungen beim Lookup SCD für Fortgeschrittene

Erfassung von Datenänderungen Dump für alle Fälle Fragen und Antworten

Das sollte kein Neuland sein … Sie wissen was ETL ist Sie kennen bereits SSIS aus dem SQL Server 2005 Sie wissen warum SSIS ein wichtiges Werkzeug ist Ich zeige Ihnen Betacode Wahrscheinlich reicht die Zeit nicht ….. Sie bekommen die Folien zum Nachlesen

Noch nicht offiziell angekündigt

ForEach Database Enumerator Benutzt OLEDB als Verbindungsmanager Server der durchlaufen werden soll kann konfiguriert werden Sehr interessantes Benutzerinterface Nicht jede Innovation setzt sich durch

DBENUM_CUSTOM = 0 DBENUM_SYSTEMONLY = 1 DBENUM_USERONLY = 2 DBENUM_ALL = 3

Die DataReader Datenquelle verschwindet Heißt jetzt ADO.Net Datenquelle Es gibt jetzt auch ein ADO.Net Datenziel Kein Scriptkode für ODBC Datenquellen mehr notwendig ADO.Datenquelle / Ziel ist komfortabel Allerdings 5 bis 10 Prozent langsamer als OLE.DB Bestimme Tasks brauchen explizit die ADO.Net Datenquelle

ADO.Net Source Adapter

ADO.Net Destination Adapter für ODBC

Für einfache Import- und Exportvorgänge das Richtige Alle Datenquellen und Ziele aus SSIS werden unterstützt Komplett Assistenten gesteuert Auch beim Kopieren von vielen Tabellen effektiv Ganz geringe Eingriffsmöglichkeiten für eine Transformation

Die neue Scriptumgebung

C# Scrip Transform Aufruf eines Webservices

Jetzt Neue Implementierung des Thread Schedulers Verbesserte Parallelisierung der Verarbeitung im Datenfluss Deutliche Verbesserung bei der Performance und bei der Ausnutzung vorhandener Prozessoren Je nach Design des Datenflusses um bis zu 50 % Leistungssteigerung Weniger Zeitaufwand für manuelles Tuning Der Datenfluss funktioniert einfach ….

SSIS 2005 SSIS 2008 Bis zu 80% schneller* * Dieser Wert kann natürlich variieren

Wie sehen die Daten wirklich aus Genaues kennen der Daten ist im ETL Prozess sehr wichtig Bisher durch Abfragen auf die Daten Datenquellensicht konnte für einfache Fälle verwendet werden Jetzt gibt es eine eigene Data Profiling Task Erfordert eine ADO.Net Datenquelle Funktioniert nur mit dem SQL Server

Daten Profiling Task Oberfläche

Option: Quick Profile

Verteilung der Werte in einer Spalte

Wielviel Werte in einer Spalte sind NULL

Column Pattern Profile

Die Referenzdaten können von jeder beliebigen Datenquelle geladen werden Der Cache für die Suche-Transformation kann explizit gespeichert werden Der Cache kann zu jedem beliebigen Zeitpunkt geladen werden. Kann sehr schnell gelesen und geschrieben werden (Rohdatenformat mit Ergänzungen) Es gibt einen eigenen Nicht gefunden Datenpfad

Erster Schritt Der Cache wird von einer beliebigen Datenquelle gefüllt und gespeichert Weitere Verarbeitung Der Cache wird von der Platte geladen customer.csv Ablegen des Caches auf der Platte oder im Speicher Fact Sales Einlesen des Caches von der Platte oder Nutzung im Speicher Der Cache bleibt bestehen und kann mehrfach genutzt werden

Der Langsam veränderliche Dimension Assistent hat einen schlechten Ruf Kann durch geschickte Ausnutzung der Möglichkeiten auch mit großen Datenmengen umgehen Allerdings ist dafür Handarbeit notwendig Der Merge Befehl des SQL Servers 2008 kann für SCD Typ 1 und SCD Typ2 verwendet werden. Aufruf des TSQL Befehls in der Ablaufsteuerung Ausführen SQL Task

Steht in jeder Version des SQL Servers 2008 zur Verfügung Kann natürlich auch außerhalb von SSIS verwendet werden Führt Update, Insert oder Delete innerhalb eines Befehls aus Da nur ein Durchlauf durch die Zieltabelle notwendig ist, meistens deutlich effektiver als getrennte Befehle Kann bei größeren Datenmengen die SCD Transformation ersetzen

Das Schlüsselwort heißt Change Data Capture Nur geänderte Datensätze werden verarbeitet Steht im SQL Server 2008 zur Verfügung Kann natürlich auch für SSIS genutzt werden

Schalter bei DTExec und DTExecUI /Dump Erzeugt immer einen Dump bei einem Fehler /DumpOnError Erzeugt nur einen Dump bei einem oder mehreren bestimmten Fehlern Eintrag in der Registry Dump wird in zwei Formaten erzeugt *.mdmp – binäres File für den Microsoft Support *.tmp – textbasierter Dump

Gleiche Technik wie Dr. Watson Der Microsoft Support kann jetzt wirklich schnell helfen Für schwierige Fälle Beim Resourcenverbrauch Bei logischen Problemen Bei hartnäckigen Problemen mit der Laufzeitumgebung Das Dumpfile legt Ihre Geheimnisse auf den Tisch

Dumpfile wird unter %ProgramFiles%\Microsoft SQL Server\100\Shared\ErrorDumps abgelegt *.tmp Format ist Text *.mdmp für den Microsoft Support Informationen über Environment Dynamic-Link Libraries Letzten Meldungen aus einem Ringpuffer

Es hat sich mehr getan, als man glaubt SSIS profitiert von Erweiterungen in der Relationalen Datenbank Change Data Capture Merge Jede Menge unsichtbare Verbesserungen Optimierter Datenfluss Dumpfile Sichtbare Änderungen Verbesserungen bei der Suche Transformation Neue Scriptumgebung …..

Willfried Färber MVP für den SQL Server

Wir freuen uns auf Ihre Fragen: Technische Experten stehen Ihnen während der gesamten Veranstaltung in der Haupthalle zur Verfügung.

Microsoft BI SQL Server Integration Services Guided Tours for SSIS Technical Portal for SSIS Developer Portal for SSIS

Technical Communities, Webcasts, Blogs, Chats & User Groups Microsoft Developer Network (MSDN) & TechNet Trial Software and Virtual Labs Microsoft Learning and Certification

© 2008 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.