Performanceanforderungen einer BI-Applikation Erläutert anhand von Praxisbeispielen.

Präsentation zum Thema: "Performanceanforderungen einer BI-Applikation Erläutert anhand von Praxisbeispielen."—  Präsentation transkript:

1 Performanceanforderungen einer BI-Applikation Erläutert anhand von Praxisbeispielen

2 13.06.2015 SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold

3 Bronze Sponsor SQLSaturday Rheinland 201513.06.2015

4 Silver Sponsor SQLSaturday Rheinland 201513.06.2015

5 Gold Sponsor SQLSaturday Rheinland 201513.06.2015

6 You rock! SQLSaturday Rheinland 201513.06.2015

7 Save the date! 13.06.2015SQLSaturday Rheinland 2015

8 Agenda 1.Zu meiner Person 2.Motivation für das Thema 3.Vorstellung des Praxissystems AdvA 4.Einflussfaktoren Ladeperformance 5.Einflussfaktoren Abfrageperformance 6.Zusammenspiel Lade-/Abfrageperformance 7.Frühzeitige Analyse der Performance SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015

9 Zu meiner Person Name: Bastian Sold Geboren 29.03.1993, Leverkusen Unternehmen: Pharmakonzern seit 01.10.2012 Abteilung: Financial Reporting & Analytics Projektumfeld: Advanced Analytics seit 08.05.2013 FOTO SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 1

10 Motivation für das Thema Wandel der IT BI stetig bedeutsamer für unternehmensstrategische Entscheidungen Abfrageperformance stellt präsentes Thema dar Quelle: BARC „Der Markt für Business Intelligence in Deutschland 2013“ SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 2

11 SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Vorstellung des Praxissystems AdvA Seite 3 Live seit April 2012 Finanzdaten von Bayer HealthCare SQL Server 2008 R2 Früher: Ca. 50 Controller Heute: über 600 Nutzer Advanced Analytics

12 Einflussfaktoren Ladeperformance Datenvolumen Full-Load Delta-Load Schnittstellenkommunikation SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 4

13 Einflussfaktoren Ladeperformance Schnittstellen AdvA Verschiedenen Konstellationen Besondere Anforderungen Häufige Ladeläufe SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 5

14 Tabelle Staging Area Tabelle SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 / Einflussfaktoren Ladeperformance Schnittstellen Seite 6 PUSH PULL

15 Einflussfaktoren Ladeperformance Schnittstellen Tabelle Staging Area Tabelle SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 7 PULL PUSH

16 Einflussfaktoren Ladeperformance Parallelität Schnelle Durchlaufzeiten Ressourenintensiv Abhängigkeiten Datenvolumen Full-Load Delta-Load Schnittstellenkommunikation SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 8

17 Einflussfaktoren Ladeperformance Jobeinplanung 30 Sekunden RunJobQueue 10:02 10:00 Filter Run =1 Job 1 Job 2 Job 3 10:01 Festlegung der Reihenfolge … … … Load_x x1 0 Load_x x2 0 Load_y y1 1 Jobkette Job Run Update Run = 1 1 Tag ajslkdajlksd123i o12j3klajlkdasda slkdajslkdajslkda jslkdajksldajlksdl kjsadjlkasdjlkasd jklasdjklasdjlkas dljkasdlkj Job Initialload Stored Procedure SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 9

18 Einflussfaktoren Ladeperformance Parallelität Schnelle Durchlaufzeiten Ressourenintensiv Abhängigkeiten Komplexität Gestaltung des Ladeprozesses Datenvolumen Full-Load Delta-Load SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 10

19 Einflussfaktoren Ladeperformance Synchrone und Asynchrone Tasks MonatUmsatz Jan10500 Feb11000 März10500 April10000 MonatUmsatz MonatUmsatz Jan10500 Feb11000 März10500 April10000 Zwischenspeicher 10500 MonatUmsatz 11000 10500 SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 10000 42000 /4 =10500 Seite 11

20 JahrMonatArt 2015MarchBUD 2015MarchBUD 2015AprilBUD 2015AprilBUD 2015MayBUD 2015MayBUD Einflussfaktoren auf die Ladeperformance Tabellenbeladung DELETE […] WHERE = APRIL INSERT […] SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 12

21 JahrMonatArt 2015MarchBUD 2015MarchBUD 2015AprilBUD 2015AprilBUD Einflussfaktoren Ladeperformance Tabellenbeladung SELECT Partition April 2015 TRUNCATE […] INSERT […] MERGE-Befehl SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 13

22 Auswirkungen schlechter Ladeperformance SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 14 Ressourcennutzung Aktualität der Daten Sperrung von Tabellen

23 Einflussfaktoren Abfrageperformance Architektur Hardwarearchitektur Softwarearchitektur SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 15

24 Einflussfaktoren Abfrageperformance Architektur SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 16 Skalierbarkeit Trotz sinkender Hardwarekosten präsente Thematik SSD statt HDD oder direkt Hauptspeicher

25 1 OLAP-Server DB ETL Prod-System … n Einflussfaktoren Abfrageperformance Architektur Load-Balancer DB OLAP ETL Dev-System DB OLAP ETL QA-System Server Funktion SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 17

26 Einflussfaktoren Abfrageperformance Datenmodell DWH Ansatz Gestaltung der Tabellen Architektur Hardwarearchitektur Softwarearchitektur SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 18

27 Einflussfaktoren Abfrageperformance Datawarehouse-Ansatz SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Source I Source II Source III Mart I Mart II Genormte Dimension DWH Kimball Design DatenorientiertKundenorientiert Seite 19 Source I Source II Source III Mart I Mart II DWH Inmon Design Unternehmens- weite

28 D D D D D Fakten D D D D D D D D D D D D D Vorteile: Nutzerfreundlicher Wartungsfreundlicher Höhere Performance Nachteile: Höhere Aufwand für Sicherstellung der Datenkonsistenz Redundanzen in der Datenhaltung Star Schema Snowflake Schema SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Einflussfaktoren Abfrageperformance Datenmodell Seite 20

29 Einflussfaktoren Abfrageperformance Datenmodell Gestaltung der Tabellen Architektur Hardwarearchitektur Softwarearchitektur Konfiguration Dynamische Speicherverwaltung Partitionierung Berechnung von Aggregaten SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 21

30 1 OLAP-Server DB ETL Prod-System … n DB OLAP ETL Dev-System DB OLAP ETL QA-System Load-Balancer Server Funktion Relativ wenige Ressourcen für Abfragen Mehr für Entwicklung (SSIS und DB) Alles ist auf einem Server Primär Abfragen Trotzdem SSIS und DB nahezu gleichviel Platz wie SSAS Teilen sich ein Server Sämtliche Ressourcen für Abfragen Getrennte Server SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Einflussfaktoren Abfrageperformance Konfiguration Seite 22

31 Einflussfaktoren Abfrageperformance Datenmodell Gestaltung der Tabellen Abfrageoptimierung Aufbau der MDX-Abfragen Architektur Hardwarearchitektur Softwarearchitektur Konfiguration Dynamische Speicherverwaltung Partitionierung Berechnung von Aggregaten SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 23

32 Einflussfaktoren Abfrageperformance MDX-Verarbeitung MDX Dimension Fakten Formula Engine Storage Engine Abfragefluss Antwortfluss SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 24 Formula Engine Cache Storage Engine Cache Engpass zwischen Formula Engine und Storage Engine Möglichst viel aus dem Cache bedienen

33 Einflussfaktoren Abfrageperformance MDX-Verarbeitung Wurzel Knoten Blatt Ebene 3 Ebene 2 Blatt Ebene 1 Wurzel Knoten Blatt Knoten Blatt Knoten Blatt Ebene 3 Ebene 2 Blatt Ebene 1 Ebene 4 Blatt SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 25

34 AdvApedia Optimierung auf Rückfrage Usage-Based Optimization SQL Profiler SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Einflussfaktoren Abfrageperformance M öglichkeiten Example Seite 26

35 Zusammenspiel Lade-/Abfrageperformance 2 3 1 Lokale Datenhaltung Qualitätsprobleme Unzufriedenheit des Kunden steigt Erhöhter Supportaufwand Zusätzliche Systemlast Kunden laden Daten während des Tagesbetriebs Abfrageperformance leidet Langsame Antwortzeiten Neugierde des Controllers wird gehemmt Daten werden in lokale Systeme kopiert SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 27

36 Frühzeitige Analyse der Performance HardwareAuslastung Nutzerverhalten Angemessene Hardware vorhanden? Ist eine gleichmäßige Verteilung gegeben? Existiert eine gleich- mäßige Lastverteilung? Ist das Netzwerk stabil? Wann sind die „Stoßzeiten“? Wie ist die Nutzerzahlentwicklung? HardwareAuslastung SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 28

37 Frühzeitige Analyse der Performance 13.06.2015 SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold Erhobene Daten müssen nicht transportiert werden Gezielte Selektion Übersichtliches Dashboard Seite 29

38 Fazit 13.06.2015 SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold Wesentlicher Erfolgsfaktor stellt die Performance dar Zusammenhänge müssen betrachtet werden Probleme identifizieren keins darstellen Seite 30

39 F & A Noch Fragen? SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold 13.06.2015 Seite 31

40 DANKE! 13.06.2015 SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold

41 Bei weiteren Fragen kontaktieren Sie mich gerne unter : Bastian.Sold@bayer.comBastian.Sold@bayer.com 13.06.2015 SQLSaturday Rheinland 2015 - Performanceanforderungen einer BI- Applikation, Bastian Sold