Aggregations in Power BI

Präsentation zum Thema: "Aggregations in Power BI"—  Präsentation transkript:

1 Aggregations in Power BI
Tom Martens & Gabi Münster Aggregations in Power BI

2 Eine kleine Demo zum Einstieg

3 Videos (kleine Live Demo zum Schluss? Falls Zeit genug ist…)
Christian Wade Video Alberto Ferrari Video Ich überlege, ob wir das beim Design ansprechen, denn das geht ja deutlich mehr in unsere Richtung und hat nicht so den “WOW-Effekt”

4 Warum überhaupt Aggregations?

5 Performance!

6 Und vor allem… Warum bzw. Wann nicht
Import auf Import Weak Relationships Security DAX Einschränkungen Leaf Level aggregations …?

7 Der Design-Prozess

8 Rückblende: SSAS Multidimensional
Komplett gekoppelt an SSAS Technologie Aggregations wurden als zusätzliche Dateien innerhalb der SSAS Datenbankstruktur abgelegt Anpassungsbedarf bei Dimensionsänderungen Immer MOLAP Konnte nur von SSAS genutzt warden Designoptionen Usage Based Optimization Aggregation Wizard Manuelles Anlegen eines Aggregation Designs

9 Gegenwart: Power BI Freie Technologiewahl
Aggregations können in diversen Technologien abgelegt werden Können auch anderen Applikationen zur Verfügung gestellt werden Können DirectQuery oder Import sein Eigenverantwortliches Design: Was muss ich berücksichtigen? Design der Aggregation Table Basierend auf Abschätzung oder Query Analyse Auswahl der Technologie Richtige Anbindung im Modell Z.B. Auswahl des Storage Modes Design der Synchronisierung

10 Design der Aggregation Table
Wie identifizieren wir, was wir aggregieren wollen? Was davon können wir aggregieren? S. Erklärungen vorher

11 Auswahl der Technologie
s. Architektur

12 Richtige Anbindung im Modell
Korrekte Zuordnung der Measures Pflegen der Beziehungen Auswahl des richtigen Storage Modes der Dimensionen (Nur bei Agg im Import Mode) Tests mit DAX Studio

13 Design der Synchronisierung
“Einfacher” bei Direct Query Agg Table Bei Import Agg Table maximaler Synch-Zyklus alle 30 Minuten Wie gewährleisten wir, dass in der Zwischenzeit keine aktuelleren Daten in der Faktentabelle zur Verfügung stehen? Z.B. mit Timestamp Filter in den Direct Query Abfragen

14 Architektur

15 Grundsätzliche Überlegungen
Detailtabelle -> DirectQuery Aggregationstabelle -> DirectQuery oder Import Gemeinsam genutzte Dimensionstabellen DirectQuery, falls beide Faktentabellen DirectQuery sind Dual, falls Mixed Mode genutzt wird

16 DirectQuery Datenquellen
Amazon Redshift Azure SQL Database/Azure SQL Data Warehouse/SQL Server IBM DB2 database Oracle Database (version 12 and above) SAP Business Warehouse Application Server SAP HANA Snowflake Spark (Beta) (version 0.9 and above) Teradata Database …

17 Data Bricks total

18 Azure SQL DWH Warum? Warum nicht? “Gewohnte” DWH Modellierung
Zugriff über T-SQL für viele User bekannt Polybase erlaubt Einsatz als Virtualisierungsschicht Kontinuierliche Performance- und Security-Verbesserungen Build conference: Power BI Meets Azure SQL Data Warehouse: Amplifying your data stack with petabyte-scale analytics Warum nicht? Kosten Compute: ~ €325 – 280k/Monat Entfällt während “Pause” Zeiten Storage: ~ €125/1 TB/Monat Fällt immer an Disaster Recovery: ~ €0,1/GB/Monat

19 Azure SQL DWH – Die Detailtabelle
Option 1: Daten liegen außerhalb, Zugriff über Polybase Pros “Real-Time” Wenig Speicherbedarf Cons Performance Option 2: Daten werden persistiert Speicherbedarf Synchronisierungsprozess notwendig

20 Azure SQL DWH – Die Aggregationstabelle
View Pros Gleiche Datengrundlage Keine zusätzlichen Ladeprozesse Speicherbedarf Cons Performance Materialisierte View Optimizer “schreibt Userabfragen um” - Persistierte Tabelle Pros Abfrage-Performance Cons Speicherbedarf Ladeprozesse notwendig Synchronisierung mit Detailtabelle notwendig Power BI Import Modus Abfage-Performance Incremental Refresh

21 SQL Server total

22 Big Data Clusters?

23 Demo