R What is this R thing, and is it worth some effort?

Präsentation zum Thema: "R What is this R thing, and is it worth some effort?"—  Präsentation transkript:

1 R 101 - What is this R thing, and is it worth some effort?
Meet a new companion Thomas „Tom“ Martens Principal Consultant, Alegri International Service GmbH Personal blog: minceddata.wordpress.com

2 Bevor wir starten!

3 Our Sponsors If you think, that a SQL Saturday is a nice possibility to learn from and network with fellow SQL Server enthusiasts FOR FREE, I just ask you one thing: Visit the sponsor booths and chat with the sponsors! They are covering the expenses for each and every of you, with is around EUR 60 …

4 My Sponsor Gründungsjahr 2001
mehr als 650 Mitarbeiter in der DACH- Region und Rumänien (Nearshore) Niederlassungen an 11 Standorten 80% der DAX 100-Unternehmen zählen zu unseren Klienten Lösungen für den Mittelstand & Großkunden Microsoft und SAP Partner Consulting Excellence in Microsoft Enterprise Solutions und SAP/ERP Solutions Hamburg Köln Frankfurt Stuttgart München Basel Wien Zürich Walldorf Cluj-Napoca Berlin

5 Pre-cap!

6 Was ist dieses R Ding? Everyone has heard phrases like "Data is the new oil" or "Data Analytics will shape business", and maybe you are also wondering what this R thing is about and if it's worth the effort to learn something new. This session is going to explain what R is and how it can help to refine your data and to better understand your business. Meaning, it provides ideas where R can be used in helping to answer some data related questions. An overview is given how R works with Power BI, from data cleansing to data enhancing to data visualization. An explanation is given why R will be a great addition to the SQL Server arsenal and how R can be used with Azure Machine Learning. This session is not about coding or statistics, but about introducing a great new companion.

7 Was ist dieses R Ding? Everyone has heard phrases like "Data is the new oil" or "Data Analytics will shape business", and maybe you are also wondering what this R thing is about and if it's worth the effort to learn something new. This session is going to explain what R is and how it can help to refine your data and to better understand your business. Meaning, it provides ideas where R can be used in helping to answer some data related questions. An overview is given how R works with Power BI, from data cleansing to data enhancing to data visualization. An explanation is given why R will be a great addition to the SQL Server arsenal and how R can be used with Azure Machine Learning. This session is not about coding or statistics, but about introducing a great new companion.

8 Was ist dieses R Ding? Everyone has heard phrases like "Data is the new oil" or "Data Analytics will shape business", and maybe you are also wondering what this R thing is about and if it's worth the effort to learn something new. This session is going to explain what R is and how it can help to refine your data and to better understand your business. Meaning, it provides ideas where R can be used in helping to answer some data related questions. An overview is given how R works with Power BI, from data cleansing to data enhancing to data visualization. An explanation is given why R will be a great addition to the SQL Server arsenal and how R can be used with Azure Machine Learning. This session is not about coding or statistics, but about introducing a great new companion.

9 Was ist dieses R Ding? Data Analytics will shape business", and maybe you are also what R is how it can help where R can be used how R works with Power BI why R will be a great addition to the SQL Server arsenal and how R can be used with Azure Machine Learning. This session is not about coding or statistics, but about introducing a great new companion.

10 Inhalt Was ist R! Microsoft und R Wo R helfen kann! Learning R?!

11 Was ist dieses R Ding

12 R – DIE statistische Programmiersprache
R-project : R is a language and environment for statistical computing and graphics Wikipedia: R ist eine freie Programmiersprache für  statistisches Rechnen und statistische Grafiken Microsoft: R is a language! You do data analysis by writing functions and scripts, not by pointing and clicking. That may sound daunting if you are new to programming, but R is an easy language to learn, and a very natural and expressive one for data analysis.

13 Die R Community Groß(e)artige community auf stackoverflow.com:
Fragen (39339 unbeantwortet, ohne Antwort Tag) – Fragen (22940 unbeantwortet, ohne Antwort Tag) – R bietet zur Zeit ( ) 9903 Windows binaries (ständig wachsend) source: cran-mirror

14 R Pakete (packages) http://www. maths. lancs. ac

15 Bedeutung von R (nach http://spectrum.ieee.org)
2015 2016 2014 IEEE: Institut of Electrical and Electronic Engineers – 2016: 2015:

16 Bedeutung von R http://www. kdnuggets

17 Punkte, die zu berücksichtigen sind
R als Desktop Applikation  läuft grundsätzlich im Arbeitsspeicher des Clients Die freie Programmiersprache (open source / community driven) R bringt es mit sich, dass es unterschiedliche Notationen in verschiedenen Paketen gibt  Hier kann das R-Consortium ( Abhilfe schaffen

18 Microsoft und R

19 Microsoft und R (R in meinen Lieblingsprodukten)
SQL Server 2016 ? Power BI R R Server Azure Machine Learning

20 Azure Machine Learning und R Server

21 Azure Machine Learning / R Server
Plattform zur Entwicklung und Anwendung von skalierbaren analytischen Modellen. Diese Modelle können als Webservice veröffentlicht werden und stehen hierdurch anderen Applikationen zur Beantwortung analytischer Fragestellungen zur Verfügung. R Server Eigenständige Server-Komponente (enthalten im SQL Server 2016) auf Windows und Linux, die Anwendung von analytischen Modellen auf großen Datenbeständen auch außerhalb des SQL Server ermöglicht, bspw. HD Insight, Teradata, …

22 Power BI und R

23 Microsoft Power BI und R
… durch Algorithmen Muster erkennen / Vorhersagen treffen … R Scripte liefern data.frames, die im Modell verwendet werden können Umfangreiche R Bibliotheken zur Datenvisualisierung … Komplexe Zusammenhänge können visualisiert werden … Daten aus … in das Power BI Modell integrieren … Datenbanken SQL und NoSQL … R data.frames können als Tabellen verwendet werden Binaries

24 Power BI: Extraktion aus rdata files
Zugriff auf „proprietäre“ R Daten-Strukturen (data.frames) über Power BI Funktionalitäten = RData.FromBinary( File.Contents("C:\Program Files\Microsoft SQL Server\130\R_SERVER\library\RevoScaleR\unitTestData\boston.Rdata") )

25 Power BI: Extraktion aus sas7bdat files
Zugriff auf „exotische“ Datei-Typen über „spezialisierte“ R packages = R.Execute(" #install.packages(""sas7bdat""); library(""sas7bdat""); sas7file <- ""C://Program Files//Microsoft SQL Server//130//R_SERVER//library//RevoScaleR//unitTestData//AirlineSampleDate.sas7bdat"" datafromsas7bdat <- read.sas7bdat(sas7file)")

26 Power BI: Feature Engineering (bspw. Clustering)
Anwendung von Funktionen und Algorithmen zur „Erweiterung“ des Power BI Datenmodells

27 Power BI: Feature Engineering (Clustering)
Integration von R in den „Data Wrangling“ (aka as ETL) Prozess

28 Power BI: Datenvisualisierung mit R
„Einfache“ Erstellung beliebig komplexer Datenvisualisierungen durch viele spezialisierte R packages

29 Der SQL Server und R

30 Mircosoft SQL Server – The Data Science Part
Inhalt hier geliehen von Microsoft  Source: „Read the SQL Server 2016 Deeper Insights Across Data technical white paper“ This integration of R with SQL Server means that database professionals can use T-SQL for advanced analytics on operational data and models, and they can secure and ensure their availability. With SQL Server 2016, data scientists no longer need to extract data from SQL Server via Microsoft Open Database Connectivity (ODBC) to analyze it with R.

31 Microsoft SQL Server and R (in-database analytics)
execute = N'R' , @script = N' library("data.table"); dt <- as.data.table(InputDataSet); dt$NewColName <- dt$BaseColName * 2; OutputDataSet <- dt[, list(NewColName)]; ' , @input_data_1 = N' SELECT 1 as BaseColName union SELECT 2 as BaseColName ;' WITH RESULT SETS (([NewColName] int NOT NULL)); Microsoft R Server (formerly known as Revolutions Analytics server)

32 Microsoft SQL Server und R
Alle Einsatzszenarien von R im Zusammenspiel mit Power BI gelten genau so auch für den SQL Server! Also eben nicht nur für „Data Science“!

33 Wo R helfen kann!

34 Daten Extraktion Es stehen für nahezu jede Datenquelle spezifische Pakete zur Verfügung, die es ermöglichen die Daten aus diesen Datenquellen in das eigene Datenmodell zu integrieren: NoSQL – Datenbanken wie MongoDB, Cassandra, … Binaries – Tabellen aus SPSS, SAS, Stata Binaries – z.B. exif-Informationen aus Bilddateien Web Datenquellen Natürlich auch txt, RDBMS, …

35 Data Transformation / Cleansing
Es stehen umfangreiche Funktionen / Pakete zur Verfügung um text-Daten zu transformieren JSON-Datenquellen XML-Datenquellen Ganze Web-Seiten (dies, geht allerdings schon in Richtung text mining Fehlende Daten durch die Anwendung statistischer Methoden ergänzen

36 Data Modeling / Application of Statistical Methods
Eine große Anzahl von Paketen bieten die Möglichkeit analytische Methoden auf Daten anzuwenden (R is a statistical Programming Language) Clustering Random Forests Ensemble Modeling Graph / Netzwerk – Analyse Boosting …

37 Data Processing / Feature Engineering
Verschiedenste Pakete bieten die Möglichkeit analytische Funktionen anzuwenden um neue Spalten zu “engineeren” Vergleichbar mit den Windowing Functions des SQL Servers, also bspw. Function(…) OVER(PARTITION BY … ORDER BY …) Grenzen entstehen eigentlich nur durch einen Mangel an Phantasie  Allerdings erfolgt dies heute immer in einem Batch (sp_execute_external …), vor diesem Hintergrund ist die Anwendung von R-Skripten heute nicht so dynamisch wie die Windowing-Functions

38 Data Visualization Inspiriert durch IBCS: Datenvisualisierung nicht nur in Power BI sondern auch in den Reporting Services Demographische Daten Just for fun 

39 Learning R

40 Learning R Wie wir lernen und neue Kompetenzen entwickeln?
Un- conscious competence Endlich Geige spielen, beim Fahrrad fahren! Es sehr einfach, das Gelernte anzuwenden Conscious competence Ich muss mich konzentriere, das Gelernte anzuwenden Ich kanns auch! Conscious incompetence Ich habe jemanden gesehen, der das kann! Ich weiß, dass ich etwas nicht weiß Based on ideas from Noel Burch Unconscious incompetence Ich weiß nicht, dass ich etwas nicht weiß Freihändig Fahrrad fahren geht nicht!

41 Learning R Wie wir lernen und neue Kompetenzen entwickeln?
Un- conscious competence Conscious competence Conscious incompetence Bestehendes verbessern! Etwas neues Lernen! Unconscious Incompetence

42 Learning R Wie wir lernen und neue Kompetenzen entwickeln?
Power Query („M“) DAX MDX SSRS T-SQL Mein Tip: Starten mit einer konkreten Fragestellung, für die ein konkreter Lösungsansatz noch nicht existiert! alt Verfügbarkeit neu Time to conquer

43 Ressourcen R Basics Statistics Basics
Online Kurs: Online Kurs: Buch: R in a Nutshell Buch (pdf): (etwas schwieriger, dafür immer wieder downloadbar) Statistics Basics Einführung in Statistik (kostenfrei) Machine Learning / Advanced Analytics Buch: Machine Learning for Predictive Data Analytics Daten Visualisierung Buch: R Graphics Cookbook: Practical Recipes for Visualizing Data

44 𝑓 =( + ) * Wo R helfen kann - Recap! Daten Extraktion
Daten Transformation / Daten Cleansing Daten Modellierung (Advanced Analytics) Statistische Modelle für Mustererkennung (zum Beispiel Cluster-Bildung) und für Vorhersage-Modelle (Predictive Analytics) Machine Learning Daten Processing / Feature Engineering Daten Visualisierung 𝑓 =( ) *

45 Please give us feedback!
How did you like it? Please give us feedback! to the event: to me as a speaker:

46 Our Sponsors If you think, that a SQL Saturday is a nice possibility to learn from and network with fellow SQL Server enthusiasts FOR FREE, I just ask you one thing: Visit the sponsor booths and chat with the sponsors! They are covering the expenses for each and every of you, with is around EUR 60 …