Last- und Performance-Tests für alle

Präsentation zum Thema: "Last- und Performance-Tests für alle"—  Präsentation transkript:

1 Last- und Performance-Tests für alle
Matthias Zieger Business Development Test & QA Solutions Microsoft Deutschland GmbH

2 Lasttest wozu ?

3 Klarheit

4 Agenda Testszenarien Anwendung innerhalb Microsoft
Die Leistungsmerkmale von Visual Studio für Lasttests Erweiterbarkeit von Visual Studio in Bezug auf Lasttests

5 Dogfood Visual Studio ist das de facto Last-Testtool innerhalb von Microsoft Skaliert extrem gut Kann auch komplexe Szenarien abdecken

6 Beispiele Recent 12-hour production test:
3/28/2017 8:10 PM Beispiele Team Testobjekt Beschreibung Office Server Office SharePoint Windows SharePoint Excel Server Perf and stress testing of Office Server System SQL SQL Reporting Services SQL BI Perf and Stress, benchmarking, sizing Dynamics AX Dynamics 4.0 MSN/Live Ad Center Hot Mail Virtual Earth Autos March Madness Music More… High volume perf and stress testing Groove Open Office Perf and Stress Testing DevDiv Team Foundation Server Perf and Stress Test TFS MSIT SAP Load Test SAP via Web Services MSTV IPTV servers Huge tests to load test IPTV national rollout MS CRM Microsoft.com Dr Watson Log collection servers Windows Update Patch download servers Recent 12-hour production test: Total requests generated     3.63 Billion Average requests/sec           84,248 Using Load Tests to validate IPTV pods Each services 100,000 customers Many major telecoms are customers: AT&T, Tel Italia, Bell Canada, more… © 2005 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

7 Agenda Testszenarien Die Leistungsmerkmale von Visual Studio für Last- und Performance Tests Web Test Architecture Load Test Architecture Erweiterbarkeit von Visual Studio in Bezug auf Lasttests

8 Lasttests für alle Ziel: Lasttests so früh wie möglich einsetzen
Deswegen: Enge Integration mit Visual Studio Unlimited Virtual Users (aka VU Packs) Data Collection Performance Counter Sets zum ermitteln der Kennzahlen Test-Ergebnisse sind in einer Datenbank gespeichert Performance Analysis Korrelationen der Server Aktivitäten mit Lasttest-Messergebnissen Analysemöglichkeiten im Fehlerfall (Drill Down)

9 Funktionale Web-Tests
“HTTP” Tests (auf Protokollebene, nicht GUI Level) Sendet Daten via HTTP HTTP headers Query String Form Post parameters Validiert Server Responses Parameter können „Datadriven“ variiert werden AJAX Support

10 Neue Möglichkeiten Verzweigungen und Schleifen in einem Web Performance Test Excel basiertes Reporting Coded-UI Tests können als Lasttest wiederverwendet werden Integration mit Datenkollektoren ASP.net Profiler Intellitrace™

11 Demo: Web Tests

12 Lasttest Architektur Visual Studio Load Agents Web Server (AUT)
Test Controler Load Test database server Optional: Microsoft Test Manager 2010

13 Besonderheiten Flexible Last-Modellierung
“Szenarios” zur Modellierung des tatsächlichen Nutzerverhalten Zielbasiert, Sprunghafte, Konstante oder eigene Modelle Simuliert verschiedene Browser und Netzwerke Zeit- oder Iterationsbasierende Testläufe Last-Generierung ist sehr effizient (da Script Compiliert wird) Unit-Tests können für Last-Tests benutzt werden Coded UI Tests können genutzt werden

14 Neuigkeiten Virtual User activity chart 64-bit Testausführung
Netzwerk Emulation auf Treiber-Ebene Scripting ist einfacher gewordem Neue “Extensibility Points” … und einiges mehr!

15 Performance-Messungen
Vordefinierte Performance Counter Load Agents für Skalierbarkeit Verteilbarkeit

16 Demo: Lasttests

17 Erweiterte Analyse

18 Performance Tools: Profiler
3/28/2017 8:10 PM Performance Tools: Profiler Wie identifiziere ich meine Performance Probleme? Sampling Instrumentation Memory allocation © 2007 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.

19 Lastspitzen entdecken Teuerster Pfad der Anwendung
Beispiel-Report Lastspitzen entdecken Teuerster Pfad der Anwendung Teuerste Funktion

20 Tier Interaction Profiling
Analyze the performance of a multi-tier application against its Data tier and SQL Server Analyze page request patterns and database interactions for web applications

21 JScript Profiling (Client Side)
Application Performance Ajax Performance

22 Identify lines with considerable performance impact while coding
Editor Integration Identify lines with considerable performance impact while coding

23 Visual Studio Load Testing
Testszenarien Die Leistungsmerkmale von Visual Studio für Lasttests Erweiterbarkeit von Visual Studio in Bezug auf Lasttests

24 Erweiterbarkeit Load Test Plugins Möglichkeiten
web test plugins web test request plugins web test recorder plugins Diagnostic Data Adapters (DDA) (a.k.a “Datenkollektoren”)

25 Besser Lasttesten Lasttest sehr früh möglich
Komfortabler Load Test Wizard Load Pattern Test Mix Browser Mix Network Mix Günstiger Preis Erweiterbar

26 Vorteile für Ihr Projekt
Risikominimierung durch bessere Kommunikation zwischen Entwicklern, Projektleitern und QS Bessere Einhaltung von SLAs durch Simulation von echten Last-Szenarien Weniger Kosten in der Entwicklung durch Wiederverwendung von funktionalen- und Unit-Tests in Loadszenarien Weniger Kosten im RZ durch besser skalierende Web-Anwendungen (Hardware + Lizenz Kosten)

27 Community Links Forums Blogs CodePlex
Blogs Blogs.msdn.com/edglas Blogs.msdn.com/billbar Blogs.msdn.com/slumley CodePlex Quick Reference Guide WCF Load Test Recorder SQL Load Test Recorder Load Test Reports Web and Load Test Plugins SharePoint Scripts

28 Q&A

29 Danke für Ihre Zeit ! Kontakt: mzieger@microsoft.com

30 3/28/2017 8:10 PM © 2011 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. © 2010 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.