Atos, Atos and fish symbol, Atos Origin and fish symbol, Atos Consulting, and the fish itself are registered trademarks of Atos Origin SA. August 2006 © 2006 Atos Origin. Confidential information owned by Atos Origin, to be used by the recipient only. This document or any part of it, may not be reproduced, copied, circulated and/or distributed nor quoted without prior written approval from Atos Origin. Seminararbeit Ingo Krützen Aachen, Evaluierung von Testframeworks für Regressions-/ Performancetests von Webapplikationen

2 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan-11 2 Inhaltsverzeichnis 1.Motivation 2.Anforderungen 3.Vergleich / Tests 4.Fazit und Ausblick

3 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan-11 3 Motivation »Testen »Grundlage einer fehlerfreien und stabilen Software »Nachweis der Anforderungen »Qualitätsgewährleistung und –sicherung »Frameworkevaluierung »Erfüllung der Firmenanforderungen »Standard für Abteilung »Einsatz in vielen Projekten

4 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan-11 4 Inhaltsverzeichnis 1.Motivation 2.Anforderungen 1.Nicht funktionale Anforderungen 2.Funktionale Anforderungen 3.Vergleich / Tests 4.Fazit und Ausblick

5 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan-11 5 Anforderungen »Preis »Lebenszyklus (wird das Projekt weiterentwickelt) »Community »Dokumentation »Installation »Benutzerfreundlichkeit Nicht funktionale Anforderungen

6 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan-11 6 Anforderungen »Regressionstests möglich »Capture / Replay »Integration Hudson »Testdaten »Variable Inhalte aus der Laufzeit für Folgeabfragen »Lastentests/Performancetests Funktionale Anforderungen I

7 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan-11 7 Anforderungen »Ergebnis-Datei/-Meldung »Integration in Testlink »Erweiterbarkeit »Eigene Skripte »Parsen und Überprüfen des HTTP-Response »Datenbankanbindung »Eclipse Integration Funktionale Anforderungen II

8 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan-11 8 Inhaltsverzeichnis 1.Motivation 2.Anforderungen 3.Vergleich / Tests 1.JMeter 4.Fazit und Ausblick

9 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan-11 9 Vergleich/Tests »Community »Sehr große Community »Bug-Database »Dokumentationslage »Umfangreiche Anleitungen, Tutorials und Testbeispiele »Installation »Sehr einfach: Herunterladen, extrahieren und starten »Benutzerfreundlichkeit »Keine Ordnung beim Aufzeichnen der Requests »Anlegen von Testfällen und Ergebnisausgabe nicht sehr einfach JMeter (Nicht funktionale Anforderungen)

10 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Vergleich/Tests »Capture/Replay »HTTP Proxy zeichnet HTTP-Requests auf »Integration Hudson »JMeter bietet für die Integration ein Plugin »Testdaten » Globale Variable ermöglichen unabhängige Testkonfigurationsdaten »Variable Inhalte aus der Laufzeit für Folgeabfragen »HTTP Requests und HTTP Response ermöglichen variable Inhalte »Lastentests/Performancetests »Möglichkeit, mehrere Benutzer durch verschiedene Threads zu simulieren »Ergebnis-Datei/-Meldung »Umfangreiche Lösungen durch “Listener” »Durch JavaScript eigene XML-Ausgabedateien erzeugen lassen JMeter (Funktionale Anforderungen)

11 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Vergleich/Tests »Integration Testlink »Keine Lösung von JMeter vorhanden »Erweiterbarkeit/ Eigene Skripte »Javascripts, Beanshell- und Perlskripte können verwendet werden, um das Testframework zu erweitern »Parsen und Überprüfen des HTTP Response »In jedem Thread kann man Überprüfungen des HTTP Response vornehmen »Post und Pre Processor, um verschiedene Werte aus dem HTTP Response zu laden »Datenbankanbindung »Mittels JDBC Treiber »Eclipse Integration »Durch veröffentlichten Programmcode lässt sich JMeter einfach in ein Eclipse- Java Projekt integrieren JMeter (Funktionale Anforderungen)

12 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Vergleich/Tests JMeter (Fazit) »Pro »Sehr gut für Performancetests »Regressionstests »Erweiterbarkeit »Contra »Aufzeichnungen sind unübersichtlich »Schlechte Fehlerbeschreibung »Benutzerfreundlichkeit »Testlinkintegration

13 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Inhaltsverzeichnis 1.Motivation 2.Anforderungen 3.Vergleich / Tests 1.JMeter 2.Canoo WebTest 4.Fazit und Ausblick

14 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Vergleich/Tests »Community »Kleine Community »Dokumentationslage »Nur Installationsanleitung »Installation »Sehr einfache Installation »Benutzerfreundlichkeit »Testfälle und Testpläne werden über Kommandozeile erstellt »Integration Hudson »Wird durch Plugin und Kommandozeilenbefehl gewährleistet »Testdaten »Testdaten in XML-Dateien sehr gut strukturiert »Testkonfigurationsdaten nicht unabhängig von Testfällen Canoo WebTest (Nicht funktionale Anforderungen)

15 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Vergleich/Tests »Variable Inhalte aus der Laufzeit für Folgeabfragen »Funktioniert mit selbst geschriebenen XML-Dateien sehr gut »Lastentests/Performancetests »Canoo WebTest bietet eine Anzeige der Aufrufdauer »Ergebnis-Datei/-Meldung »Sehr übersichtliche und ausführliche Ergebnisanzeige Canoo WebTest (Funktionale Anforderungen)

16 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Vergleich/Tests »Capture/Replay »Abspielen nicht möglich »Integration Testlink »Keine hochladbaren XML-Dateien »Erweiterbarkeit/ Eigene Skripte »Schwer erweiterbar »Eigene kleine Scripte kann man nur mit Groovy schreiben »Parsen und Überprüfen des HTTP Response »Eigene “Step’s” oder kleines Script schreiben »Datenbankanbindung »Canoo Webtest benutzt SQLUnit »Eclipse Integration »Maven Canoo WebTest (Funktionale Anforderungen)

17 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Vergleich/Tests Canoo WebTest (Fazit) »Pro »Ausführliche Ergebnisausgabe »Contra »Leider nur über Kommandozeile aufrufbar »Aufnehmen nicht möglich »Benutzerfreundlichkeit »Nur schwer Erweiterbar »Testlinkintegration

18 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Inhaltsverzeichnis 1.Motivation 2.Anforderungen 3.Vergleich / Tests 1.JMeter 2.Canoo WebTest 3.Selenium HQ 4.Fazit und Ausblick

19 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Vergleich/Tests »Community »Chaträume, GoogleGroup, Bug- Database… »Dokumentationslage »Anleitungen, Tutorials und Testbeispiele »Installation »Selenium Grid benötigt JDK 6, Ant 1.7 »Sehr einfache Installation »Benutzerfreundlichkeit »Sehr einfache Bedienung »Capture/Replay »Einfaches Aufzeichnen »Ausführliche Informationen »Tests in vielen Sprachen Selenium (Nicht funktionale Anforderungen)

20 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Vergleich/Tests »Integration Hudson »Selenium Core und Selenium RC können beide einfach in den Hudson Buildprozess eingebunden werden »Testdaten »Keine Möglichkeit, Testkonfigurationsdaten unabhängig von Testfällen im Firefox Plugin zu speichern »Tests in Java oder anderen Programmiersprache: Testkonfigurationsdateien unabhängig von Testdaten »Variable Inhalte aus der Laufzeit für Folgeabfragen »Mit IDE werden Funktionen zur Verfügung gestellt für Folgeabfragen »Lastentests/Performancetests »Selenium Grid kann mehrere Verbindungen zum Server simulieren Selenium (Funktionale Anforderungen)

21 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Vergleich/Tests »Ergebnis-Datei/-Meldung »Sehr übersichtliche und ausführliche Ergebnisanzeige »Ausführliche Fehlerbeschreibung Selenium (Funktionale Anforderungen)

22 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Vergleich/Tests »Integration Testlink »Keine XML-Dateien, die in Testlink hochgeladen werden können »Erweiterbarkeit/ Eigene Skripte »Scripte sehr leicht zu integrieren »Unterstützte Sprachen: Java, Perl, PHP, Python, Ruby »Parsen und Überprüfen des HTTP Response »Sehr einfach über das Firefox-Plugin möglich »JUnit oder PHPUnit »Datenbankanbindung »Mit JUnit oder PHPUnit »Eclipse Integration »Selenium RC lässt sich leicht in Eclipse integrieren »CubicTest eine Erweiterung für Selenium Selenium (Funktionale Anforderungen)

23 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Vergleich/Tests Selenium (Fazit) »Pro »Gutes Firefox-Plugin »Erweiterbarkeit »Benutzerfreundlichkeit »Regressionstests »Ausführliche Fehlerbeschreibung »Contra »Performancetests »Testlinkintegration

24 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Inhaltsverzeichnis 1.Motivation 2.Anforderungen 3.Vergleich / Tests 4.Fazit und Ausblick

25 HIGH-TECH TRANSACTIONAL SERVICES 11-Jan Fazit und Ausblick »Von zwölf evaluierten Testframeworks haben sich zwei herauskristallisiert »Abschließend wurde Selenium nach dieser Evaluierung vorgeschlagen »Selenium »Gutes Firefox-Plugin »Erweiterbarkeit »Benutzerfreundlichkeit »Regressionstests »Ausführliche Fehlerbeschreibung »Selenium »Performancetests »Testlinkintegration »JMeter »Sehr gut für Performancetests »Regressionstests »Erweiterbarkeit »JMeter »Aufzeichnungen sind unübersichtlich »Schlechte Fehlerbeschreibung »Benutzerfreundlichkeit »Testlinkintegration

Atos, Atos and fish symbol, Atos Origin and fish symbol, Atos Consulting, and the fish itself are registered trademarks of Atos Origin SA. August 2006 © 2006 Atos Origin. Confidential information owned by Atos Origin, to be used by the recipient only. This document or any part of it, may not be reproduced, copied, circulated and/or distributed nor quoted without prior written approval from Atos Origin. Vielen Dank für Ihre Aufmerksamkeit!

Atos, Atos and fish symbol, Atos Origin and fish symbol, Atos Consulting, and the fish itself are registered trademarks of Atos Origin SA. August 2006 © 2006 Atos Origin. Confidential information owned by Atos Origin, to be used by the recipient only. This document or any part of it, may not be reproduced, copied, circulated and/or distributed nor quoted without prior written approval from Atos Origin. For more information please contact: Ingo Krützen t +49 (0) Atos Worldline Pascalstraße , Aachen