Testsysteme für Automatisierte Softwaretests Seminarvortrag von Rica Wedowski.

Präsentation zum Thema: "Testsysteme für Automatisierte Softwaretests Seminarvortrag von Rica Wedowski."—  Präsentation transkript:

1 Testsysteme für Automatisierte Softwaretests Seminarvortrag von Rica Wedowski

2 CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests  Automatische Softwaretests  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 2

3 CAE Elektronik GmbH Confidential and/or Proprietary Information Einführung  Testen  wichtiger Teil der Softwareentwicklung  Ziel jedes Softwareprojektes: ein fehlerfreies Produkt  Fehler die zu spät entdeckt werden, sind teuer  Idee: regelmäßig das komplette System testen  manuell sehr aufwändig  Automatische Softwaretests 3

4 CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests –Was ist Testen? –Black-Box- und White-Box-Test –Testverfahren  Automatische Softwaretests  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 4

5 CAE Elektronik GmbH Confidential and/or Proprietary Information Was ist Testen?  Testen: Überprüfen, ob eine Software den definierten Anforderungen entspricht  Kann nur Fehler finden, aber nicht zeigen, dass keine existieren 5

6 CAE Elektronik GmbH Confidential and/or Proprietary Information Was ist Testen? 6 Testorakel Soll-Werte liefert vergleichen Testobjekt liefert Testtreiber Ist-Werte Testdaten Resultate testet zeichnet auf beeinflusst

7 CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests –Was ist Testen? –Black-Box- und White-Box-Test –Testverfahren  Automatische Softwaretests  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 7

8 CAE Elektronik GmbH Confidential and/or Proprietary Information Black-Box- und White-Box-Test 8

9 CAE Elektronik GmbH Confidential and/or Proprietary Information Black-Box-Test  Äquivalenzklassenbildung –Gleiches Verhalten innerhalb einer Klasse –Von einem Wert auf alle schließen  Grenzwertanalyse –Werte auf oder an den Grenzen 9

10 CAE Elektronik GmbH Confidential and/or Proprietary Information Black-Box- und White-Box-Test 10

11 CAE Elektronik GmbH Confidential and/or Proprietary Information Kontrollflussgraph 11 Schleife Kante Zweig Pfad Verzweigung Knoten

12 CAE Elektronik GmbH Confidential and/or Proprietary Information White-Box-Test  Überdeckungstests: –Anweisungsüberdeckung –Zweigüberdeckung –Bedingungsüberdeckung –Mehrfach-Bedingungsüberdeckung –Pfadüberdeckung 12 (a==b && c>d) || a==d

13 CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests –Was ist Testen? –Black-Box- und White-Box-Test –Testverfahren  Automatische Softwaretests  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 13

14 CAE Elektronik GmbH Confidential and/or Proprietary Information Testverfahren 14

15 CAE Elektronik GmbH Confidential and/or Proprietary Information Testverfahren  Unit- oder Komponententest: –kleinere Einheiten der Software –Fehler lässt sich auf Unit zurückführen  Integrationstest: –Interaktion einer Komponente mit anderen –Verhalten der Komponente im Gesamtsystem –Schrittweise zu Gesamtsystem zusammenführen 15

16 CAE Elektronik GmbH Confidential and/or Proprietary Information Testverfahren  Systemtest: –Komplettes System –Vor der Entwicklung festgelegte Anforderungen  Abnahmetest: –Aus Sicht des Kunden –Entscheidet, ob Software akzeptiert und eingesetzt wird 16

17 CAE Elektronik GmbH Confidential and/or Proprietary Information Testverfahren  Regressionstest: –Tests, die sich zu jeder Zeit wiederholen lassen –Überprüfung, ob eine Änderung andere Komponenten beeinflusst 17

18 CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests  Automatische Softwaretests –Was ist Automatisierung? –Motivation –Automatische Systemtests –Grenzen  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 18

19 CAE Elektronik GmbH Confidential and/or Proprietary Information Was ist Automatisierung?  Allgemein: –Übernahme der Funktionen eines Produktionsprozesses durch Automaten  Softwaretests: –Maschine führt Testschritte durch  Teilautomatisierung 19

20 CAE Elektronik GmbH Confidential and/or Proprietary Information Motivation  Erhöhung der Anzahl der Testfälle  Beschleunigung der Tests  Verbesserung der Testresultate  Wiederholbarkeit  Automatische Regressionstests: früheres Finden von Fehlern 20

21 CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests  Automatische Softwaretests –Was ist Automatisierung? –Motivation –Automatische Systemtests –Grenzen  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 21

22 CAE Elektronik GmbH Confidential and/or Proprietary Information Automatische Systemtests - Vorgehensweise  Voraussetzung: Testsystem hat Zugriff auf Testobjekt  Aufbau: –Einfach: für jeden Testfall ein Skript -> kommuniziert direkt mit dem Testobjekt –Data-Driven Testing: Daten und Testtreiber trennen Testtreiber liest Daten aus externer Quelle –Keyword-Driven Testing: Zusätzlich noch Keywords in externe Dateien speichern 22

23 CAE Elektronik GmbH Confidential and/or Proprietary Information Automatische Systemtests - Testauswertung  Ergebnisse mit vorgegebenen Soll-Werten vergleichen  Resultate protokollieren  Logfiles –Ebenen: niedrig  detailliert hoch  nur die wichtigsten Punkte –Filter: manuell einstellbar, bestimmen Ebene  Zusätzlich: Reporte –kurze Statistik des Testresultates 23

24 CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests  Automatische Softwaretests –Was ist Automatisierung? –Motivation –Automatische Systemtests –Grenzen  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 24

25 CAE Elektronik GmbH Confidential and/or Proprietary Information Grenzen  sieht nur Fehler, auf die er programmiert wurde  Testumgebung kann sehr teuer sein  Test kann oder sollte nicht automatisiert werden 25

26 CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests  Automatische Softwaretests  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 26

27 CAE Elektronik GmbH Confidential and/or Proprietary Information Testsysteme der Firma CAE  Auf Lua basierende Tests  Auf CTS basierende Tests  Tests mit Random-Werten  Kommerzielle GUI-Tests 27

28 CAE Elektronik GmbH Confidential and/or Proprietary Information Testsysteme der Firma CAE  Auf Lua basierende Tests –Black-Box-Test, Systemtest –Lua-Dateien definieren Testschritte –Interpreter führt diese aus –Zugriff über Netzschnittstelle  Auf CTS basierende Tests  Tests mit Random-Werten  Kommerzielle GUI-Tests 28

29 CAE Elektronik GmbH Confidential and/or Proprietary Information Testsysteme der Firma CAE  Auf Lua basierende Tests  Auf CTS basierende Tests –White-Box-Test, Komponententest –Testen mit CTS –Zugriff auf Shared Memory –Synchron zur Simulation  Tests mit Random-Werten  Kommerzielle GUI-Tests 29

30 CAE Elektronik GmbH Confidential and/or Proprietary Information Testsysteme der Firma CAE  Auf Lua basierende Tests  Auf CTS basierende Tests  Tests mit Random-Werten –Black-Box-Test –erzeugt zufällig Testfälle  Kommerzielle GUI-Tests 30

31 CAE Elektronik GmbH Confidential and/or Proprietary Information Testsysteme der Firma CAE  Auf Lua basierende Tests  Auf CTS basierende Tests  Tests mit Random-Werten  Kommerzielle GUI-Tests –benutzt das kommerzielle Tool Squish –Regressionstests an der Benutzeroberfläche –Black-Box-Test 31

32 CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests  Automatische Softwaretests  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 32

33 CAE Elektronik GmbH Confidential and/or Proprietary Information Zusammenfassung TTesten kann sehr aufwendig sein  Automatisieren WWichtig: passenden Ansatz finden AAnforderungen analysieren KKeine Allgemeinlösung AAber guter Ansatz: Testfälle und Testtreiber trennen 33

34 CAE Elektronik GmbH Confidential and/or Proprietary Information Ausblick  Testsysteme für weitere Projekte  Tornadosimulator  Tests per Remote-Zugriff starten  Verteiltes System  Vorhandenes nutzen? 34

35 CAE Elektronik GmbH Confidential and/or Proprietary Information Quellen  Armbrust, Ove; Ochs, Michael; Snoek, Björn: Stand der Forschung von Software-Tests und der en Automatisierung. IESE-Report Nr. 093.04/D. Version: 2004  Crispin, Lisa ; Gregor y, Janet: Agile Testing A Practical Guide for Testers and Agile Teams. 8. Ausgabe. Addison-Wesley, 2012  Coffman, Thayne R.: A framework for automated system testing, Massachusetts Institute of Technology. Dept. of Electrical Engineering and Computer Science, Masterthesis, 22. Mai 1996.  Franze, Nico: Entwicklung einer Software für die automatische Generierung und widerholbar e Durchführung von Funktionstests mit.NET, Technische Fachhochschule Berlin, Diplomarbeit, 2008.  Kapitel 8.14 Automation von Systemtests. In: Grünfeld, Stephan: Software-Test für Embedded Systems. Heidelberg : dpunkt.verlag, 2013, 180f  GTB Working Party Glossar y (Hrsg.): ISTQB®/GTB Standardglossar der Testbegriffe Deutsch/Englisch. Version: 2.2. GTB Working Party Glossary, April 2013. http://www.german-testing- board.info/service/information/glossar.htmlhttp://www.german-testing- board.info/service/information/glossar.html  Hoffman, Douglas: Test Automation Architectures: Planning for Test Automation. In: 1999 International Quality Week Conference; East Bay SSQA (EBSSQA) (1999). 35

36 CAE Elektronik GmbH Confidential and/or Proprietary Information Quellen  Laukkanen, Pekka: Data-Driven and Keyword-Driven Test Automation Frameworks. Espoo, HELSINKI UNIVERSITY OF TECHNOLOGY Department of Computer Science and Engineering Software Business and Engineering Institute, Masterthesis, 24 Februar 2006  Spillner, Andreas; Linz, Tilo: Basiswissen Softwaretest. 4. Auflage. Heidelberg : dpunkt.verlag, 2010  Voigt, Prof. Dr. Kai-Ingo; Springer Gabler Verlag (Hrsg.): Gabler Wirtschaftslexikon, Stichwort: Automatisierung. Version: 6. Springer Gabler V erlag, Oktober 2013. http://wirtschaftslexikon.gabler.de/Archiv/72569/automatisierung-v6.html http://wirtschaftslexikon.gabler.de/Archiv/72569/automatisierung-v6.html  Wikipedia: Softwaretest — Wikipedia, Die freie Enzyklopädie. http://de.wikipedia.org/wiki/Softwaretest. Version: 2013, Abruf: Oktober 2013  Wirtz, Guido: Enzyklopädie der Wirtschaftsinformatik - Integrationstest. http://www.enzyklopaedie-der- wirtschaftsinformatik.de/wi-enzyklopaedie/lexikon/is-management/Systementwicklung/Hauptaktivitaten- der-Systementwicklung/Software-Implementierung/Testen-von-Software/Integrationstest. Version: Oktober 2010, Abruf: Oktober 2013  Wirtz, Guido: Enzyklopädie der Wirtschaftsinformatik - Modultest. http://www.enzyklopaedie-der- wirtschaftsinformatik.de/wi-enzyklopaedie/lexikon/is-management/Systementwicklung/Hauptaktivitaten- der-Systementwicklung/Software-Implementierung/Testen-von-Software/Modultest. Version: September 2011, Abruf: November 2013 36

37 Vielen Dank!