Testsysteme für Automatisierte Softwaretests Seminarvortrag von Rica Wedowski

CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests  Automatische Softwaretests  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 2

CAE Elektronik GmbH Confidential and/or Proprietary Information Einführung  Testen  wichtiger Teil der Softwareentwicklung  Ziel jedes Softwareprojektes: ein fehlerfreies Produkt  Fehler die zu spät entdeckt werden, sind teuer  Idee: regelmäßig das komplette System testen  manuell sehr aufwändig  Automatische Softwaretests 3

CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests –Was ist Testen? –Black-Box- und White-Box-Test –Testverfahren  Automatische Softwaretests  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 4

CAE Elektronik GmbH Confidential and/or Proprietary Information Was ist Testen?  Testen: Überprüfen, ob eine Software den definierten Anforderungen entspricht  Kann nur Fehler finden, aber nicht zeigen, dass keine existieren 5

CAE Elektronik GmbH Confidential and/or Proprietary Information Was ist Testen? 6 Testorakel Soll-Werte liefert vergleichen Testobjekt liefert Testtreiber Ist-Werte Testdaten Resultate testet zeichnet auf beeinflusst

CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests –Was ist Testen? –Black-Box- und White-Box-Test –Testverfahren  Automatische Softwaretests  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 7

CAE Elektronik GmbH Confidential and/or Proprietary Information Black-Box- und White-Box-Test 8

CAE Elektronik GmbH Confidential and/or Proprietary Information Black-Box-Test  Äquivalenzklassenbildung –Gleiches Verhalten innerhalb einer Klasse –Von einem Wert auf alle schließen  Grenzwertanalyse –Werte auf oder an den Grenzen 9

CAE Elektronik GmbH Confidential and/or Proprietary Information Black-Box- und White-Box-Test 10

CAE Elektronik GmbH Confidential and/or Proprietary Information Kontrollflussgraph 11 Schleife Kante Zweig Pfad Verzweigung Knoten

CAE Elektronik GmbH Confidential and/or Proprietary Information White-Box-Test  Überdeckungstests: –Anweisungsüberdeckung –Zweigüberdeckung –Bedingungsüberdeckung –Mehrfach-Bedingungsüberdeckung –Pfadüberdeckung 12 (a==b && c>d) || a==d

CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests –Was ist Testen? –Black-Box- und White-Box-Test –Testverfahren  Automatische Softwaretests  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 13

CAE Elektronik GmbH Confidential and/or Proprietary Information Testverfahren 14

CAE Elektronik GmbH Confidential and/or Proprietary Information Testverfahren  Unit- oder Komponententest: –kleinere Einheiten der Software –Fehler lässt sich auf Unit zurückführen  Integrationstest: –Interaktion einer Komponente mit anderen –Verhalten der Komponente im Gesamtsystem –Schrittweise zu Gesamtsystem zusammenführen 15

CAE Elektronik GmbH Confidential and/or Proprietary Information Testverfahren  Systemtest: –Komplettes System –Vor der Entwicklung festgelegte Anforderungen  Abnahmetest: –Aus Sicht des Kunden –Entscheidet, ob Software akzeptiert und eingesetzt wird 16

CAE Elektronik GmbH Confidential and/or Proprietary Information Testverfahren  Regressionstest: –Tests, die sich zu jeder Zeit wiederholen lassen –Überprüfung, ob eine Änderung andere Komponenten beeinflusst 17

CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests  Automatische Softwaretests –Was ist Automatisierung? –Motivation –Automatische Systemtests –Grenzen  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 18

CAE Elektronik GmbH Confidential and/or Proprietary Information Was ist Automatisierung?  Allgemein: –Übernahme der Funktionen eines Produktionsprozesses durch Automaten  Softwaretests: –Maschine führt Testschritte durch  Teilautomatisierung 19

CAE Elektronik GmbH Confidential and/or Proprietary Information Motivation  Erhöhung der Anzahl der Testfälle  Beschleunigung der Tests  Verbesserung der Testresultate  Wiederholbarkeit  Automatische Regressionstests: früheres Finden von Fehlern 20

CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests  Automatische Softwaretests –Was ist Automatisierung? –Motivation –Automatische Systemtests –Grenzen  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 21

CAE Elektronik GmbH Confidential and/or Proprietary Information Automatische Systemtests - Vorgehensweise  Voraussetzung: Testsystem hat Zugriff auf Testobjekt  Aufbau: –Einfach: für jeden Testfall ein Skript -> kommuniziert direkt mit dem Testobjekt –Data-Driven Testing: Daten und Testtreiber trennen Testtreiber liest Daten aus externer Quelle –Keyword-Driven Testing: Zusätzlich noch Keywords in externe Dateien speichern 22

CAE Elektronik GmbH Confidential and/or Proprietary Information Automatische Systemtests - Testauswertung  Ergebnisse mit vorgegebenen Soll-Werten vergleichen  Resultate protokollieren  Logfiles –Ebenen: niedrig  detailliert hoch  nur die wichtigsten Punkte –Filter: manuell einstellbar, bestimmen Ebene  Zusätzlich: Reporte –kurze Statistik des Testresultates 23

CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests  Automatische Softwaretests –Was ist Automatisierung? –Motivation –Automatische Systemtests –Grenzen  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 24

CAE Elektronik GmbH Confidential and/or Proprietary Information Grenzen  sieht nur Fehler, auf die er programmiert wurde  Testumgebung kann sehr teuer sein  Test kann oder sollte nicht automatisiert werden 25

CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests  Automatische Softwaretests  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 26

CAE Elektronik GmbH Confidential and/or Proprietary Information Testsysteme der Firma CAE  Auf Lua basierende Tests  Auf CTS basierende Tests  Tests mit Random-Werten  Kommerzielle GUI-Tests 27

CAE Elektronik GmbH Confidential and/or Proprietary Information Testsysteme der Firma CAE  Auf Lua basierende Tests –Black-Box-Test, Systemtest –Lua-Dateien definieren Testschritte –Interpreter führt diese aus –Zugriff über Netzschnittstelle  Auf CTS basierende Tests  Tests mit Random-Werten  Kommerzielle GUI-Tests 28

CAE Elektronik GmbH Confidential and/or Proprietary Information Testsysteme der Firma CAE  Auf Lua basierende Tests  Auf CTS basierende Tests –White-Box-Test, Komponententest –Testen mit CTS –Zugriff auf Shared Memory –Synchron zur Simulation  Tests mit Random-Werten  Kommerzielle GUI-Tests 29

CAE Elektronik GmbH Confidential and/or Proprietary Information Testsysteme der Firma CAE  Auf Lua basierende Tests  Auf CTS basierende Tests  Tests mit Random-Werten –Black-Box-Test –erzeugt zufällig Testfälle  Kommerzielle GUI-Tests 30

CAE Elektronik GmbH Confidential and/or Proprietary Information Testsysteme der Firma CAE  Auf Lua basierende Tests  Auf CTS basierende Tests  Tests mit Random-Werten  Kommerzielle GUI-Tests –benutzt das kommerzielle Tool Squish –Regressionstests an der Benutzeroberfläche –Black-Box-Test 31

CAE Elektronik GmbH Confidential and/or Proprietary Information Inhalt  Einführung  Softwaretests  Automatische Softwaretests  Testsysteme der Firma CAE  Zusammenfassung und Ausblick 32

CAE Elektronik GmbH Confidential and/or Proprietary Information Zusammenfassung TTesten kann sehr aufwendig sein  Automatisieren WWichtig: passenden Ansatz finden AAnforderungen analysieren KKeine Allgemeinlösung AAber guter Ansatz: Testfälle und Testtreiber trennen 33

CAE Elektronik GmbH Confidential and/or Proprietary Information Ausblick  Testsysteme für weitere Projekte  Tornadosimulator  Tests per Remote-Zugriff starten  Verteiltes System  Vorhandenes nutzen? 34

CAE Elektronik GmbH Confidential and/or Proprietary Information Quellen  Armbrust, Ove; Ochs, Michael; Snoek, Björn: Stand der Forschung von Software-Tests und der en Automatisierung. IESE-Report Nr /D. Version: 2004  Crispin, Lisa ; Gregor y, Janet: Agile Testing A Practical Guide for Testers and Agile Teams. 8. Ausgabe. Addison-Wesley, 2012  Coffman, Thayne R.: A framework for automated system testing, Massachusetts Institute of Technology. Dept. of Electrical Engineering and Computer Science, Masterthesis, 22. Mai  Franze, Nico: Entwicklung einer Software für die automatische Generierung und widerholbar e Durchführung von Funktionstests mit.NET, Technische Fachhochschule Berlin, Diplomarbeit,  Kapitel 8.14 Automation von Systemtests. In: Grünfeld, Stephan: Software-Test für Embedded Systems. Heidelberg : dpunkt.verlag, 2013, 180f  GTB Working Party Glossar y (Hrsg.): ISTQB®/GTB Standardglossar der Testbegriffe Deutsch/Englisch. Version: 2.2. GTB Working Party Glossary, April board.info/service/information/glossar.htmlhttp:// board.info/service/information/glossar.html  Hoffman, Douglas: Test Automation Architectures: Planning for Test Automation. In: 1999 International Quality Week Conference; East Bay SSQA (EBSSQA) (1999). 35

CAE Elektronik GmbH Confidential and/or Proprietary Information Quellen  Laukkanen, Pekka: Data-Driven and Keyword-Driven Test Automation Frameworks. Espoo, HELSINKI UNIVERSITY OF TECHNOLOGY Department of Computer Science and Engineering Software Business and Engineering Institute, Masterthesis, 24 Februar 2006  Spillner, Andreas; Linz, Tilo: Basiswissen Softwaretest. 4. Auflage. Heidelberg : dpunkt.verlag, 2010  Voigt, Prof. Dr. Kai-Ingo; Springer Gabler Verlag (Hrsg.): Gabler Wirtschaftslexikon, Stichwort: Automatisierung. Version: 6. Springer Gabler V erlag, Oktober  Wikipedia: Softwaretest — Wikipedia, Die freie Enzyklopädie. Version: 2013, Abruf: Oktober 2013  Wirtz, Guido: Enzyklopädie der Wirtschaftsinformatik - Integrationstest. wirtschaftsinformatik.de/wi-enzyklopaedie/lexikon/is-management/Systementwicklung/Hauptaktivitaten- der-Systementwicklung/Software-Implementierung/Testen-von-Software/Integrationstest. Version: Oktober 2010, Abruf: Oktober 2013  Wirtz, Guido: Enzyklopädie der Wirtschaftsinformatik - Modultest. wirtschaftsinformatik.de/wi-enzyklopaedie/lexikon/is-management/Systementwicklung/Hauptaktivitaten- der-Systementwicklung/Software-Implementierung/Testen-von-Software/Modultest. Version: September 2011, Abruf: November

Vielen Dank!