Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 1LM 13 Testumgebungen - Abnahmetests Testumgebungen - Abnahmetests Inhalt Testen des Systems unter Mitwirkung des Auftraggebers in der realen Einsatzumgebung ggf. mit echten Daten Typische Testfälle Beim Abnahmetest zu beachtende Punkte Abnahmearten bei großen Systemen

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 2LM 13 Testumgebungen - Abnahmetests Das sollten Sie heute lernen Die Entwicklung grosser Softwaresysteme endet in der Regel mit einer Werkabnahme. Dadurch wird nachgewiesen, dass in einer gemeinsam mit dem Auftraggeber definierten Umgebung die vertraglich festgelegten Funktionalitäten des Systemes realisiert wurden. Die Funktionalitäten werden über Testitems beschrieben. Testprozeduren beschreiben darauf aufbauend die zum Test notwendigen Voraussetzungen, die Durchführungsschritte und das erwartete Verhalten. Im Lehrmodul wird versucht die Verbindung des Abnahmetests mit der Spezifikation zu verdeutlichen und Erfahrungen aus Werkabnahmen grosser objektorientierter Systeme zu vermitteln. Der Test großer Systeme muß durch Testumgebungen unterstützt werden. An Hand einer ausgewählten Testumgebung (z.B. Test Studio von Rational) sollen die Vorteile solcher Tools erläutert werden. Der Einsatz des Tools wird an Beispielen wie etwa Funktions-, Regressions- und Performancetests gezeigt.

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 3LM 13 Testumgebungen - Abnahmetests Abnahmetest Auftraggeber überprüft die (vertraglich vereinbarten) Abnahmekriterien Wartung verbleibt bei Auftragnehmer: Benutzbarkeit, Effizienz, Zuverlässigkeit, Korrektheit, … werden getestet Wartung geht auf Auftraggeber über: zusätzlich spielen Wartbarkeit, Portierbarkeit, Testbarkeit, Erweiterbarkeit, … eine wichtige Rolle Abnahmeprotokoll: In ihm werden die durchgeführten Abnahmetests und ihre Ergebnisse festgehalten. Abnahme: Schriftliche Erklärung der Annahme des Softwareprodukts (im juristischen Sinne).

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 4LM 13 Testumgebungen - Abnahmetests Vorgehensweise bei der Wartung

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 5LM 13 Testumgebungen - Abnahmetests Fehlervermeidung und -suche im Überblick

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 6LM 13 Testumgebungen - Abnahmetests Der Testprozess als Bestandteil des SE Prozesses:

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 7LM 13 Testumgebungen - Abnahmetests Übersicht automatisiertes Testen Vorbereitung Auswahl und Erfassung der Testfälle Zuordnung der Verantwortlichkeiten Festsetzung eines Testkandidaten (TC) Freigabe von Testfällen Erstellung von automatisierten Testskripten Durchführung Automatisierte bzw. manuelle Abarbeitung der definierten Testfälle (Regressionstest) Ergebnissicherung Melden und Verfolgen von Fehlern Auswertung Erstellung/Generierung von Testprotokollen Analyse und Auswertung der Testprotokolle ->Testbericht Werkzeuge Testfall-Datenbank ClearCase (KM-Werkzeug) Testfall-Datenbank Rational TestStudio (RT) - Robot RT Manager/Execution RT Manager/Results und ClearCase GNATS-Problemdatenbank Word/CrystalReports bzw. SoDA Excel/CrystalReports

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 8LM 13 Testumgebungen - Abnahmetests Grundsätzlicher Arbeitsablauf Capture/Replay

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 9LM 13 Testumgebungen - Abnahmetests (1) Auswahl und Erfassung der Testfälle Die Spezifikation von abnahmerelevanten Testfällen wird vom AG vorgenommen. In IMIS wird eine Access-basierte Testdatenbank zur Verwaltung der Testfälle verwendet. Zu jedem Testfall wurden die Vorbedingungen, die durchzuführenden Testschritte mit Eingabedaten und die zu erwartenden Systemreaktionen (Ergebnis) auf Maskenebene beschrieben.

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 10LM 13 Testumgebungen - Abnahmetests (2) Freigabe von Testfällen durch den Entwickler Die Verantwortlichkeiten für die Testfälle wurden durch die TPL festgelegt Jeder Entwickler hat Zugriff auf die Testfälle (analog /digital) und kann unter Nutzung der Testfall-DB Berichte mit der Beschreibung des Testfalles generieren Der Entwickler überprüft, ob die notwendige Funktionalität zur Ausführung eines Testfalles zur Verfügung steht. Wenn ja, setzt der Entwickler diesen Testfall in der Testfall-DB – unter Angabe des IntegrationRequest (IR)- auf testbar

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 11LM 13 Testumgebungen - Abnahmetests (3) Testkandidat Der KM-Verantwortliche stellt in regelmäßigen Abständen (Fertigstellungsgrad, Stand der Fehlerbehebung) einen Testkandidaten (TC) zur Verfügung. Dieser wird in ClearCase als solcher gekennzeichnet (TC-JJMMDD-HHMM) In der Testfall-DB steht dem Testteam ein Bericht mit der Übersicht der freigegebenen Testfälle für den jeweiligen Testkandidaten (TC) zur Verfügung.

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 12LM 13 Testumgebungen - Abnahmetests (4) Erstellung automatisierter Testskripte Mit dem RationalRobot werden Testscripte mittels Capture und Replay Technik generiert. Dazu werden die Testfälle Schritt für Schritt abgearbeitet und anschließend - wo dies notwendig ist - manuell editiert. Prüfpunkte Synchronisationspunkte

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 13LM 13 Testumgebungen - Abnahmetests (5) Testplan und Testsuiten Ist ein Script implementiert wird dies im Testplan dem jeweiligen Testfall zugeordnet Skripte und Testpläne sind in einem Testprojekt abgelegt, dass für alle Teammitglieder zugreifbar ist Regressionstest: Die Testscripte sollen möglichst Modular aufgebaut sein. Sie werden in TestSuiten kombiniert. Die TestSuiten werden für jeden Testkandidaten ausgeführt

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 14LM 13 Testumgebungen - Abnahmetests (6) Ergebnissicherung LOG-Files: Für jeden Testfall (Suite), der mit dem Rational TestManager wiederholt wird, erzeugt das Werkzeug ein LOG-File. Die LOG-Files werden in Ordnern, deren Namen den Testkandidaten entsprechen, archiviert. Das LOG-File hat drei Konkretisierungsstufen. 1. Test Case Results: Gesamtergebnis 2. Test Case Details: Detailergebniss 3. Fehlerbeschreibung

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 15LM 13 Testumgebungen - Abnahmetests (7) Melden und Verfolgen von Fehlern GNATS-Problemreport Synopsis (Testfallname und sprechende Kuzbeschreibung des Fehlers) Description (ausführlichere Fehlerbeschreibung)

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 16LM 13 Testumgebungen - Abnahmetests (8) Analyse und Auswertung Testfallprotokoll für jeden Testfall Übersichten zu den Regressionstests für jeden Testkandidaten Testbericht für den jeweiligen Meilenstein Meilenstein

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 17LM 13 Testumgebungen - Abnahmetests Möglichkeiten und Grenzen des automatisierten Testens + Automatisierte Tests laufen, wenn sie einmal erstellt wurden, schneller ab als manuelle Tests, sind konsistenter und können ohne großen Mehraufwand beliebig oft wiederholt werden + Automatisierte Tests - das Abspielen eines oder mehrerer Testskripts - können unbeaufsichtigt laufen. Dies ermöglicht die Durchführung von Tests nachts oder am Wochenende, was eine effektivere Nutzung der Zeit wochentags erlaubt, um die erkannten Fehler zu analysieren und die Tests zu vervollständigen. - Beim automatisierten Testen treten zunächst zusätzliche Kosten auf. Das sind Anschaffungs-, Entwicklungs- und Instandhaltungskosten des C/R-Tools. - Das Aufzeichnen von Benutzeraktivitäten ist erst zu einem sehr späten Zeitpunkt in der Entwicklung einer Software möglich, wenn die meiste Funktionalität bereits implementiert ist. - Automatisiertes Testen ist erst wirtschaftlich, wenn Tests mehrfach wiederholt werden.

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 18LM 13 Testumgebungen - Abnahmetests Diese Fragen sollten Sie jetzt beantworten können

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 19LM 13 Testumgebungen - Abnahmetests Weitere Informationen und Internetadressen

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 20LM 13 Testumgebungen - Abnahmetests Literatur G.E.Thaller, Software und Systementwicklung Aufbau eines praktikablen QM Systems nach ISO 90001:2000, Heise Verlag 2002 H. Balzert: Lehrbuch der Softwaretechnik: Software-Management, Software-Qualitätssicherung,Unternehmensmodellierung, Spektrum Verlag (1998) G.E. Thaller: Software-Metriken: einsetzen, bewerten, messen, Heise- Verlag (1994)

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 21LM 13 Testumgebungen - Abnahmetests Begriffe

Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2 Qualitätsmanagement Folie 22LM 13 Testumgebungen - Abnahmetests Quellen