Formale Methoden Testmanagement Julia Volkmer, Michael Zschintzsch, Sebastian Ballert Wismar,

Präsentation zum Thema: "Formale Methoden Testmanagement Julia Volkmer, Michael Zschintzsch, Sebastian Ballert Wismar,"—  Präsentation transkript:

1 Formale Methoden Testmanagement Julia Volkmer, Michael Zschintzsch, Sebastian Ballert Wismar, 25.11.2012

2 Seite 2 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 1.Einleitung 2.Notwendigkeit des Testmanagements 3.Aspekte des Testmanagements 4.Outsourcing als Alternative zum reinen In-House-Testen 4.Fallbeispiel – Vanguard AG 5.Fallbeispiel – airberlin 6.Fazit Inhalt

3 Seite 3 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 1. Notwendigkeit eines strukturierten Testmanagements Was versteht man unter Testmanagement? „Als Testen wird der gesamte Prozess bezeichnet, ein Programm auf systematische Weise auszuführen, um die korrekte Umsetzung der Anforderungen nachzuweisen und um Fehlerwirkungen aufzudecken.“ 1 1 Rosner, T., 2010.

4 Seite 4 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert Mangelnde Abstimmung zwischen Anwendungsentwicklern und TesternUnzureichende Verankerung des TestensGeringer Automatisierungsgrad des TestensUngeeignete Auswahl von Testmethoden Quelle: Eigene Darstellung in Anlehnung an: IDC Central Europe GmbH, 2012 1. Notwendigkeit eines strukturierten Testmanagements Was ist schlechtes Testmanagement?

5 Seite 5 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 1. Notwendigkeit eines strukturierten Testmanagements Beispiele für Softwarefehler durch schlechtes Testmanagement Quelle: Eigene Darstellung In Anlehnung an Certitudo GmbH, 2010.

6 Seite 6 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert Gegenseitiges testen Hinzunahme anderer Organisationseinheiten Hinzunahme unabhängiger TesterAufteilung der Entwicklerteams Aufstellung unabhängiger Tester 2. Aspekte des Testmanagements Testorganisation  Größte Schwierigkeit: Zusammenstellung der Testteams  Vorteile unabhängiger Tester  Modelle für das unabhängige Testen Komponententest Systemtest Integrationstest Komponententest Integrationstest Systemtest

7 Seite 7 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert  Zu besetzende Rollen und Eigenschaften 2. Aspekte des Testmanagements Qualifikation des Testteams Testmanager (Testleiter) Experte für: Testplanung, Qualitäts- u. Projektmanagement Testdesigner Experte für: Testmethoden u. –spezifikation Testautomatisierer Experte für: Testautomatisierung Testadministrator Experte für: Installation u. Betrieb der Testumgebung Tester Experte für: Testdurchführung; Bugreports

8 Seite 8 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 2. Aspekte des Testmanagements Testplanung  1. Bündelung der Maßnahmen des Testens – 16 Aktionspunkte Kriterien für Teststart und Testende Quelle: Eigene Darstellung in Anlehnung an Linz; Spillner, 2010, S. 178-183. Qualitätssicherungsplan Testkonzept  2. größte Herausforderung  3. Evaluierung von kritischen Testfällen Priorisierung der Tests  4. Definition Kriterien für Teststart und Testende

9 Seite 9 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 2. Aspekte des Testmanagements Kosten- und Wirtschaftlichkeitsaspekte  Ziele des Testens: 1.Erhöhung der Software-Qualität durch Fehlerkorrektur 2.Minimierung der Unsicherheit bezüglich der Qualität  Fehlerkosten + Testkosten = Kostenminimum Quelle: http://qse.ifs.tuwien.ac.at/courses/skriptum/download/06_testen_wid_20031017.pdf, S. 3.

10 Seite 10 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 2. Aspekte des Testmanagements Kosten- und Wirtschaftlichkeitsaspekte  Fehlerkosten:  Direkte Fehlerkosten  Indirekte Fehlerkosten  Fehlerkorrekturkosten  Testkosten:  Auseinandersetzen mit Einflussfaktoren des Testprozesses  Reifegrad des Entwicklungsprozesses  Qualität und Testbarkeit der Software  Testinfrastruktur  Mitarbeiterqualifikation  Qualitätsziele  Teststrategie  Schätzung des Testaufwands Quelle: http://qse.ifs.tuwien.ac.at/courses/skriptum/ download/06_testen_wid_20031017.pdf, S. 2

11 Seite 11 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 2. Aspekte des Testmanagements Wahl der Teststrategie  Teststrategie  Definition von Testzielen und Maßnahmen  Bestimmen des Testaufwands und der Testkosten  Vorbeugender vs. reaktiver Ansatz  Analytischer vs. heuristischer Ansatz  Praxistaugliche Herangehensweisen sind Mischformen  Testen und Risiko  Projektrisiken (Lieferantenseitige Risiken, Organisationsbezogene Risiken, Technische Probleme)  Produktrisiken

12 Seite 12 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert  Zyklischer Verlauf des Testprozesses erfordert das Planen und Managen der Zyklen durch den Testmanager Zyklus- planung Feinp lanun g abhä ngig von Entwi cklun gssta nd, Teste rgebn issen und Resso urcen Zyklusüber- wachung Erstellung eines Teststatusberichtes auf Basis definierter Metriken Bsp.: fehlerbasiert, testfallbasiert, testobjektbasiert oder kostenbasiert Zyklus- steuerung Anpassen der Planung bei Verzögerungen Einteilung zusätzlicher Ressourcen oder Anpassen des Projektplanes 2. Aspekte des Testmanagements Management der Testarbeiten

13 Seite 13 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert  Fehlermanagement = Zusammenfassung aller Techniken und Methoden für den strukturierten Umgang mit Software-Anomalien  Fehlermeldungen werden meist standardisiert in einer Fehlerdatenbank angelegt und beinhalten  Identifikationsmerkmale (z.B. ID, Name des Testobjektes…)  Klassifikationsmerkmale (z.B. Priorität, Status…)  Beschreibungsmerkmale (z.B. Testfall, Problembeschreibung…)  Wichtig zur Beurteilung des Fehlers ist eine korrekte Klassifikation  Fehlerschwere beschreibt die Auswirkungen  Fehlerpriorität beschreibt wie schnell der Fehler behoben werden muss  Erkannte Fehler sollten ein standardisiertes Statusmodell durchlaufen 2. Aspekte des Testmanagements Fehlermanagement

14 Seite 14 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 2. Aspekte des Testmanagements Fehlermanagement Quelle: Hoffmann, D. W., 2008, S. 478.

15 Seite 15 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 2. Aspekte des Testmanagements Konfigurationsmanagement AnforderungenBeschreibung Versionenverwaltung -Katalogisieren, Speichern und Wiederabrufen von unterschiedlichen Versionen eines Konfigurationsobjektes -Mitführen von Kommentaren, aus denen der jeweilige Änderungsgrund hervorgeht Konfigurationsverwaltung -Bestimmen und Verwalten aller Dateien in der jeweils passenden Version, die zusammen ein Teilsystem bilden Statusverfolgung von Fehlern und Änderungen -Aufzeichnen von Problemberichten und Änderungsanforderungen und die Möglichkeit, deren Umsetzung an den Konfigurationsobjekten nachzuvollziehen Durchführen von Konfigurationsaudits -Prüfen, ob alle Softwarebausteine vom Konfigurationsmanagement erfasst werden bzw. ob die Konfiguration korrekt identifiziert werden können Quelle: Eigene Darstellung in Anlehnung an: Spillner; Linz, 2010, S. 204-205.

16 Seite 16 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 2. Aspekte des Testmanagements Relevante Normen und Standards QuelleBeispiel Firmenstandards  Firmeninterne Richtlinien und Verfahrensanweisungen Best Practices  Nicht standardisierte, aber fachlich bewährte Vorgehensweisen und Verfahren, die den Stand der Technik darstellen Qualitätsmanagementstandards  Branchenübergreifende Standards (z.B. ISO9000) Branchenstandards  Branchenstandards  [DIN 60601-1-4] für Medizinprodukte  [RTC-DO 178] für Software in Flugzeugen  [EN 50128] für Bahn-Signalsysteme Softwarestandards  Prozessstandards (produktunabhängig)  [BS 7925-2]  [IEEE 829]  [IEEE 1028] Quelle: Eigene Darstellung in Anlehnung an: Spillner; Linz, 2010, S. 206-207.

17 Seite 17 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 3. Outsourcing als Alternative zum reinen In-House-Testen Ziele und Hintergründe  Bietet sich vor allem dann an, wenn intern keine Ressourcen für das Testen vorhanden sind oder diese „innovativ“ sein sollen  Verschiedene Modelle zwischen Auslagerung von einzelnen Bereichen bis zum gesamten Testmanagement möglich  Dienstleister bieten schlüssel- fertige Lösungen  Ziele des Outsourcings sind u.a.  Die Senkung der Kosten  Die Verringerung der Testzeiten  Die Erhöhung der Flexibilität Quelle: Pierre Audoin Consultants GmbH, 2011, S. 11.

18 Seite 18 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert  Laut PAC-Studie arbeiten 66 % bereits mit Dienstleistern zusammen  Derzeit zweistellige Wachstumsraten  Bedeutung des Testens steigt durch zunehmende Komplexität der IT  Zusammenarbeit mit externen Dienstleistern im Trend  Strategische Überlegungen gewinnen an Bedeutung  Kunden fordern immer öfter unabhängige Tests  Weitere Studien zeigen deutlichen schwächeren Trend  Entwicklung derzeit nicht vorhersehbar 3. Outsourcing als Alternative zum reinen In-House-Testen Aktuelle Verbreitung Quelle: Pierre Audoin Consultants GmbH, 2011, S. 10.

19 Seite 19 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert  Auswahl sollte auf vorher definierten Kriterien erfolgen  Es gilt DEN Anbieter zu finden, besonders bei dem Ziel einer mehrjährigen Zusammenarbeit  Erfolgsfaktoren für die Zusammenarbeit  Schnelligkeit und Flexibilität der Testing-Aktivitäten  Enge Abstimmung und sehr gute Kommunikation  Fachliche Kompetenz des Dienstleisters  Regelmäßige Erfolgsmessung durch entsprechende KPIs und Abrechnung auf Basis von tatsächlichen Ergebnissen 3. Outsourcing als Alternative zum reinen In-House-Testen Auswahlkriterien und Aspekte für eine gute Zusammenarbeit Quelle: Pierre Audoin Consultants GmbH, 2011, S. 21.

20 Seite 20 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 4. Fallbeispiel – Vanguard AG  VANGUARD AG – Vorreiter in der validierten Spezialaufbereitung komplexer Medizinprodukte in Europa  SPMintegra – Chargendokumentationssystem für ZSVA´s  Lückenlose Dokumentation des Aufbereitungsprozesses  Rückverfolgung von Medizinprodukten  Vielfältige Analyse- und Abrechnungsmöglichkeiten  Problembeschreibung:  Ressourcensituation: 2 Studenten verantwortlich für Softwaretest  Fehlerhafte bzw. fehlende Ausgabe von Preisen in der Auswertung „Kostenstatistik“  Geschätzter Verlust: 15.000 €

21 Seite 21 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 4. Fallbeispiel – Vanguard AG Fazit  Einbeziehen aller Bereiche der VANGUARD IT in den Testprozess  Genaue Einweisung der neuen Kollegen bzw. zusätzliche Schulungen  Installation eines zusätzlichen Testsystems  Konzentration auf das Wesentliche  Priorisierung von kritischen Softwarekomponenten  Permanente Überprüfung des Testprozesses

22 Seite 22 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 5. Fallbeispiel – airberlin  airberlin und die mobile Strategie  Ausgangssituation: Einführung neue Tarifstruktur  Online oder mobilen (iPhone App) Check- in  Kein Sitzplatzwechsel  Umsetzung der Anpassungen inkl. Testing: 5 Werktage an Manager- und Entwicklerressourcen  Der Check-in Prozess: Eingabe Buchungsnummer und Nachname Auswahl der einzucheckenden Passagiere Auswahl der zum Check-in bereitstehenden Flüge Sitzplatzauswahl Versendung der Bordkarten  Die Umsetzung  Externe Agentur - Testing liegt bei beiden Partnern  Anforderung an Agentur: Schnittstellenvariable für den neuen Tarif liefert airberlin den Kenner „Z“ in einem speziell zu verarbeitenden Webservice für den Check-in mit. Dieser muss korrekt von der Agentur ausgewertet werden, um die Sitzplatzauswahl zu unterdrücken. Ziel: Das erfolgreiche Einchecken ohne systemseitigen Absturz sowie die erfolgreiche Umsetzung der Anforderungen

23 Seite 23 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert Kriterien für Teststart und Testende - Teststart: Bereitstehen der Testumgebung - Testende: Erfolgreiche Check-ins 5. Fallbeispiel – airberlin Testphase  Bereitstellung Testversion – internes Aufstellen der Testfälle, Anlegen von Testflügen  Phasen der Testplanung: Kriterien für Teststart und Testende Qualitätssicherungsplan Testkonzept Priorisierung der Tests Qualitätssicherungsplan Zweck und Anwendungsbereich  Umsetzung unternehmensweiter Anforderungen durch die Tarifumstellung Projektorganisation  Briefing der Agentur, Bereitstellung von Ressourcen Dokumentation  Anforderungen, Anpassung der Schnittstellendokumentation Testkonzeption – Testfälle 1.Test: Erfolgreicher Check-in mit Ausblendung der Sitzplatzauswahl 2.Test: Erfolgreicher Check-ins mit den anderen Tarifarten 3. Test: Erfolgreicher Check-ins mit allen Kombinationen der verschiedenen Vielfliegerstatus. Übergeordnete Testfälle: die Übernahme der topbonus Nummer, den Erhalt aller Statusbenefits sowie die erfolgreiche Zusendung der Bordkarte voraus. Priorisierung der Tests - Wenig Zeit, Priorisierung = Fokussierung auf reine Kernfunktionalitäten

24 Seite 24 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert 5. Fallbeispiel – airberlin Fazit  Update Einstellung im Appstore  Fehler bei folgenden Voraussetzungen -Topbonus Status Classic und Tarifart Just Fly = fehlerhaftes Verhalten bei Versendung der Bordkarte  Quellcode Anpassungen zur Stabilitätsverbesserung der App durch die Agentur Fazit: 1.Kein umfangreiches Testkonzept 2.„Blindheit“ des Managers ggü. seinen eigenen Prozessen 3.Lediglich die Kernprozesse wurden in das Testkonzept aufgenommen 4.Techn. Verhalten der App bei zusätzlichem Kenner bei der Bordkartenauswahl war nicht bekannt Learnings 1.Testarbeiten sollten einem Projektteilnehmer zugeordnet werden 2.Outsourcen der Testarbeiten

25 Seite 25 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert  Die Nutzung von Software hat sich im Alltag des Menschen etabliert  Einwandfreies Funktionieren der Software wird vorausgesetzt  Beispiele zahlreicher Software-Abstürze zeigen die Auswirkungen schlechten Testmanagements  „Management des Testens“ sollte ein wichtiger Bestandteil der Software-Entwicklung sein  Es gilt verschiedene Aspekte, wie Testplanung oder Testorganisation, zu berücksichtigen  Outsourcing stellt eine Alternative zum reinen In-House-Testen dar  Fallbeispiele haben gezeigt, das Theorie und Praxis noch weit auseinander liegen können 6. Fazit

26 Seite 26 Testmanagement Julia Steffi Volkmer, Michael Zschintzsch, Sebastian Ballert  CERTITUDO GMBH: Softwarefehler im historischen Ablauf, verfügbar unter: http://www.certitudo-gmbh.de/g_geschichte.html  Hoffmann, D. W. (2008): Software-Qualität. 1. Aufl. Berlin, Heidelberg: Springer Verlag.  IDC Central Europe GmbH (2012): IDC-Studie: Viele Unternehmen sind Testmuffel, verfügbar unter: http://www.ferchau.de/news/archiv/details/idc-studie-viele-unternehmen-sind-testmuffel-1082/  Pierre Audoin Consultants GmbH (2011): Wachstumsmarkt Software-Testing – Markttrends, Dienstleister und Erfolgsfaktoren, verfügbar unter: http://ict-researchboard.de/files/pac_positioning_paper_testing_final_de_ 110608.pdf  Rossner, T.; Brandes, C.; Götz, H.; Winter, M. (2010): Basiswissen Modellbasierter Test. 1. Aufl. Heidelberg: dpunkt.verlag GmbH.  Spillner, A.; Linz, T. (2010): Basiswissen Softwaretest. 4. Aufl. Heidelberg: dpunkt.verlag GmbH. Quellen