Beispiel für ein Testszenario

Präsentation zum Thema: "Beispiel für ein Testszenario"—  Präsentation transkript:

1 Beispiel für ein Testszenario
Allein in einem kleinen Raum versucht eine Frau auf dem am Computerbildschirm simulierten Prototyp eines Handys ihre Telefon-Nummer mit Name und Adresse abzuspeichern. Durch einen Einwegspiegel wird sie dabei von Mitgliedern des Entwicklungsteams, Usability Ingenieuren und einer Videokamera beobachtet. Spree / Usability

2 Usability-Tests Was ist ein Usability-Test?
Einem/er Nutzer/in wird das zu testende Produkt (Website, Prototyp, Softwarepaket,…) gezeigt und und er / sie wird gebeten: Zu beschreiben, was er/sie vor sich hat Zweck Nutzen Was kann man damit tun? Struktur usw. Verschiedene Schlüsselaufgaben auszuüben (Vgl. Steve Krug: Don‘t make me thiink! Indianapolis: Macmillan, 2000, S ) Jacob Nielsen: Usability Engineering. San Diego, San Francisco u. a.: Academic Press, 1993, S Spree / Usability

3 Was wird beobachtet? Verstehen die Nutzer, worum es geht?
Zweck, Anfangspunkte, Service Finden die Nutzer sich zurecht? Navigation Verzögerungen Umwege Durchwurschteln Verstehen die User die Benennungen (Labels)? Versuch und Irrtum Aha! – Erlebnisse (Das versteht man nicht. Wieso haben wir daran nicht gedacht?) Schocks! (Wieso begreifen die Nutzer das nicht?) Inspiration – Ideen für Verbesserungen „da hätte ich jetzt einen Einkaufswagen erwartet und kein Päcken, das sieht ja aus wie ein Geschenk) Begeisterung – was gefällt den Nutzern besonder? Spree / Usability

4 Auswertung der Testergebnisse
qualitative Problembeschreibungen Zurück-Knopf nicht gefunden Kann interne Suche nicht von Internet-Recherche unterscheiden quantitative Attributsausprägungen Wie lange? (braucht 2 Min., um Home-Button zu identifizieren) Wie oft? subjektive Einschätzungen angenehme Farben Klares Layout Diese Daten zeigen: ob die Usability-Ziele erfüllt worden sind wo die Probleme bei der Bedienung liegen wie schwerwiegend diese Probleme sind (Abbruch der Aktion oder Verzögerung?) Spree / Usability

5 Was ist messbar? Zeit für Durchführung einer Aufgabe
Anzahl der in der vorgegebenen Zeit erfüllten Aufgaben Verhältnis erfolgreicher Aktionen zu Irrtümern Anzahl von Irrtümern Anzahl der Befehle, Features, die nicht verwendet werden Wie häufig wird die Hilfe hinzu gezogen? Anteil der positiven Nutzerkommentare im Vergleich zu negativen Nutzerkommentaren Wie häufig äußern sich die Nutzer wirklich frustriert? Anzahl unlösbarer Probleme Anteil nicht interaktiver Zeit (Antwortzeiten / Bedenkzeit des Nutzers) Spree / Usability

6 Ablaufschema am Beispiel: Thinking Aloud Test
Planung Vorbereitung Pilot-Test Durchführung Analyse Vgl. Sabine Wein: Einsatz von Usability-Methoden im Produktionsprozess. Hamburg : Diplomarbeit FH Hamburg, 2001, S. 38 ff. Spree / Usability

7 1. Planung Interessen und Ziele festsetzen Team aufstellen
Was wollen wir aus dem Test lernen? Wie sollen die Werte gemessen werden? Team aufstellen Testleiter Beobachter / Protokollant Beteiligte Entwickler Messwerte festlegen (hängt von Zielsetzung ab) Zeitmessung Zufriedenheitsmessung Zielgruppe definieren in Abhängigkeit von vorher definierten Rollen Erfahrungsgrad Aufgaben definieren Features, die alle Nutzer verwenden Teile der Oberfläche, an denen Entwicklungsteam besonderes Interesse hat Bestimmung der Testumgebung In Abhängigkeit von Budget und Zielsetzung Spree / Usability

8 Empfohlene Zahl Testpersonen
Aufwändige repräsentative Tests mit über 100 Testpersonen (repräsentative Quantifizierung möglich) Experten haben die Erfahrung gemacht, dass Tests mit 5 bis 7 unterschiedlichen Nutzern schon bis zu 80% der vorhandenen Usability-Probleme aufdecken Grafik: Nielsen: Why you only Need to test with 5 Users, 2000 Spree / Usability

9 2. Vorbereitungen 3. Pilot-Test
Akquise der Teilnehmer Anzeigen od. Marktforschungsinstitute Freunde und Bekannte Aber nicht: interne Mitarbeiter (sind zu voreingenommen) Materialien vorbereiten Vorab-Fragebögen: Usercharakteristika, die helfen die Beobachtungen zu interpretieren Einverständniserklärung Testaufgaben Abschließender Fragebogen (zu den Aufgaben und zum Test) Protokollbögen Pilot-Test durchführen Methode erproben Geräte testen Verständlichkeit der Aufgaben- und Fragebögen überprüfen Metriken testen Spree / Usability

10 4. Durchführung Begrüßen (Beispiel: Hinweise für Testleiter)
Checkliste Methode erklären Einverständniserklärung unterschreiben lassen Beobachten, Protokollieren, Messen Protokollformular vorbereiten Kommentare Mousebewegungen Fragen Quantitative Daten festhalten Gefühlsäußerungen festhalten Debriefing Ergänzungen Verabschiedung Dank, Geschenk Spree / Usability

11 4. Analyse und Interpretation
Ergebnisse Welche Ergebnisse? Zuordnung der Probleme zu Nutzertypen Welche Probleme tauchen mehrmals auf? Gewichtung der Probleme Ermittlung der Ursachen Empfehlungen erarbeiten Bericht erstellen Spree / Usability

12 Spree / Usability

13 Vergleich heuristische Evaluation und Usability-Test (thinking aloud)
Problem Heuristi-sche Evaluation Usabi-lity-Test Deckt viele mittlere bis kleine Probleme auf Abgleich mit Standards Gleichmäßige Beurteilung der ganzen Seite Deckt wenige schwerwiegende Usability-Mängel auf Große Überzeugungskraft gegenüber Designern und Auftraggebern X Spree / Usability

14 Evaluationsmethoden Formative Methoden
Anwendung während des Entwicklungsprozesses zur kontinuierlichen Verbesserung des Produktes Summative Methoden Zur abschließenden Bewertung des fertig gestellten Produktes. Auch geeignet zum Vergleich verschiedener Produkte Spree / Usability

15 Wann welche Methode? Methode Einsatz Art der Probleme Anzahl Probleme
Personal Art Vorteil Nachteil Focus-Groups Ideensammlung Verständnis Anforderungen Nutzer Unterschiedlich Moderator; Teammitglieder; Kunden Diskussion Beteiligung Nutzer Termine; wenig Probleme Fragebögen Bedarfserhebung; Quantifizierung Nutzerwünsche; Zuordnung spez. Nutzereigenschaften Relativ wenig Ersteller und Auswerter Fragebögen; möglichst viele Nutzer Befragung Quantitativ od. qualitativ Quantifizierbar; schnell; wenig Aufwand Genannten Probleme sind nicht die echten Probleme; angemessener Rücklauf notwendig Interviews Immer Nutzerwünsche; Domainkenntnis erwerben Hängt vom Interviewten ab Interviewer; Interviewter Befragung; Kontakt zum Nutzer Nicht quantifizierbar

16 Wann welche Methode? Methode Einsatz Art der Probleme Anzahl Probleme
Personal und Equippment Art Vorteil Nachteil Heuristic evaluation gesamter Entwicklungsprozes Abweichungen von anerkannten Prinzipien Viele (bis 90%) Evaluatoren mit Usability- und Domainkenntnissen In-spek-tion Viele Probleme; Findet keine neuen Bedürfnisse Cognitive Walkthrough Ab Prototyp Aller Art Bis zu 40% Experten. Kenntnis Über Probleme muss vorliegen Dito Eignet sich zum Testen von Abläufen; hilft Ursachen für Fehler finden Userhandlung nur simuliert Thinking-Aloud Ab Prototyp (muss aber schon Funktionalitäten aufweisen) Schwere Probleme Bis zu 50% 5-8 repräsentative Nutzer Moderator; Protokollant; Aufzeichnungssoftware Test Effizient; Deckt Schlüsselprobleme auf Kann unnatürlich für Nutzer sein Instructive interaction Natürlichere Situation als thinking-aloud schwerer zu beobachten; Fehler durch Kooperation der Tester entschärft

17 Quellen Information & Design: Usability Testing Ausarbeitung zum Methodenvergleich von Ursula Schulz Krug, Steve: Don't make me think: A common sense approach to web usability.-Indianalpolis: Macmillan, 2000 Bosenick, Tim; Kehr, Steffen; Lorenzen-Schmidt, Olde: Qualität von Usability-Tests aus pragmatisch-praktischer Sicht. In: Jahrbuch 2005 der UPA. Online: Spree / Usability