Beispiel für ein Testszenario Allein in einem kleinen Raum versucht eine Frau auf dem am Computerbildschirm simulierten Prototyp eines Handys ihre Telefon-Nummer mit Name und Adresse abzuspeichern. Durch einen Einwegspiegel wird sie dabei von Mitgliedern des Entwicklungsteams, Usability Ingenieuren und einer Videokamera beobachtet. http://flickr.com/search/?q=computer++mobile&page=2 04.12.2018 Spree / Usability

Usability-Tests Was ist ein Usability-Test? Einem/er Nutzer/in wird das zu testende Produkt (Website, Prototyp, Softwarepaket,…) gezeigt und und er / sie wird gebeten: Zu beschreiben, was er/sie vor sich hat Zweck Nutzen Was kann man damit tun? Struktur usw. Verschiedene Schlüsselaufgaben auszuüben (Vgl. Steve Krug: Don‘t make me thiink! Indianapolis: Macmillan, 2000, S. 138-154) Jacob Nielsen: Usability Engineering. San Diego, San Francisco u. a.: Academic Press, 1993, S. 165-207 04.12.2018 Spree / Usability

Was wird beobachtet? Verstehen die Nutzer, worum es geht? Zweck, Anfangspunkte, Service Finden die Nutzer sich zurecht? Navigation Verzögerungen Umwege Durchwurschteln Verstehen die User die Benennungen (Labels)? Versuch und Irrtum Aha! – Erlebnisse (Das versteht man nicht. Wieso haben wir daran nicht gedacht?) Schocks! (Wieso begreifen die Nutzer das nicht?) Inspiration – Ideen für Verbesserungen „da hätte ich jetzt einen Einkaufswagen erwartet und kein Päcken, das sieht ja aus wie ein Geschenk) Begeisterung – was gefällt den Nutzern besonder? 04.12.2018 Spree / Usability

Auswertung der Testergebnisse qualitative Problembeschreibungen Zurück-Knopf nicht gefunden Kann interne Suche nicht von Internet-Recherche unterscheiden quantitative Attributsausprägungen Wie lange? (braucht 2 Min., um Home-Button zu identifizieren) Wie oft? subjektive Einschätzungen angenehme Farben Klares Layout Diese Daten zeigen: ob die Usability-Ziele erfüllt worden sind wo die Probleme bei der Bedienung liegen wie schwerwiegend diese Probleme sind (Abbruch der Aktion oder Verzögerung?) 04.12.2018 Spree / Usability

Was ist messbar? Zeit für Durchführung einer Aufgabe Anzahl der in der vorgegebenen Zeit erfüllten Aufgaben Verhältnis erfolgreicher Aktionen zu Irrtümern Anzahl von Irrtümern Anzahl der Befehle, Features, die nicht verwendet werden Wie häufig wird die Hilfe hinzu gezogen? Anteil der positiven Nutzerkommentare im Vergleich zu negativen Nutzerkommentaren Wie häufig äußern sich die Nutzer wirklich frustriert? Anzahl unlösbarer Probleme Anteil nicht interaktiver Zeit (Antwortzeiten / Bedenkzeit des Nutzers) 04.12.2018 Spree / Usability

Ablaufschema am Beispiel: Thinking Aloud Test Planung Vorbereitung Pilot-Test Durchführung Analyse Vgl. Sabine Wein: Einsatz von Usability-Methoden im Produktionsprozess. Hamburg : Diplomarbeit FH Hamburg, 2001, S. 38 ff. 04.12.2018 Spree / Usability

1. Planung Interessen und Ziele festsetzen Team aufstellen Was wollen wir aus dem Test lernen? Wie sollen die Werte gemessen werden? Team aufstellen Testleiter Beobachter / Protokollant Beteiligte Entwickler Messwerte festlegen (hängt von Zielsetzung ab) Zeitmessung Zufriedenheitsmessung Zielgruppe definieren in Abhängigkeit von vorher definierten Rollen Erfahrungsgrad Aufgaben definieren Features, die alle Nutzer verwenden Teile der Oberfläche, an denen Entwicklungsteam besonderes Interesse hat Bestimmung der Testumgebung In Abhängigkeit von Budget und Zielsetzung 04.12.2018 Spree / Usability

Empfohlene Zahl Testpersonen Aufwändige repräsentative Tests mit über 100 Testpersonen (repräsentative Quantifizierung möglich) Experten haben die Erfahrung gemacht, dass Tests mit 5 bis 7 unterschiedlichen Nutzern schon bis zu 80% der vorhandenen Usability-Probleme aufdecken Grafik: Nielsen: Why you only Need to test with 5 Users, 2000 http://www.useit.com/alertbox/20000319.html 04.12.2018 Spree / Usability

2. Vorbereitungen 3. Pilot-Test Akquise der Teilnehmer Anzeigen od. Marktforschungsinstitute Freunde und Bekannte Aber nicht: interne Mitarbeiter (sind zu voreingenommen) Materialien vorbereiten Vorab-Fragebögen: Usercharakteristika, die helfen die Beobachtungen zu interpretieren Einverständniserklärung Testaufgaben Abschließender Fragebogen (zu den Aufgaben und zum Test) Protokollbögen Pilot-Test durchführen Methode erproben Geräte testen Verständlichkeit der Aufgaben- und Fragebögen überprüfen Metriken testen 04.12.2018 Spree / Usability

4. Durchführung Begrüßen (Beispiel: Hinweise für Testleiter) Checkliste Methode erklären Einverständniserklärung unterschreiben lassen Beobachten, Protokollieren, Messen Protokollformular vorbereiten Kommentare Mousebewegungen Fragen Quantitative Daten festhalten Gefühlsäußerungen festhalten Debriefing Ergänzungen Verabschiedung Dank, Geschenk 04.12.2018 Spree / Usability

4. Analyse und Interpretation Ergebnisse Welche Ergebnisse? Zuordnung der Probleme zu Nutzertypen Welche Probleme tauchen mehrmals auf? Gewichtung der Probleme Ermittlung der Ursachen Empfehlungen erarbeiten Bericht erstellen 04.12.2018 Spree / Usability

04.12.2018 Spree / Usability

Vergleich heuristische Evaluation und Usability-Test (thinking aloud) Problem Heuristi-sche Evaluation Usabi-lity-Test Deckt viele mittlere bis kleine Probleme auf Abgleich mit Standards Gleichmäßige Beurteilung der ganzen Seite Deckt wenige schwerwiegende Usability-Mängel auf Große Überzeugungskraft gegenüber Designern und Auftraggebern X 04.12.2018 Spree / Usability

Evaluationsmethoden Formative Methoden Anwendung während des Entwicklungsprozesses zur kontinuierlichen Verbesserung des Produktes Summative Methoden Zur abschließenden Bewertung des fertig gestellten Produktes. Auch geeignet zum Vergleich verschiedener Produkte 04.12.2018 Spree / Usability

Wann welche Methode? Methode Einsatz Art der Probleme Anzahl Probleme Personal Art Vorteil Nachteil Focus-Groups Ideensammlung Verständnis Anforderungen Nutzer Unterschiedlich Moderator; Teammitglieder; Kunden Diskussion Beteiligung Nutzer Termine; wenig Probleme Fragebögen Bedarfserhebung; Quantifizierung Nutzerwünsche; Zuordnung spez. Nutzereigenschaften Relativ wenig Ersteller und Auswerter Fragebögen; möglichst viele Nutzer Befragung Quantitativ od. qualitativ Quantifizierbar; schnell; wenig Aufwand Genannten Probleme sind nicht die echten Probleme; angemessener Rücklauf notwendig Interviews Immer Nutzerwünsche; Domainkenntnis erwerben Hängt vom Interviewten ab Interviewer; Interviewter Befragung; Kontakt zum Nutzer Nicht quantifizierbar

Wann welche Methode? Methode Einsatz Art der Probleme Anzahl Probleme Personal und Equippment Art Vorteil Nachteil Heuristic evaluation gesamter Entwicklungsprozes Abweichungen von anerkannten Prinzipien Viele (bis 90%) Evaluatoren mit Usability- und Domainkenntnissen In-spek-tion Viele Probleme; Findet keine neuen Bedürfnisse Cognitive Walkthrough Ab Prototyp Aller Art Bis zu 40% Experten. Kenntnis Über Probleme muss vorliegen Dito Eignet sich zum Testen von Abläufen; hilft Ursachen für Fehler finden Userhandlung nur simuliert Thinking-Aloud Ab Prototyp (muss aber schon Funktionalitäten aufweisen) Schwere Probleme Bis zu 50% 5-8 repräsentative Nutzer Moderator; Protokollant; Aufzeichnungssoftware Test Effizient; Deckt Schlüsselprobleme auf Kann unnatürlich für Nutzer sein Instructive interaction Natürlichere Situation als thinking-aloud schwerer zu beobachten; Fehler durch Kooperation der Tester entschärft

Quellen Information & Design: Usability Testing http://www.infodesign.com.au/usabilityresources/evaluation/usabilitytesting.asp Ausarbeitung zum Methodenvergleich von Ursula Schulz http://www.bui.haw-hamburg.de/pers/ursula.schulz/webusability/evaluation.html Krug, Steve: Don't make me think: A common sense approach to web usability.-Indianalpolis: Macmillan, 2000 Bosenick, Tim; Kehr, Steffen; Lorenzen-Schmidt, Olde: Qualität von Usability-Tests aus pragmatisch-praktischer Sicht. In: Jahrbuch 2005 der UPA. Online: http://www.sirvaluse.de/uploads/media/SirValUse_Fachartikel_Qualitaet_Usabilitytests.pdf 04.12.2018 Spree / Usability