Thomas Herrmann Software - Ergonomie bei interaktiven Medien Die Rolle des Testens Understand the users. Involve the users. Perform rapid prototyping and testing. Modify and iterate the design as much as necessary. Integrate the design of all system elements.

Thomas Herrmann Software - Ergonomie bei interaktiven Medien Why testing? Developers and users possess different models. Developers intuitions are not always correct. Here is no average user. Its impossible to predict usability from appearance. Design standards and guidelines are not sufficient. Informal Feedback is inadequate. Products built in pieces almost always have system-level inconsistencies. Problems found late are more difficult and expensive to fix. Problems fixed during development mean reduced support costs later. Advantages over a competitive product can be achieved.

Thomas Herrmann Software - Ergonomie bei interaktiven Medien Was wird getestet? - Usability Usability: Eigenschaften einer Software, die positiv zur –Effektivität –Effizienz und –Zufriedenheit korrelieren, mit der –spezifische Benutzer –spezifische Ziele in einer spezifischen Umgebung erreichen.

Thomas Herrmann Software - Ergonomie bei interaktiven Medien Weitere Definitionen Effectiveness: Genauigkeit und Vollständigkeit, mit denen spezifische Nutzer Ziele in einer ausgewählten Umgebung erreichen. Efficiency: Verhältnis von Ressourcenverbrauch im Vergleich zu der Vollständigkeit und Genauigkeit des erreichten Zieles. Zufriedenheit: Komfort und Akzeptanz, die das Produkt den betroffenen Nutzern ermöglicht.

Thomas Herrmann Software - Ergonomie bei interaktiven Medien Test - Arten Guidelines Review Heuristic Evaluation Cognitive Walkthroughs Usability Test Classic Experiments Focus Groups Demonstrations or Walkthroughs

Thomas Herrmann Software - Ergonomie bei interaktiven Medien Einsatz von Testaufgaben Ziel: Vergleich zweier Systeme mit gleichem Einsatzzweck 1) Entwurf von Aufgaben: Unterschiedliche Schwierigkeit, Abdeckung der relevanten Funktionalität. 2) Auswahl zweier Testgruppen: ausreichende Größe um individuelle Unterschiede auszugleichen. Gleicher Schulungsaufwand für beide Systeme bzw. Gruppen. 3) Quantitative Auswertung der Aufgabenausführung –Zeitaufwand –Vollständigkeit der Lösung –Zahl der Fehler im Bearbeitungsverlauf –Zeitaufwand zur Fehlerbehebung –Zahl der Inanspruchnahmen von Hilfe bzw. Zeitaufwand hierfür 4) Befragung der Benutzer: Gründe für Probleme, Vorlieben

Thomas Herrmann Software - Ergonomie bei interaktiven Medien Before starting the test Explain that the objective is to test the software, not the participants. Explain how the test materials and records will be used. If a consent agreement is to be signed, explain all information on it. If verbal protocols will be collected, let participants practice thinking aloud. Insure all participant questions are answered and the participant is comfortable with all procedures.

Thomas Herrmann Software - Ergonomie bei interaktiven Medien During the test (1) Minimize the number of people who will interact with the participants. If observers will be in the room, limit to two or three. Provide a checklist for recording: –Times to perform tasks. –Errors made in performing tasks. –Unexpected user actions. –System features used/ not used. –Difficult/ easy to use features. Record techniques and search patterns participants employ when attempting to work through a difficulty. If participants are thinking aloud, record assumptions and inferences being made. Record with a tape recorder or video camera.

Thomas Herrmann Software - Ergonomie bei interaktiven Medien During the test (2) Do not interrupt participants unless absolutely necessary. If participants need help, provide some response. –Provide encouragement or hints. –Give general hints before specific hints. –Record the number of hints given. Watch carefully for signs of stress in participants: –Sitting for longs times doing nothing. –Blaming themselves for problems. –Flipping through documentation without really reading it. Provide short breaks when needed. Maintain a positive attitude, no matter what happens.

Thomas Herrmann Software - Ergonomie bei interaktiven Medien After the test: Hold a final interview with participants; tell participants what has been learned in the test. Provide a follow-up questionnaire that asks participants to evaluate the product or tasks performed. If videotaped, use only in proper ways. –Respect participants privacy. –Get written permission to use tape.