Usability Test Methods vs

Slides:



Advertisements
Ähnliche Präsentationen
Quantitative und Qualitative Marktforschung
Advertisements

Benutzerorientierte Designprinzipien für die Microsoft-Guidelines
Programmieren im Großen von Markus Schmidt und Benno Kröger.
Wissensanalyse von Aufgaben mit TKS Eine Methode zur Problemlösung
Vorlesung: 1 Betriebliche Informationssysteme 2003 Prof. Dr. G. Hellberg Studiengang Informatik FHDW Vorlesung: Betriebliche Informationssysteme Teil3.
Evaluation von Gesundheitsförderung im Unterricht und in der Schule
Modelle und Methoden der Linearen und Nichtlinearen Optimierung (Ausgewählte Methoden und Fallstudien) U N I V E R S I T Ä T H A M B U R G November 2011.
Ontologien- Query 1 Teil2
Die Deutschen im Herbst 2008
1 JIM-Studie 2010 Jugend, Information, (Multi-)Media Landesanstalt für Kommunikation Baden-Württemberg (LFK) Landeszentrale für Medien und Kommunikation.
Objektorientierter Entwurf (OOD) Teil 3: Qualitätsmodell
„Wissenschaftliches Arbeiten“ Was soll denn das sein?
Universität Stuttgart Institut für Kernenergetik und Energiesysteme LE 3.2- LM 8 - LO 9 Definitionen zu LM 8.
Sortierverfahren Richard Göbel.
Philosophische Fakultät 3: Empirische Humanwissenschaften Fachrichtung Erziehungswissenschaft Statistik I Anja Fey, M.A.
Teil 1: Warum 1 % Beitrag für die IG Metall
Internet facts 2008-II Graphiken zu dem Berichtsband AGOF e.V. September 2008.
Vorlesung: 1 Betriebliche Informationssysteme 2003 Prof. Dr. G. Hellberg Studiengang Informatik FHDW Vorlesung: Betriebliche Informationssysteme Teil2.
PKJ 2005/1 Stefan Dissmann Zusammenfassung Bisher im Kurs erarbeitete Konzepte(1): Umgang mit einfachen Datentypen Umgang mit Feldern Umgang mit Referenzen.
eXtreme Programming (XP)
Experimentaufbau und -design
Modellierungsmethoden in der Verhaltenstherapie
Dieter Bergmann, Lichtenfels
Fritz Gempel Personalmonitoring Sozialwissenschaftliche Methoden zur Unterstützung der Personalentwicklung.
Tutorium
Themenfeld „Daten und Zufall“ – arithmetisches Mittel – Klassenstufe 5/6 Ariane Dubiel, Azida Shahabuddin, Sandra Mense.
Rechneraufbau & Rechnerstrukturen, Folie 12.1 © W. Oberschelp, G. Vossen W. Oberschelp G. Vossen Kapitel 12.
Distanzbasierte Sprachkommunikation für Peer-to-Peer-Spiele
2 Distanzbasierte Sprachkommunikation für Peer-to-Peer-Spiele.
Maschinelles Lernen und automatische Textklassifikation
1. 2 Schreibprojekt Zeitung 3 Überblick 1. Vorstellung ComputerLernWerkstatt 2. Schreibprojekt: Zeitung 2.1 Konzeption des Kurses 2.2 Projektverlauf.
20:00.
Externe Bewertung in IB-Biologie
Ein wunderbares Gefühl.”
Studie Einfluss der Sitzposition in den Vorlesungsräumen auf die studentische Leistung Jochen Jung, Larry Maus und Steffen Brünske.
EXCEL PROFESSIONAL KURS
Dokumentation der Umfrage
User-Centred Design Kosten und Gewinne des nutzerorientierten Gestaltungprozesses Irene Escudé Capdevila März 2012.
Where Europe does business Lück, JDZB | Seite © GfW NRW 252 a.
Gestaltung von Folien mit Powerpoint
Kinder- und Jugenddorf Klinge Qualitätsentwicklung Januar 2005 Auswertung der Fragebögen für die Fachkräfte in den Jugendämtern.
Und auch: Das Hattie-Quiz
Auswirkungen von körperlicher Aktivität
STATISIK LV Nr.: 1375 SS März 2005.
Die Struktur von Untersuchungen
Analyse von Ablaufdiagrammen
PROCAM Score Alter (Jahre)
WINTEGRATION®.
Vorlesung Mai 2000 Konstruktion des Voronoi-Diagramms II
Symmetrische Blockchiffren DES – der Data Encryption Standard
Die ersten Schritte bei der Entdeckung der Statistik
Zahlentheorie und Zahlenspiele Hartmut Menzer, Ingo Althöfer ISBN: © 2014 Oldenbourg Wissenschaftsverlag GmbH Abbildungsübersicht / List.
MINDREADER Ein magisch - interaktives Erlebnis mit ENZO PAOLO
1 (C)2006, Hermann Knoll, HTW Chur, FHO Quadratische Reste Definitionen: Quadratischer Rest Quadratwurzel Anwendungen.
Produktvergleich durch Werbung und Fragebogen
Management, Führung & Kommunikation
Soziale Repräsentationen von pädagogischen Fachkräften zu interkulturellem Lernen Forschungsprojekt:
Es war einmal ein Haus
Methoden Die klassische Methode der Psycholinguistik (genauso wie der experimentellen Psychologie im Allgemeinen) ist die Messung von Reaktionszeiten.
Zum Einfluss subjektiver und objektiver Merkmale auf die Wiedererkennung von Werbeplakaten Antje Bauer & Stefanie Frehse Institut für Allgemeine Psychologie.
Sehen, Hören, Schmecken: wenn uns unsere Sinne täuschen
Empirische Sozialforschung am Beispiel der Limburger Nordstadt
1 Medienpädagogischer Forschungsverbund Südwest KIM-Studie 2014 Landesanstalt für Kommunikation Baden-Württemberg (LFK) Landeszentrale für Medien und Kommunikation.
Methoden der Sozialwissenschaften
The link between leadership and followership: How affirming social identity translates vision into action. Projektarbeit Sozialpsychologie: Soziale Identität.
Unterricht vorbereiten und durchführen
Die klassischen Methoden der historisch-vergleichenden Forschung Universität Zürich Soziologisches Institut Seminar: Methoden des internationalen Vergleichs.
Cognitive Walkthrough: Was ist das?
 Präsentation transkript:

Usability Test Methods vs Usability Test Methods vs. Usability Inspection Methods, Eye-Tracking, Repertory Grid Manja Nelius Universität Rostock

2. Usability-Test-Methoden Gliederung [1|2] 1. Einführung Motivation grundlegende Methoden Testziele 2. Usability-Test-Methoden Überblick methodologische Betrachtungen Testmethoden 3. Usability-Inspektionsmethoden Inspektionsmethoden Manja Nelius Universität Rostock

4. Test- vs. Inspektionsmethoden Gliederung [2|2] 4. Test- vs. Inspektionsmethoden Warum ist der Vergleich wichtig? Vergleichskriterien Studie 5. Eyetracking Überblick Anwendungsmöglichkeiten 6. Repertory-Grid-Technik Durchführung Auswertung 7. Literaturhinweise Manja Nelius Universität Rostock

5 Gründe, warum SW benutzerfreundlich sein sollte 1. Akzeptanz einfache Interfaces machen mehr Spaß Kundenbindung (ein guter Ruf ist sehr von Vorteil) 2. Motivation Benutzer fühlt sich kompetent und nicht bevormundet 3. Image Benutzerfreundlichkeit = Kundenfreundlichkeit Usability ist zum „Trend“ geworden 4. Fehlerrobustheit weniger frustrierte Nutzer durch ausführliches Testen werden Fehler vermieden 5. Kosten Verringerung der Entwicklungskosten geringere Support- und Administrationskosten Manja Nelius Universität Rostock

5 Gründe, warum SW nicht benutzerfreundlich ist 1. Sie wird von Informationsexperten geschrieben, die sich nicht mehr an die Zeit erinnern können, als sie noch keine Experten waren: Programmierer. 2. Sie wird von Marketingstrategen geplant, die meinen, dass Ergonomie nicht zu den Features gehört, die auf der Packung aufgezählt werden. 3. Sie wird von Projektleitern betreut, die gegen Ende der Fertigstellung alles wegstreichen, das nach zusätzlichem Zeitaufwand aussieht, weil sonst nichts fertig würde. 4. Sie wird von Managern organisiert, die vor lauter Druck weder nach rechts noch nach links schauen. 5. Sie wird von Geldgebern finanziert, die genau zu den falschen Zeitpunkten an Mitteln sparen: am Anfang in der Konzeption und am Ende beim Testen. Manja Nelius Universität Rostock

grundlegende Methoden automatische Evaluation Überprüfung von Usability-Kriterien durch Evaluationssoftware funktionieren nur schlecht empirische Evaluation Test mit realen Nutzern Testpersonen sind teuer und schwer zu finden formale Evaluation exakte Modelle und Formeln schwer anzuwenden, ungeeignet für komplexe und hochinteraktive Nutzerschnittstellen informale Evaluation basierend auf Daumenregeln, allg. Fachwissen, Kenntnissen und Erfahrungen spart die Testpersonen ein  Kombination empirischer & informaler Methoden Manja Nelius Universität Rostock

erzieherische Aspekte Testziele Herausstellung von Usability-Problemen einer Nutzerschnittstelle & Vorschläge zur Beseitigung der Probleme und Verbesserung des Designs Usability-Problem = jeder Aspekt eines Designs, bei dem eine Veränderung zur Verbesserung des Systems führen würde Hauptaufgabe: Klassifikation und Zählen der gefundenen Usability-Probleme Analyse: Was macht ein Usability-Problem aus? Wie viele verschiedene Phänomene führen zu einem Problem? erzieherische Aspekte gibt den Entwicklern Einblick in den nutzerorientierten Standpunkt große Kommunikation zw. Testpersonen, Experimentatoren, Inspektoren… Manja Nelius Universität Rostock

Tests haben Wurzel in der experimentellen Psychologie Überblick Durchführung von Experimenten mit realen Nutzern, um spezifische Informationen über ein Design zu gewinnen liefert direkte Erkenntnisse darüber, wie Menschen den Computer nutzen und was ihre exakten Probleme mit dem konkret getesteten Interface sind Ergebnisse zeigen, inwieweit die Nutzerschnittstelle den Anwender bei der Lösung seiner Aufgaben unterstützt Tests haben Wurzel in der experimentellen Psychologie Manja Nelius Universität Rostock

Zuverlässigkeit der Ergebnisse Frage: Wird dasselbe Resultat erreicht, wenn der Test wiederholt wird? Probleme wegen der großen individuellen Unterschiede zw. den Testpersonen „some data is better than no data“ – Entscheidungen aufgrund von unzuverlässigen Daten oft nicht vermeidbar mathematische Nachbetrachtungen (statistische Tests, Signifikanzniveau, Konfidenzintervall) Manja Nelius Universität Rostock

Gültigkeit der Ergebnisse Frage: Reflektiert das Ergebnis wirklich die Usability-Faktoren, die man testen wollte? Hat der Test wirklich Bedeutung bzgl. der Usability von realen Produkten im realen Gebrauch außerhalb des Labors? Probleme durch Auswahl falscher Testpersonen und Testaufgaben, fehlende Berücksichtigung von Zeitbeschränkungen und sozialen Einflüssen Einschränkung der Gültigkeit durch vermischte Effekte Manja Nelius Universität Rostock

Auswahl der Testpersonen [1|2] Regel: Testpersonen müssen so repräsentativ bzgl. der eigentlichen Endverbraucher sein wie möglich! kl. Tests  durchschnittliche Tester, keine Randgruppen gr. Tests  mehrere verschiedene Nutzergruppen z.B.: exakte Zielgruppe ist bekannt repräsentative Tester leicht findbar (reale Endverbraucher) Probleme bei der Validität Manja Nelius Universität Rostock

Auswahl der Testpersonen [2|2] Anfänger vs. Fortgeschrittene Tests mit beiden Nutzergruppen empfehlenswert evtl. Anfänger mit testirrelevanten Aspekten vertraut machen Between-Subjects-Test Vergleich von alternativen Designs verschiedene Testpersonen testen verschiedene Systeme Probleme: große individuelle Unterschiede in den Fähigkeiten und Neigungen der Testpersonen Zuordnung der Testpersonen zu den Systemen durch Zufallsauswahl oder jeder Gruppe wird die gleiche Anzahl an Personen einer Kategorie zugewiesen (z.B. m/w) Within-Subjects-Test alle Testpersonen testen alle Systeme Kontrolle über die individuelle Variation Problem: Erfahrungstransfer Manja Nelius Universität Rostock

Auswahl der Experimentatoren Experimentator (Testdurchführer) ist bei jeder Methode nötig! mit erfahrenen Experimentatoren sind mehr Usability-Probleme findbar Experimentator muss intensive Kenntnisse über die zu testende Applikation und die Nutzerschnittstelle besitzen Designer als Experimentator sind erfahren und motiviert Mangel an Objektivität  Designer & Usability-Spezialisten als Experimentatoren Manja Nelius Universität Rostock

Auswahl der Testaufgaben sollten… … so repräsentativ wie möglich sein bzgl. der Anwendungsdomäne des Systems … die wichtigsten Teile der Nutzerschnittstelle abdecken … nicht trivial sein, aber einfach genug, um in der vorgegebenen Zeit gelöst werden zu können … klar formuliert sein … nicht frivol, amüsant oder anstößig sein … so realistisch und anwendernah wie möglich sein erste Aufgabe so simpel wie möglich (Steigerung der Motivation & Zuversicht der Testperson) letzte Aufgabe sollte „greifbares“ Ergebnis erzeugen Testaufgaben sollten einzeln der Testperson gegeben werden Manja Nelius Universität Rostock

Ausfüllen der Fragebögen vor jeder weiteren Befragung Kommentare der Testperson Nachfragen des Experimentators  aufgezeichnete Dateien & Fragebögen nummerieren, Bericht schreiben Manja Nelius Universität Rostock

ethische Aspekte [1|2] Tests sollten mit tiefem Respekt für die Emotionen und das Wohlsein der Testpersonen durchgeführt werden Testpersonen stehen unter Druck  Experimentatoren müssen für das Wohlbefinden der Testpersonen vor, während und nach dem Test sorgen entspannte Atmosphäre, natürliche Umgebung gute Vorbereitung des Tests Vermeidung von Unterbrechungen (Hilfe durch Experimentator nur, wenn Testperson wirklich nicht weiter weiß) so wenig Beobachter wie möglich Testperson muss wissen, dass sie den Test jederzeit abbrechen kann und dass die Ergebnisse vertraulich behandelt werden Testperson sollte über Irreführungen des Systems nach dem Test aufgeklärt werden Manja Nelius Universität Rostock

ethische Richtlinien bei Evaluationen mit Testpersonen ethische Aspekte [2|2] ethische Richtlinien bei Evaluationen mit Testpersonen Manja Nelius Universität Rostock

Testpersonen formulieren Gedanken, Gefühle, Meinungen „Thinking Aloud“ Testpersonen formulieren Gedanken, Gefühle, Meinungen periodische Berichte: laute Äußerung in vorbestimmten Zeitabschnitten (z.B. bei komplexen Aufgaben) erfasst eine breite Auswahl an kognitiven Aktivitäten erhöht das Verständnis bei den Experimentatoren Einblick in die Terminologie der Testperson kostengünstige Methode Variationen: „Co-discovery Learning“, „Question Asking Protocol“ Manja Nelius Universität Rostock

„Performance Measurement“ zur Gewinnung quantitativer Daten Durchführung im Usability-Labor zur genauen Kontrolle der Daten und Vermeidung von Störungen für vergleichende Tests Kombination mit retrospektiven Methoden (z.B. Fragebögen, Post-Test-Interview) Analyse mit Hilfe von Vergleichswerten (z.B. Mittelwert, Median, statistische Verfahren) Bsp.: # Nutzerfehler; # nie benutzter Kommandos; Dauer, bis Nutzer Fehler rückgängig gemacht hat Manja Nelius Universität Rostock

Evaluation basiert auf der Beurteilung/Meinung der Inspektoren Überblick Inspektionsmethoden = Bezeichnung für eine Sammlung von Methoden, die darauf basieren, dass Inspektoren usabilitybezogene Aspekte einer Nutzerschnittstelle untersuchen Inspektoren = Usability-Spezialisten, SW-Entwicklungsberater mit bestimmten Fachkenntnissen, Endanwender mit Inhalt- oder Aufgabenkenntnis… Evaluation basiert auf der Beurteilung/Meinung der Inspektoren Manja Nelius Universität Rostock

Aufgabenszenarien offene Anweisungen Szenarien aufgabenorientierte Perspektive auf das Interface repräsentative Endanwenderaufgaben Inspektoren untersuchen Schnittstelle bzgl. spezifischer Gesichtspunkte, die einen Usability-Spezialisten interessieren offene Anweisungen dem Inspektor wird keine explizite Aufgabe gegeben potentiell offenere und inspektorgesteuerte Erforschung des Interfaces unabhängigere und individuellere Untersuchung des Systems Manja Nelius Universität Rostock

Erfahrung des Inspektors Welche Kenntnisse sollte ein Inspektor haben? effektivere Inspektion durch Erfahrung mit Usability-Guidelines und Schnittstellen-Design Wer sollte Inspektionen durchführen? Usability-Spezialisten (viele Fachkenntnisse) Software-Entwickler (Einführung in nutzerorientierte Aspekte einer Schnittstelle nötig) Nichtexperten (evtl. Endanwender, geringere Kontrolle und Förmlichkeit) Manja Nelius Universität Rostock

einzelne vs. Gruppeninspektion einzelne Inspektion Inspektoren arbeiten unabhängig voneinander Berichte werden hinterher zusammengeführt Inspektoren beeinflussen sich nicht gegenseitig und sind unbefangener Organisation von Gruppenmeetings entfällt Gruppeninspektion Inspektoren können sich gegenseitig bekräftigen helfen sich gegenseitig, allgemeine Probleme zu formulieren und zu notieren  Kombination problematisch wegen Zeit- und Personalmangel Manja Nelius Universität Rostock

Usability der Methoden Methoden müssen erlernt und effizient angewendet werden Kompromiss nötig zw. dem Lern- und Anwendungsaufwand und der Wirksamkeit der Ergebnisse „Heuristische Evaluation“  leicht erlernbar und anwendbar „Kognitiver Walkthrough“  schwer erlernbar und anwendbar für ausgebildete Usability-Spezialisten ist hoher Aufwand vertretbar, für andere (z.B. Software-Entwickler) muss das nicht der Fall sein Manja Nelius Universität Rostock

Gültigkeit der Ergebnisse Wie voraussagend sind die Ergebnisse für die Endanwenderprobleme? nicht erkannte Probleme bei szenarienbasierter Inspektion einige Probleme sind für Inspektoren schwerer zu erkennen und zu beschreiben als andere (z.B. motorische und kognitive Probleme) bei Inspektionen ohne Endanwender spielt das Verhältnis der Intuition von Inspektor und Endanwender eine große Rolle Manja Nelius Universität Rostock

Wirksamkeit der gewonnenen Informationen Wirkung beginnt mit einer Liste von Berichten Problem zu kennen ist oft ausreichend, um einen einfachen Weg der Behebung zu finden Inspektoren beschreiben oft in den Berichten spezifische Verbesserungsvorschläge Probleme müssen priorisiert und die Kosten eingeschätzt werden Probleme sind nicht immer simpel, sondern können mehrere Designkonzepte und Schnittstellenmerkmale umfassen Manja Nelius Universität Rostock

„Heuristische Auswertung“ Heuristik = Guideline, generelles Prinzip oder Daumenregel, die eine Designentscheidung lenken oder kritisch beurteilen kann, z.B. Sichtbarkeit des System-Status´ Zusammenhang zw. dem System und der realen Welt Nutzerkontrolle ästhetisches und minimalistisches Design kritische Abhandlung über ein System mit Hilfe von relativ simplen und allgemeinen Heuristiken mehrere Inspektoren untersuchen das System unabhängig voneinander bzgl. potentieller Usability-Probleme und tauschen danach ihre Meinungen aus Manja Nelius Universität Rostock

„Kognitiver Walkthrough“ [1|3] Inspektor oder Gruppe von Inspektoren untersuchen eine Nutzerschnittstelle bzgl. Verständlichkeit und Erlernbarkeit, indem sie einen Satz von Aufgaben lösen Interface ist Papier-Modell, funktionstüchtiger Prototyp oder voll entwickeltes Interface Inspektoren sind Usability-Experten, SW-Entwickler, Marketing-Experten… Einsatz am effektivsten im Design „Input“ Wer werden die Nutzer des Systems sein? Wie ist das Interface definiert? Welche Aufgaben werden analysiert? Wie ist die korrekte Aktionsfolge für jede Aufgabe? Manja Nelius Universität Rostock

„Kognitiver Walkthrough“ [2|3] Abarbeiten der Aktionen Wird der Nutzer versuchen, den richtigen Effekt zu erzielen? Wird der Nutzer bemerken, dass die korrekte Aktion verfügbar ist? Wird der Nutzer die korrekte Aktion mit dem zu erreichenden Effekt assoziieren? Wenn die korrekte Aktion durchgeführt wurde, wird der Nutzer die Reaktion des Systems sehen? Manja Nelius Universität Rostock

„Kognitiver Walkthrough“ [3|3] Nutzer können wissen,… … welche Auswirkung sie erreichen, weil… … sie Erfahrung im Umgang mit dem System haben … das System es ihnen sagt … dass eine Aktion verfügbar ist, weil… … sie Erfahrung haben … sie die Vorrichtung dafür sehen können (z.B. Button) … sie die Repräsentation dafür sehen können (z.B. Menü) … dass eine Aktion für die zu erreichende Wirkung angemessen ist, weil… … das Interface ein Prompt oder Label zur Verfügung stellt … alle anderen Aktionen falsch erscheinen … dass nach der Aktion alles gut verlaufen ist, weil… … eine Verbindung zw. einer Systemreaktion und des beabsichtigten Aktionsergebnisses ersichtlich ist Manja Nelius Universität Rostock

Warum ist der Vergleich wichtig? Software-Entwicklungsteams unterliegen Einschränkungen bzgl. Zeit, Kosten, Personal, Technik… Test- und Inspektionsmethoden unterscheiden sich hinsichtlich Beherrschung, Steuerung, Kontrolle und Verwaltung Usability-Experten müssen Kompromisse eingehen (hinsichtlich Zeitplan, menschlicher Faktoren, Kostenvorteilen…) bei der Auswahl einer Methode Manja Nelius Universität Rostock

Kriterium I: Evaluationsziele es kann unterschiedliche Ziele für die verschiedenen Evaluationsmethoden geben Analysen haben gezeigt, dass Inspektionsmethoden keine so große Bandbreite an Zielen ansprechen können wie Testmethoden Inspektionen können keine effektive Evaluation eines Interfacedesigns in frühen Phasen bereitstellen Inspektionen können keine Änderungsempfehlungen von Anwendern zu einem Design liefern der Gesichtspunkt der Anwender ist bei Tests mit Nutzern ausgeprägter Ziele einer Usability-Auswertung müssen vorher klar definiert sein Manja Nelius Universität Rostock

Kriterium II: Anzahl & Art der gef. Probleme Studie von Jeffries „Heuristische Auswertung“ identifizierte die meisten Usability-Probleme und viele ernste Probleme mit den niedrigsten Kosten Nutzertest fand ernste und wiederkehrende, aber keine Konsistenzfehler „Kognitiver Walkthrough“ fand keine allgemeinen und wiederkehrenden Fehler Nutzertests identifizieren i.A. mehr Usability-Probleme als Inspektionsmethoden unterschiedliche Methoden identifizieren unterschiedliche Kategorien von Fehlern Methoden sind ergänzend Manja Nelius Universität Rostock

Kriterium III: Einfluss menschl. Faktoren [1|2] Inwieweit ist menschlicher Einfluss bei den unterschiedlichen Methoden vonnöten? Studie Vergleich von Nutzertest, indiv. Walkthrough und Team-Walkthrough erste Hälfte der Session für Einführung und Selbststudie des Systems, in der zweiten Hälfte Lösung von neun typ. Aufgaben Nutzertest 1 Usability-Experte interagierte mit Nutzer, kontrollierte Videoaufzeichnung, beobachtete Usability-Probleme 1 Usability-Experte protokollierte Nutzerkommentare, Usability-Probleme, Zeit, Ergebnis Walkthrough (individuell, 2-Personen-Team) 1 Administrator auf Abruf 1 Administrator zur Einführung und Instruktion der Inspektoren (ging während der Session raus) Manja Nelius Universität Rostock

Kriterium III: Einfluss menschl. Faktoren [2|2] Ergebnis Nutzertest: 21 Ph / Nutzer Team-Walkthrough: 12,4 Ph / Team indiv. Walkthrough: 12,2 Ph / Inspektor Konsequenzen Nutzertest Ergebnis brachte mehr Informationen über positive Details des Interfaces Walkthrough eingeschränkte Zeit hatte negativen Einfluss auf die Dateninterpretation und –analyse Analyse nur aufgrund der schriftlichen Aufzeichnungen der Inspektoren Mangel an Kontext Entwicklungsmitglied mit Datenanalyse- und Interpretationserfahrung ist nötig Manja Nelius Universität Rostock

Kriterium IV: Akzeptanz der Methoden Management trifft gerne Entscheidungen aufgrund quantitativer Daten Testmethoden können quantitative Daten erfassen, Inspektionen hingegen nicht Testdaten werden als Fakten angesehen Schlüsselfaktor für die Akzeptanz ist die Motivation der Entwickler („seeing is believing“) Entwicklungsteam muss Wert einer Design-Evaluation schätzen (Steigerung z.B. durch Kostenvorteilsanalyse) Manja Nelius Universität Rostock

Kriterium V: Anwendungszeitpunkt Inspektionsmethoden können früh im Zyklus eingesetzt werden, um Design-Entscheidungen zu treffen, die später technisch und politisch undurchführbar wären Hilfe bei Entscheidungen zw. konkurrierenden Design-Lösungen Nutzertests können ebenfalls Entscheidungen auf hohem Niveau im frühen Zyklus unterstützen  Kombination ist am effektivsten Manja Nelius Universität Rostock

Kriterium VI: Lösungsfindung Wie verhalten sich die Methoden bei der Erzeugung von Änderungsempfehlungen? Empfehlung von Veränderungen zu identifizierten Usability-Problemen kann als Teilziel von Evaluationsmethoden angesehen werden oder auch nicht je höher die Anzahl an gefundenen Problemen, desto reicher ist die Quelle an Daten, um Verbesserungsvorschläge zu gewinnen Verbesserung der Problemerfassung und Befragungsmethoden erhöht die Anzahl an Verbesserungsvorschlägen Manja Nelius Universität Rostock

Kriterium VII: Kosteneffizienz Wie ist die relative Kosteneffizienz der beiden Techniken bei der Problemidentifikation? hohe Kosteneffizienz, wenn die Gewinne, die durch Beseitigung der identifizierten Probleme erzielt wurden (Return On Investment), die Kosten für die Durchführung der Evaluation übersteigen Beispiel Inspektion: $2.000 unerkanntes Problem wurde später für $100.000 korrigiert Nutzertest: $20.000 Problem wurde vor Release korrigiert  investiertes Geld in eine teurere Methode kann sich später durch den ROI wieder auszahlen Manja Nelius Universität Rostock

Zusammenfassung der Kriterien Stärken und Schwächen der Methoden Manja Nelius Universität Rostock

Studie [1|2] Teilnehmer eines Kurses über Inspektionsmethoden wurden 7-8 Monate danach befragt Ziel war es herauszufinden, welche Methoden sie tatsächlich benutzen und warum Aspekte Qualität der gewonnenen Usability-Informationen Zusammenhang zw. Gewinnen einer Methode und Verwendungshäufigkeit Kosten Manja Nelius Universität Rostock

Zusammenhang zw. Häufigkeit und eingeschätztem Nutzen der Methoden Studie [2|2] Zusammenhang zw. Häufigkeit und eingeschätztem Nutzen der Methoden Manja Nelius Universität Rostock

Augenbewegung während des Lesens Überblick [1|2] ermöglicht es, die Blickbewegungen der Testteilnehmer bei der Durchführung der Evaluation nachzuvollziehen ausgeklügeltes, meist sehr teures Equipment nötig angenehme und für das zu untersuchende Medium typische Umgebung muss im Teststudio vorhanden sein TV-Spot in „Wohnzimmerumgebung“ Webseite in „Arbeitszimmeratmosphäre“ Augenbewegung während des Lesens Manja Nelius Universität Rostock

Testerin mit Eyetracker Überblick [2|2] verschiedene Technologien Hautelektroden markierte/registrierte Kontaktlinsen Reflector Trackers effektivste Methode physischer Kontakt mit dem Auge nicht nötig Lichtstrahl wird auf das Auge projiziert komplizierte Kamera nimmt die Differenz zw. Pupille und bekannten Referenzpunkten auf Testerin mit Eyetracker Manja Nelius Universität Rostock

Anwendungsmöglichkeiten Steuerung von Computern mittels Augenbewegungen Medizin Bestimmung der Positionierungsgeschwindigkeit der Augen Bestimmung der Pupillengröße Psychologie, Software-Ergonomie Auf was fällt der Blick der Tester zuerst? Welche Objekte werden betrachtet, welche nicht? Wie ist der Blickverlauf? Wie ist die Blickdichte? Wie lange ist der Blick auf einen Punkt fixiert? Wie leicht oder schwer fällt die Orientierung? Manja Nelius Universität Rostock

Eye-Tracking-Studie von MediaAnalyzer, Hamburg [1|7] Eye-Tracking-Studie von MediaAnalyzer, Hamburg "Eye-Tracking per Maus"-Test (Maus als Verlängerung des Auges) 150 Probanden aus zwei Agenturen und einem Medienunternehmen Wahrnehmung der zehn Content-Seiten Focus, Spiegel, TVToday, TVSpielfilm, Bild, BZ-Berlin, Faz.net, Welt, Amica und Allegra sowie der zehn Branchen-Seiten Focus, Spiegel, Audi, BMW, Yahoo, Altavista, Congate, Callino, RTL und ARD Manja Nelius Universität Rostock

Wo schauen Webnutzer am häufigsten hin? Studie [2|7] Wo schauen Webnutzer am häufigsten hin?  Nutzer achten mehr auf Informationen in der linken oberen Ecke Manja Nelius Universität Rostock

Welche Inhalte werden wie stark beachtet? Studie [3|7] Welche Inhalte werden wie stark beachtet?  Menüleisten, Navigationselemente, Fotos und Grafiken werden am meisten beachtet Manja Nelius Universität Rostock

 Text wird weniger stark beachtet als Bildinformation Studie [4|7] Beachtung Bild vs. Text  grafische Elemente und Fotos werden überproportional stark beachtet, mit Ausnahme der Banner, die nur schwach beachtet werden  Text wird weniger stark beachtet als Bildinformation Manja Nelius Universität Rostock

Wie schauen Männer, wie schauen Frauen? Studie [5|7] Wie schauen Männer, wie schauen Frauen?  Frauen schauen stärker auf Textelemente, Männer achten besonders auf Bildmaterial  stärkere Beachtung von Navigationsleisten und Menüs durch Frauen Manja Nelius Universität Rostock

Was wird als erstes beachtet? Studie [6|7] Was wird als erstes beachtet?  Bilder werden stärker beachtet als Text, aber nur in den ersten Sekunden der Betrachtung Manja Nelius Universität Rostock

Was wird wann betrachtet? Studie [7|7] Was wird wann betrachtet?  Text wird im Laufe der Betrachtungszeit immer mehr beachtet, Grafiken und Fotos verlieren an visueller Bedeutung Manja Nelius Universität Rostock

basiert auf der Theorie der persönlichen Konstrukte von Kelly (1955) Überblick basiert auf der Theorie der persönlichen Konstrukte von Kelly (1955) jeder Mensch „konstruiert“ sich seine Welt, aber nicht notwendig auf Dauer, sondern in Gestalt von Hypothesen, die ständiger Überprüfung, Verifizierung und Falsifizierung unterzogen werden („der Mensch als Forscher“) wichtige persönliche Konstrukte beziehen sich auf zwischenmenschliche Beziehungen (primär Verwandte, Partner, Freunde oder Repräsentanten typischer Beziehungen) „Vater“ „bester Freund“ „die Person, in deren Gegenwart ich mich am unwohlsten fühle“ „ich, wie ich gerne wäre“ Manja Nelius Universität Rostock

1. Schritt – Erhebung der Elemente Durchführung [1|3] 1. Schritt – Erhebung der Elemente zu untersuchende Elemente werden ausgewählt (10-20) 2. Schritt – Gewinnung der Konstrukte aus der Menge der Elemente werden nach Zufall Triaden gebildet diese drei Elemente werden dem Probanden vorgelegt Proband muss sich überlegen, in welcher Weise zwei der drei Elemente einander ähnlich sind und sich darin vom dritten unterscheiden Bsp.: Triade besteht aus Mutter, Tante Emma, bester Freund Mutter und Tante Emma sind gefühlsbetont (Konstrukt „gefühlsbetont“) bester Freund ist sachlich (Kontrastpol „sachlich“) Manja Nelius Universität Rostock

Durchführung [2|3] längerdauernder Vorgang, da Konstrukte oft „erarbeitet“ werden müssen Untersucher muss einfühlsam sein, allzu triviale Konstrukte abweisen und Artikulationshilfe leisten Elemente und Konstrukte werden in 2D-Matrix angeordnet Standardformblatt Manja Nelius Universität Rostock

3. Schritt – Bewertung der Konstrukte Durchführung [3|3] 3. Schritt – Bewertung der Konstrukte Proband gibt mit Hilfe einer meist sechsstufigen Skala für jedes Element an, inwieweit jedes Konstrukt bzw. sein Konstrastpol auf das Element zutrifft Ergebnis ist Matrix mit Zahlen Manja Nelius Universität Rostock

Erkennung von Ähnlichkeiten durch Vergleich der Eintragsmuster Auswertung [1|3] idiografisches Vorgehen, da keine allgemeingültigen, sondern in hohem Maße individuumspezifische Informationen gewonnen werden Ermittlung von Gruppen ähnlicher Konstrukte  Aussagen über Differenziertheit und inneren Aufbau der Konstruktionen möglich Komplexität der Konstrukte kann so reduziert sein, dass die erlebte Welt in zwei gegensätzliche Lager geteilt wird (gut – schlecht, schön – hässlich) Erkennung von Ähnlichkeiten durch Vergleich der Eintragsmuster Manja Nelius Universität Rostock

Handverfahren zur Sortierung der Matrix Auswertung [2|3] Handverfahren zur Sortierung der Matrix Nebeneinanderlegung ähnlicher Spalten und Zeilen Umwandlung der Zahlen in Grau- oder Farbwerte (Ähnlichkeiten und Unterschiede zw. den Konstrukten können leichter abgelesen werden) elementarste Stufe der Betrachtung: Betrachtung einer einzelnen Zelle des Grids mittlere Stufe der Betrachtung: Isolierung und Analyse eines interessanten Ausschnittes der Matrix globalste Stufe der Betrachtung: Analyse und Beschreibung des Gesamtmusters mathematische Verfahren zur Auswertung (Hauptkomponentenanalyse, Korrelationen zw. Konstrukten)  mögliches Ziel: Bestimmung der Allgemeingültigkeit entdeckter Merkmale an vielen gleichartigen Grids Manja Nelius Universität Rostock

Rollengrids einer Schmerzpatientin Auswertung [3|3] Rollengrids einer Schmerzpatientin Manja Nelius Universität Rostock

Anwendungsmöglichkeiten grundsätzliche Wahlfreiheit bei der Definition von Elementen und bei der Festlegung der Prozedur zur Gewinnung von Konstrukten ermöglicht vielseitige Verwendbarkeit des Verfahrens Medizin, Psychologie, Usability (z.B. Webseiten als Elemente) Manja Nelius Universität Rostock

„Usability Engineering“ Jakob Nielsen Literaturhinweise [1|2] „Usability Engineering“ Jakob Nielsen „Usability Inspection Methods“ Jakob Nielsen, Robert L. Mack „Einführung in die Repertory Grid-Technik – Grundlagen und Methoden“(Band 1) Jörn W. Scheer, Ana Catina „The Usability Methods Toolbox“ James Hom http://jthom.best.vwh.net/usability/ „Usability Evaluation“ Zhijun (William) Zhang http://www.pages.drexel.edu/~zwz22/UsabilityHome.html „Technology Transfer of Heuristic Evaluation and Usability Inspection“ Jakob Nielsen http://www.useit.com/papers/heuristic/learning_inspection.html Manja Nelius Universität Rostock

Literaturhinweise [2|2] „Eye tracking labs at the MPI“ Max-Planck-Institute for Psycholinguistics http://www.mpi.nl/world/tg/eye-tracking/eye-tracking.html „MediaAnalyzer: Studie zur Wahrnehmung von Web-Seiten“ W&V – Onlinemagazin für Marketing http://www.wuv.de/daten/studien/102002/593/ „Psychologie der persönlichen Konstrukte und Repertory Grid-Technik“ Jörn W. Scheer http://www.pcp-net.de/papers/ueberbli.htm „Argumente für und gegen Usability“ theCo.de AG http://theco.de/WebObjects/theCode.woa/wa/CMSshow/1001938 Manja Nelius Universität Rostock