Multimodale Wahrnehmung in der Displaygestaltung Seminar Ingenieurpsychologie am bei Dr. Romy Müller Marlene Heinzle

1) Multimodale Wahrnehmung a.Was ist das und warum ist das wichtig? b.Auditive Wahrnehmung und Arbeitsgedächtnis c.Displaygestaltung: taktile Displays 2) Richtlinien zur Gestaltung multimodaler Displays 3) Diskussion: Integration der Befunde 4) Beispielstudie: Frühwarnsystem im Auto 5) Quellen Gliederung Folie 2 von 17

Im echten Leben überwiegend Situationen, in denen ein gleichzeitiger Input über mehrere Modalitäten hinweg stattfindet; z.B. Autofahren Nachteil: Aufmerksamkeit als begrenzte Ressource, Einbußen bei ungleichmäßiger Verteilung Vorteil: durch Hinzunahme weiterer Modalität Überforderung in anderen Modalitäten verhindern Was ist multimodale Wahrnehmung und warum ist sie wichtig? 1a) Einstieg: multimodale Wahrnehmung Folie 3 von = ? Grundfragen: Wie beeinflusst sich die gleichzeitige Wahrnehmung über mehrere Sinne hinweg gegenseitig? Wie können Benutzeroberflächen mit multimodaler Wahrnehmung optimal gestaltet werden?

Auditive Wahrnehmung = omnidirektional und transient Frage: Wie wirken sich irrelevante Geräusche auf das Bearbeiten einer komplexen kognitiven Aufgabe aus? ⇒ Komplexe kognitive Aufgaben beanspruchen das Arbeitsgedächtnis ⇒ Irrelevante Geräusche beeinträchtigen die Arbeitsgedächtnis-Kapazität Konsequenz: Richtlinien für Lern- und Arbeitsumgebung; v.a. Variabilität der Geräusche vermindern Fazit: Umstände und Bedingungen kennen, in denen Reize zu störenden Einflüssen werden! Folie 4 von 17 Auditive Wahrnehmung und Arbeitsgedächtnis 1b) Auditive Wahrnehmung und Arbeitsgedächtnis

Folie 5 von 17 Taktile Displays 1c) Displaygestaltung: taktile Displays Taktile Wahrnehmung = omnidirektional und transient können visuelle Aufmerksamkeit in eine Richtung lenken können räumliche Wahrnehmung und Navigation unter beeinträchtigen visuellen Bedingungen verbessern können den Umgang mit technischen Systemen verbessern (z.B. durch Force Feedback)

Folie 6 von 17 Bsp.: Operationsroboter 1c) Displaygestaltung: taktile Displays

Folie 7 von 17 Bsp.: „Like-A-Hug“, MIT 1c) Displaygestaltung: taktile Displays

Folie 8 von 17 Bsp.: Vibrotaktoren am Körper 1c) Displaygestaltung: taktile Displays

Folie 9 von 17 Taktile Displays und räumliche Wahrnehmung 1c) Displaygestaltung: taktile Displays Dreidimensionale Struktur des eigenen Körpers ist wie eine „natürliche Landkarte“ für räumliche Information Referenzpunkte Bauchnabel und Wirbelsäule: präzise Lokalisierung Informationen (z.B. Wichtigkeit) kodieren mittels Veränderungen in Amplitude, Häufigkeit und Dauer der Vibrationen

Folie 10 von 17 2) Richtlinien zur Gestaltung multimodaler Displays Erwartungen des Benutzers kennen (Reiz wird eher detektiert, wenn er in einer Modalität erwartet wird) Viele Veränderungen innerhalb eines Kanals  mehr Aufmerksamkeit Gleichzeitig Anzahl und Variabilität der Kanäle gering halten Verlagerung der räumliche Aufmerksamkeit berücksichtigen Reize möglichst im peripersonalen Raum darbieten (= Raum, der den Körper unmittelbar umgibt)

Folie 11 von 17 Fallbeispiel: technischer Projektleiter 3) Diskussion: Beispiel zur Integration der Befunde Aufgaben Planung und Konstruktion am Computer Verwaltung, Kommunikation Inhalte Anfragen von Kunden, Zulieferern, Vorgesetzten, Kollegen Eingehende Updates über Stand von laufenden Projekten Neue Auftragsangebote Terminerinnerungen für interne Konferenzen und Auswärtstermine Kanäle schriftlich, telefonisch, persönlich Diskutiert zu zweit: Sortiert die Inhalte und Aufgaben nach Wichtigkeit. Mit welchen Signalen in welchen Modalitäten könnte man die Inhalte darbieten, damit sie wichtigere Vorgänge nicht unterbrechen?

Folie 12 von 17 Versuchsaufbau: Fahrsimulator (S COTT & G RAY, 2008) 4) Beispielstudie: Frühwarnsysteme im Auto Versuchsperson 5 Sek. 3 Sek. variiert Geschwindigkeit, bleibt stehen UV1 Modalität der Warnung: visuell vs. auditiv vs. taktil vs. keine Warnung UV2 Zeitpunkt der Warnung AV: Reaktionszeit

Folie 13 von 17 Scott & Gray (2008): Ergebnisse 4) Beispielstudie: Frühwarnsysteme im Auto Alle Warnungen waren signifikant besser als Bedingung ohne Warnung Taktile Warnung: o Kürzeste Reaktionszeiten o Nur gegenüber visueller Warnung signifikanter Unterschied

Folie 14 von 17 Scott & Gray (2008): Ergebnisse 4) Beispielstudie: Frühwarnsysteme im Auto

Folie 15 von 17 Scott & Gray (2008): Ergebnisse 4) Beispielstudie: Frühwarnsysteme im Auto Alle Warnungen waren signifikant besser als Bedingung ohne Warnung Taktile Warnung: o Kürzeste Reaktionszeiten o Nur gegenüber visueller Warnung signifikanter Unterschied aber: unterschiedliche individuelle Präferenzen! 40% der Vpn mochten taktile Warnung am wenigsten 37% der Vpn mochten taktile Warnung am meisten

Folie 16 von 17 Scott & Gray (2008): Kritikpunkte 4) Beispielstudie: Frühwarnsysteme im Auto 1) Laborsituation erzeugt Erwartungen  beeinflusst Aufmerksamkeit 2) Unnatürliches Fahrverhalten des simulierten Autos entspricht kaum der Situation im Straßenverkehr 3) Frühe Warnungen (5 Sek.) können falsche Alarme sein

Literatur Giang et al. (2010). Crossmodal Attention. Multimodal Interfaces (pp ). Defence R&D Canada Contract Report. Toronto, CA. Sarter, N. B. (2006). Multimodal information presentation: Design guidance and research challenges. International Journal of Industrial Ergonomics, 36(5), Scott, J. J., & Gray, R. (2008). A comparison of tactile, visual, and auditory warnings for rear-end collision prevention in simulated driving. Human Factors: The Journal of the Human Factors and Ergonomics Society, 50(2), Wickens, C., Hollands, J., Banbury, S., Parasuraman, R. (2013). Engineering Psychology and Human Performance (4th edition). Upper Saddle River, NJ: Pearson Education. Bilder Folie 17 von 17 5) Quellen