Multimodale Wahrnehmung in der Displaygestaltung Seminar Ingenieurpsychologie Referentin: Myriam Zschieschang Seminarleiter: Prof. Dr. Pannasch

Gliederung TU Dresden, Multimodale Displays – Überblick 2.Vorteile multimodaler Displays 3.Nachteile multimodaler Displays 4.Design multimodaler Displays 5.Weitere Praxisbeispiele 6.Fazit Quellen Folie 2 von 23 Multimodale Wahrnehmung in der Displaygestaltung

FRAGE AN EUCH… TU Dresden, Multimodale Wahrnehmung in der Displaygestaltung Was versteht ihr unter multimodaler Displaygestaltung? Folie 3 von 23

TU Dresden, multimodale Displays NutzenRedundanzSynergieInformationstransfer visuell akustisch (gesprochen, Ton) taktil Folie 4 von 23 Multimodale Wahrnehmung in der Displaygestaltung modifiziert nach Sarter (2006) 1.Multimodale Displays – Überblick

Beispiel Redundanz und Synergie: integriertes Navigationssystem Ereignis: Tank leer  akustisches Signal  visuelle Information  Hinweis: Navigation zur Tankstelle 1.Multimodale Displays – Überblick TU Dresden, Redundanz (= versch. Modalitäten für dieselbe Information) Synergie (= Ergänzung) Folie 5 von 23 Multimodale Wahrnehmung in der Displaygestaltung

erhöhte Detektion situative Merkmale Operateur in Bewegung hoher workload monotone Situation Verminderung visuellen overloads Privatsphäre Kompensation visueller Einschränkungen TU Dresden, Haas & van Erp (2014) Burke et al. (2006) Folie 6 von 23 2.Vorteile multimodaler Displays Multimodale Wahrnehmung in der Displaygestaltung

erhöhte Detektion situative Merkmale Operateur in Bewegung hoher workload monotone Situation Verminderung visuellen overloads Privatsphäre Kompensation visueller Einschränkungen TU Dresden, Folie 7 von 23 2.Vorteile multimodaler Displays SMS- Vibration anstelle Klingelton Radarüberwachung des Flugzeugs Fließbandarbeiter mit mobilem Scangerät (vibriert, piept, leuchtet) Autofahren allgemein Telefon klingelt, vibriert, leuchtet ungünstige Beleuchtung  kompensiert durch Stimme des Navigations- gerätes Autofahren in der rush hour Multimodale Wahrnehmung in der Displaygestaltung Haas & van Erp, 2014 Burke et al. (2006)

Warnung (Bsp. Autofahren) einfache, aktuell relevante sprachliche Information (Navigationsstimme) aufmerksamkeitslenkend (vibrierendes Lenkrad) resistent gegenüber Ruckeln bei Beschleunigung Unterbrechen fokussierter Aufmerksamkeit TU Dresden, Haas & van Erp, 2014 Folie 8 von 23 2.Vorteile multimodaler Displays Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, Multiple Displaygestaltung Folie 9 von 23 2.Vorteile multimodaler Displays Spurhalteassistent Warnsysteme für Autos (Lee et al., 2004)  taktile cues effektiver als auditive in lang andauernden, monotonen Situationen

FRAGE AN EUCH… TU Dresden, Welche Nachteile könnten multimodale Displays mit sich bringen? Folie 10 von 23 Multimodale Wahrnehmung in der Displaygestaltung

unangemessene Modalitätscharakteristika (unangenehme Navigationsstimme) Kontrollverlust Schreckreaktion möglich  Kosten: je seltener eine Modalität genutzt, desto weniger erwartet = mehr Reaktionszeit, höhere Fehlerraten TU Dresden, Folie 11 von 23 3.Nachteile multimodaler Displays Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, so wenig Kombination wie möglich Kombination entsprechend Nutzerpräferenz ISO (1998) Reeves et al. (2004) Folie 12 von 23 4.Design multimodaler Displays Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, Folie 13 von 23 4.Design multimodaler Displays Haas & van Erp (2014) u.a.: Warnungen Informations-Overload vermeiden abgrenzbare akustische und taktile Signale körpernah platzieren Burke et al. (2006) u.a.: visuell-akustisches Feedback: Einfachaufgaben, normale Arbeitsbelastung (Radarüberwachung) visuell-taktiles Feedback: Multitasking, hohe Arbeitsbelastung (rush hour  vibrierendes Lenkrad) Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, Vibrierende Computermaus (de Korte et al., 2012) kontinuierliches taktiles Feedback bei anhaltender erhobener Handhaltung / Fingerhaltung (Risikofaktor für RSI-Syndrom) barrierefreie Smartphone-Nutzung Folie 14 von 23 5.Weitere Praxisbeispiele Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, Barrierefreie Smartphones Brawata (2013) Sprachausgabe & -eingabe Vorleseprogramme: VoiceOver auf dem iPhone Screenreader Fotoprogramme: Auslesen von Objekten/Schrift Touchscreen: bestimmte Gesten für jede Aktion über Bluetooth: Brailletastatur Folie 15 von 23 5.Weitere Praxisbeispiele Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, Virtuelles Schachspiel für Sehgeschädigte/Blinde Caporusso, Mkrtchyan & Badia (2010) Folie 16 von 23 5.Weitere Praxisbeispiele Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, Virtuelles Schachspiel für Sehgeschädigte/Blinde Caporusso, Mkrtchyan & Badia (2010) Folie 17 von 23 5.Weitere Praxisbeispiele Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, Multimodalität fördert Performanz und Reaktionsgeschwindigkeit einheitliche Richtlinien notwendig praktische Integration der Forschungserkenntnisse zur (multimodalen / crossmodalen) Wahrnehmung und Informationsverarbeitung Einsatz weiterer Modalitäten fördern (taktile cues, Geruch) Folie 18 von 23 6.Fazit Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, Exkurs olfaktorische Modalität Sarter (2006) Stimmungsmanipulation, erhöhte Wachsamkeit, Warnung (Brandgeruch), reduzierte Stress, verbessert Erhaltung und erneutes Wachrufen von Gelerntem 2 Formen des olfaktorischen Outputs: Olfaktorische Icons: Duft, der semantisch mit der mitgeteilten Information verbunden ist (Geruch von Schießpulver bei Schuss) Olfaktorische Smicons: Düfte, die abstrakte Beziehung zur Information haben (bspw. olfaktorischer Alarm, der daran erinnert, dass man jetzt Feierabend hat) Kaye (2001): olfaktorische Displays sollten sich auf verschiedene Geruchsarten beziehen nützlich für Daten mit mittlerer Dauer allergische Reaktionen und Übelkeit bedenken Folie 19 von 23 6.Fazit Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, wichtigste Quellen: Giang et al. (2010). Crossmodal Attention. Multimodal Interfaces, Defence R&D Canada Contract Report. Toronto, CA. Haas, C. E. & van Erp, J. B. F. (2014). Multimodal warnings to enhance risk communication and safety. Safety Science, 61, Jones, L.A., & Sarter, N.B. (2008). Tactile displays. Guidance for their design and application. Human Factors, 50(1), 90–111. Reeves, L. M., Lai, J., Larson, J. A., Oviatt, S., Balaji, T.S., Buisine, S. et al. (2004). Guidelines for multimodal user interface design. Communications of the ACM – Multimodal interfaces that flex, adapt, and persist, 47(1), Sarter, N.B. (2006). Multimodal information presentation. Design guidance and research challenges. International journal of industrial ergonomics, 36(5), weitere Quellen : Burke, J. L., Prewett, M. S., Gray, A. A., Yang, L., Stilson, F. R., Coovert, M. D., Elliot, L. R. & Redden, E. (2006). Comparing the effects of visual–auditory and visual–tactile feedback on user performance: a meta-analysis. Proceedings of the 8 th International Conference on Multimodal Interfaces. ACM, New York, NY, USA,108–117. Caporusso, N., Mkrtchyan, L. & Badia, L. (2010). A multimodal interface device for online board games designed for sight-impaired people. IEEE TRANSACTIONS ON INFORMATION TECHNOLOGY IN BIOMEDICINE, 14 (2), Folie 20 von 23 Quellen Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, ISO, 1998 ISO (International Organization for Standardization) (1998). ISO Multimedia user interface design software ergonomic requirements, Part 3: Media combination and selection. Kaye, J. N. (2001). Symbolic olfactory displays. Unpublished Master of Science thesis, Massachusetts Institute of Technology, Cambridge, Boston, MA. Available: Lee, J. D., Hoffman, J. D.& Hayes, E. (2004). Collision warning design to mitigate driver distraction. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 6, Sebe, N. (2009). Multimodal interfaces. Challenges and perspectives. Journal of Ambient Intelligence and Smart Environments, 1, Internetquellen: Edison, T. How Blind People Use Twitter & You Tube on the iPhone 4S. Youtube, online aufgerufen am unter: Brawata, I. (2013). Mit Tasten oder ohne - Welches Handy passt zu mir? Horus, online aufgerufen am unter: Folie 21 von 23 Quellen Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, Bildquellen (Aufruf: ) mitBeschriftung.jpg&imgrefurl=https%3A%2F%2Fwww.handytech.de%2Fprodukte.php%3Fprodukt%3D96%26lang%3Dde&h=513&w =800&tbnid=8uZRczNGdsXnFM%3A&zoom=1&docid=szwjArlz3Hb0OM&ei=FKdeU8a3BaGJ4gTJ8YGQAQ&tbm=isch&iact=rc&uact= 3&dur=482&page=3&start=46&ndsp=24&ved=0CKQCEK0DMEI html?fotoshow_item=13#fotoshow_item= html?fotoshow_item=3#fotoshow_item=5 Folie 22 von 23 Quellen Multimodale Wahrnehmung in der Displaygestaltung

TU Dresden, Vielen Dank für Eure Aufmerksamkeit ! Folie 23 von 23 Multimodale Wahrnehmung in der Displaygestaltung