Multimodale Wahrnehmung in der Displaygestaltung Seminar Ingenieurpsychologie Referentin: Myriam Zschieschang Seminarleiter: Prof. Dr. Pannasch 19.05.2014.

Präsentation zum Thema: "Multimodale Wahrnehmung in der Displaygestaltung Seminar Ingenieurpsychologie Referentin: Myriam Zschieschang Seminarleiter: Prof. Dr. Pannasch 19.05.2014."—  Präsentation transkript:

1 Multimodale Wahrnehmung in der Displaygestaltung Seminar Ingenieurpsychologie Referentin: Myriam Zschieschang Seminarleiter: Prof. Dr. Pannasch 19.05.2014

2 Gliederung TU Dresden, 19.05.2014 1.Multimodale Displays – Überblick 2.Vorteile multimodaler Displays 3.Nachteile multimodaler Displays 4.Design multimodaler Displays 5.Weitere Praxisbeispiele 6.Fazit Quellen Folie 2 von 23 Multimodale Wahrnehmung in der Displaygestaltung

3 FRAGE AN EUCH… TU Dresden, 19.05.2014Multimodale Wahrnehmung in der Displaygestaltung Was versteht ihr unter multimodaler Displaygestaltung? Folie 3 von 23

4 TU Dresden, 19.05.2014 multimodale Displays NutzenRedundanzSynergieInformationstransfer visuell akustisch (gesprochen, Ton) taktil Folie 4 von 23 Multimodale Wahrnehmung in der Displaygestaltung modifiziert nach Sarter (2006) 1.Multimodale Displays – Überblick

5 Beispiel Redundanz und Synergie: integriertes Navigationssystem Ereignis: Tank leer  akustisches Signal  visuelle Information  Hinweis: Navigation zur Tankstelle 1.Multimodale Displays – Überblick TU Dresden, 19.05.2014 Redundanz (= versch. Modalitäten für dieselbe Information) Synergie (= Ergänzung) Folie 5 von 23 Multimodale Wahrnehmung in der Displaygestaltung

6 erhöhte Detektion situative Merkmale Operateur in Bewegung hoher workload monotone Situation Verminderung visuellen overloads Privatsphäre Kompensation visueller Einschränkungen TU Dresden, 19.05.2014 Haas & van Erp (2014) Burke et al. (2006) Folie 6 von 23 2.Vorteile multimodaler Displays Multimodale Wahrnehmung in der Displaygestaltung

7 erhöhte Detektion situative Merkmale Operateur in Bewegung hoher workload monotone Situation Verminderung visuellen overloads Privatsphäre Kompensation visueller Einschränkungen TU Dresden, 19.05.2014 Folie 7 von 23 2.Vorteile multimodaler Displays SMS- Vibration anstelle Klingelton Radarüberwachung des Flugzeugs Fließbandarbeiter mit mobilem Scangerät (vibriert, piept, leuchtet) Autofahren allgemein Telefon klingelt, vibriert, leuchtet ungünstige Beleuchtung  kompensiert durch Stimme des Navigations- gerätes Autofahren in der rush hour Multimodale Wahrnehmung in der Displaygestaltung Haas & van Erp, 2014 Burke et al. (2006)

8 Warnung (Bsp. Autofahren) einfache, aktuell relevante sprachliche Information (Navigationsstimme) aufmerksamkeitslenkend (vibrierendes Lenkrad) resistent gegenüber Ruckeln bei Beschleunigung Unterbrechen fokussierter Aufmerksamkeit TU Dresden, 19.05.2014 Haas & van Erp, 2014 Folie 8 von 23 2.Vorteile multimodaler Displays Multimodale Wahrnehmung in der Displaygestaltung

9 TU Dresden, 19.05.2014Multiple Displaygestaltung Folie 9 von 23 2.Vorteile multimodaler Displays Spurhalteassistent Warnsysteme für Autos (Lee et al., 2004)  taktile cues effektiver als auditive in lang andauernden, monotonen Situationen

10 FRAGE AN EUCH… TU Dresden, 19.05.2014 Welche Nachteile könnten multimodale Displays mit sich bringen? Folie 10 von 23 Multimodale Wahrnehmung in der Displaygestaltung

11 unangemessene Modalitätscharakteristika (unangenehme Navigationsstimme) Kontrollverlust Schreckreaktion möglich  Kosten: je seltener eine Modalität genutzt, desto weniger erwartet = mehr Reaktionszeit, höhere Fehlerraten TU Dresden, 19.05.2014 Folie 11 von 23 3.Nachteile multimodaler Displays Multimodale Wahrnehmung in der Displaygestaltung

12 TU Dresden, 19.05.2014 so wenig Kombination wie möglich Kombination entsprechend Nutzerpräferenz ISO (1998) Reeves et al. (2004) Folie 12 von 23 4.Design multimodaler Displays Multimodale Wahrnehmung in der Displaygestaltung

13 TU Dresden, 19.05.2014 Folie 13 von 23 4.Design multimodaler Displays Haas & van Erp (2014) u.a.: Warnungen Informations-Overload vermeiden abgrenzbare akustische und taktile Signale körpernah platzieren Burke et al. (2006) u.a.: visuell-akustisches Feedback: Einfachaufgaben, normale Arbeitsbelastung (Radarüberwachung) visuell-taktiles Feedback: Multitasking, hohe Arbeitsbelastung (rush hour  vibrierendes Lenkrad) Multimodale Wahrnehmung in der Displaygestaltung

14 TU Dresden, 19.05.2014 Vibrierende Computermaus (de Korte et al., 2012) kontinuierliches taktiles Feedback bei anhaltender erhobener Handhaltung / Fingerhaltung (Risikofaktor für RSI-Syndrom) barrierefreie Smartphone-Nutzung http://www.youtube.com/watch?v=c0nvdiRdehw Folie 14 von 23 5.Weitere Praxisbeispiele Multimodale Wahrnehmung in der Displaygestaltung

15 TU Dresden, 19.05.2014 Barrierefreie Smartphones Brawata (2013) Sprachausgabe & -eingabe Vorleseprogramme: VoiceOver auf dem iPhone Screenreader Fotoprogramme: Auslesen von Objekten/Schrift Touchscreen: bestimmte Gesten für jede Aktion über Bluetooth: Brailletastatur Folie 15 von 23 5.Weitere Praxisbeispiele Multimodale Wahrnehmung in der Displaygestaltung

16 TU Dresden, 19.05.2014 Virtuelles Schachspiel für Sehgeschädigte/Blinde Caporusso, Mkrtchyan & Badia (2010) Folie 16 von 23 5.Weitere Praxisbeispiele Multimodale Wahrnehmung in der Displaygestaltung

17 TU Dresden, 19.05.2014 Virtuelles Schachspiel für Sehgeschädigte/Blinde Caporusso, Mkrtchyan & Badia (2010) Folie 17 von 23 5.Weitere Praxisbeispiele Multimodale Wahrnehmung in der Displaygestaltung

18 TU Dresden, 19.05.2014 Multimodalität fördert Performanz und Reaktionsgeschwindigkeit einheitliche Richtlinien notwendig praktische Integration der Forschungserkenntnisse zur (multimodalen / crossmodalen) Wahrnehmung und Informationsverarbeitung Einsatz weiterer Modalitäten fördern (taktile cues, Geruch) Folie 18 von 23 6.Fazit Multimodale Wahrnehmung in der Displaygestaltung

19 TU Dresden, 19.05.2014 Exkurs olfaktorische Modalität Sarter (2006) Stimmungsmanipulation, erhöhte Wachsamkeit, Warnung (Brandgeruch), reduzierte Stress, verbessert Erhaltung und erneutes Wachrufen von Gelerntem 2 Formen des olfaktorischen Outputs: Olfaktorische Icons: Duft, der semantisch mit der mitgeteilten Information verbunden ist (Geruch von Schießpulver bei Schuss) Olfaktorische Smicons: Düfte, die abstrakte Beziehung zur Information haben (bspw. olfaktorischer Alarm, der daran erinnert, dass man jetzt Feierabend hat) Kaye (2001): olfaktorische Displays sollten sich auf verschiedene Geruchsarten beziehen nützlich für Daten mit mittlerer Dauer allergische Reaktionen und Übelkeit bedenken Folie 19 von 23 6.Fazit Multimodale Wahrnehmung in der Displaygestaltung

20 TU Dresden, 19.05.2014 wichtigste Quellen: Giang et al. (2010). Crossmodal Attention. Multimodal Interfaces, 58-74. Defence R&D Canada Contract Report. Toronto, CA. Haas, C. E. & van Erp, J. B. F. (2014). Multimodal warnings to enhance risk communication and safety. Safety Science, 61, 29-35. Jones, L.A., & Sarter, N.B. (2008). Tactile displays. Guidance for their design and application. Human Factors, 50(1), 90–111. Reeves, L. M., Lai, J., Larson, J. A., Oviatt, S., Balaji, T.S., Buisine, S. et al. (2004). Guidelines for multimodal user interface design. Communications of the ACM – Multimodal interfaces that flex, adapt, and persist, 47(1), 57-59. Sarter, N.B. (2006). Multimodal information presentation. Design guidance and research challenges. International journal of industrial ergonomics, 36(5), 439-445. weitere Quellen : Burke, J. L., Prewett, M. S., Gray, A. A., Yang, L., Stilson, F. R., Coovert, M. D., Elliot, L. R. & Redden, E. (2006). Comparing the effects of visual–auditory and visual–tactile feedback on user performance: a meta-analysis. Proceedings of the 8 th International Conference on Multimodal Interfaces. ACM, New York, NY, USA,108–117. Caporusso, N., Mkrtchyan, L. & Badia, L. (2010). A multimodal interface device for online board games designed for sight-impaired people. IEEE TRANSACTIONS ON INFORMATION TECHNOLOGY IN BIOMEDICINE, 14 (2), 248-254. Folie 20 von 23 Quellen Multimodale Wahrnehmung in der Displaygestaltung

21 TU Dresden, 19.05.2014 ISO, 1998 ISO (International Organization for Standardization) (1998). ISO 14915. Multimedia user interface design software ergonomic requirements, Part 3: Media combination and selection. Kaye, J. N. (2001). Symbolic olfactory displays. Unpublished Master of Science thesis, Massachusetts Institute of Technology, Cambridge, Boston, MA. Available: http://web.media.mit.edu/_jofish/thesis/. Lee, J. D., Hoffman, J. D.& Hayes, E. (2004). Collision warning design to mitigate driver distraction. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 6, 65-72. Sebe, N. (2009). Multimodal interfaces. Challenges and perspectives. Journal of Ambient Intelligence and Smart Environments, 1, 23- 30. Internetquellen: Edison, T. How Blind People Use Twitter & You Tube on the iPhone 4S. Youtube, online aufgerufen am 28.04.2014 unter: http://www.youtube.com/watch?v=c0nvdiRdehw. Brawata, I. (2013). Mit Tasten oder ohne - Welches Handy passt zu mir? Horus, online aufgerufen am 28.04.2014 unter: http://www.dvbs-online.de/horus/2013-1-5195.htm. Folie 21 von 23 Quellen Multimodale Wahrnehmung in der Displaygestaltung

22 TU Dresden, 19.05.2014 Bildquellen (Aufruf: 28.04.2014) http://kids.britannica.com/comptons/art-52961/A-radar-scope-reading-in-the-cockpit-warns-of-turbulence http://mediadb.kicker.de/news/1000/1020/43000/43200/artikel/779330/04-eco-up-1355825691.jpg http://src.discounto.de/pics/product/23454/39665_TomTom-Navigationssystem-XL-LIVE-IQ-Routes-Edition-Europe-23454_xxl.jpeg http://www.vectorstock.com/royalty-free-vector/sms-glossy-icon-vector-1204208 http://www.geappliances.com/appliances/washer/top-load-washer-dryer/images/graphic_features_icon_vibration.png http://yoursourceisopen.com/wp-content/uploads/2011/08/240f0f78volume-icon.jpg http://www.drsgp.de/icon_sehen_small.gif http://www.radreisen.at/fileadmin/Images/Diverses/Icon_flug_klein.jpg http://www.google.de/imgres?imgurl=https%3A%2F%2Fwww.handytech.de%2Fupload%2Fprodukte%2Fbilder%2F96_1_BP12_Bild2_ mitBeschriftung.jpg&imgrefurl=https%3A%2F%2Fwww.handytech.de%2Fprodukte.php%3Fprodukt%3D96%26lang%3Dde&h=513&w =800&tbnid=8uZRczNGdsXnFM%3A&zoom=1&docid=szwjArlz3Hb0OM&ei=FKdeU8a3BaGJ4gTJ8YGQAQ&tbm=isch&iact=rc&uact= 3&dur=482&page=3&start=46&ndsp=24&ved=0CKQCEK0DMEI http://www.auto-motor-und-sport.de/bilder/assistenzsysteme-immer-auf-kurs-mit-dem-spurhalteassistent- 1806466.html?fotoshow_item=13#fotoshow_item=16 http://www.auto-motor-und-sport.de/bilder/assistenzsysteme-immer-auf-kurs-mit-dem-spurhalteassistent- 1806466.html?fotoshow_item=3#fotoshow_item=5 Folie 22 von 23 Quellen Multimodale Wahrnehmung in der Displaygestaltung

23 TU Dresden, 19.05.2014 Vielen Dank für Eure Aufmerksamkeit ! Folie 23 von 23 Multimodale Wahrnehmung in der Displaygestaltung