Emotionelles Feedback von Computersystemen in HCI Gruppe 2: Emotionelles Feedback von Computersystemen in HCI eine Gemeinschaftsarbeit Studierender der ETH Zürich, der Uni Karlsruhe und der Uni Frankfurt

Team Anja Egli (ETH Zürich) Isabel Tanner (ETH Zürich) Vorwort Team Anja Egli (ETH Zürich) Isabel Tanner (ETH Zürich) Andrea Buehlmann (ETH Zürich) Markus Thiessen (Uni Karlsruhe) Anja Heitmann (Uni Frankfurt) Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Existierende Systeme Ausblick

Kommunikation Videokonferenzen Treffen in Karlsruhe Telefon E-Mail Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Kommunikation Videokonferenzen Treffen in Karlsruhe Telefon E-Mail BSCW-Server

Probleme Integration der einzelnen Dokumente zu einem Ganzen Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Probleme Integration der einzelnen Dokumente zu einem Ganzen großer Aufwand für Überarbeitung Koordination Versionskontrolle

HCI (Human Computer Interaction) Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick HCI (Human Computer Interaction) beschäftigt sich mit sämtlichen Aspekten, die bei der Interaktion Mensch/Computer relevant sind interdisziplinär (Informatik, Psychologie, Soziologie,...) Ziel: Vereinfachung der Arbeit mit Computern (Verbesserung der Benutzerschnittstelle)

Warum emotionelles Feedback von Computersystemen? Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Warum emotionelles Feedback von Computersystemen? Verbreitung von Computern in den letzten Jahren schafft neue Möglichkeiten... ...aber auch Probleme: Frustration Demotivation Vereinsamung einer der Gründe: emotionale Benutzer-Reaktionen, mit denen das System nicht umgehen kann

Ziele emotionellen Feedbacks Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Ziele emotionellen Feedbacks Verbesserte Kommunikation Mensch/Computer Frustrationsabbau Motivation besseres, schnelleres Arbeiten im Hinblick auf Problemlösungen emotionale Bindung des Benutzers an die Anwendung Ersatz fehlender sozialer/emotionaler Beziehungen in der realen Welt

Anforderungen Computer soll den emotionellen Zustand des Benutzers Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Anforderungen Computer soll den emotionellen Zustand des Benutzers berücksichtigen und positiv darauf einwirken (adaptive, personalisierte Systeme) Dazu notwendig: Erfassung/Messung des emotionellen Zustands des Benutzers Verarbeitung der gemessenen Daten Rückmeldung/Feedback an den Benutzer

Natürlichsprachliche Erfassung Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Messmethoden Natürlichsprachliche Erfassung Abfrage im Dialog Nachteil: Authentizität der Daten Interaktionsmodalitäten des Benutzers Messung und Kontrolle der Aktivitäten des Benutzers Problem: Zuordnung eines emotionellen Zustands zu den gemessenen Daten Technische Sensoren Kameras, Mikrofone, Wearable Sensing Systems Vorteil: genaue Messergebnisse Nachteil: relativ aufwendig

Verarbeitung: 2 Hauptaufgaben Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Verarbeitung: 2 Hauptaufgaben Zuordnung des „richtigen“ emotionalen Benutzerzustands zu den gemessenen Daten Zuordnung eines „richtigen“ emotionalen Feedbacks zu dem gemessenen Benutzerzustand wichtig: psychologische und soziologische Aspekte technische Umsetzung künstliche neuronale Netze (?)

Sinne, die bei unseren Methoden angesprochen werden: Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Sinne, die bei unseren Methoden angesprochen werden: Hörsinn Sehsinn Tastsinn

Emotionelles Feedback durch Musik: Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Emotionelles Feedback durch Musik: Voraussetzung: Benutzer gibt über eine Profilmaske an, in welchem Zustand er welche Art Musik hören möchte Ablauf: Computer reagiert mit der Wiedergabe von Musik auf die Stimmungszustände des Users Bewertung: - v.a. für musikliebende User geeignet - Spielerei, die in nicht allzu langen Arbeiten am Computer verwendet werden kann

Emotionelles Feedback durch Änderung von Farben und Formen: Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Emotionelles Feedback durch Änderung von Farben und Formen: Hintergrund: unbewusste emotionale Verarbeitung von Farb- und Formwahrnehmung durch den Anwender Ablauf: Fließende Änderung von Formen und Farben während der Arbeit Bewertung: gut geeignet für längere Sitzungen mit dem Computer

Emotionelles Feedback durch Tastatur: Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Emotionelles Feedback durch Tastatur: Ablauf: leichtes oder stärkeres Vibrieren der Tastatur gibt dem Anwender ein Feedback Bewertung: - gut geeignet für sehbehinderte Personen - richtiger Zeitpunkt für Vibration ist notwendig

Emotionelles Feedback durch Lichtsignale: Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Emotionelles Feedback durch Lichtsignale: Ablauf: Warnleuchten in der Tastatur oder unterhalb des Bildschirmes geben ein Feedback Bewertung: - je nachdem worauf der Blick des Users gerichtet ist, könnten Signale übersehen werden - Auch bei heller Beleuchtung des Raumes müssen die Lichter sichtbar sein

Eigener Entwurf: Software Assistent als Hologramm Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Eigener Entwurf: Software Assistent als Hologramm menschliche Kommunikation Erfassung der Intension mit Kombination aus o.g. Methoden ständiger Begleiter- wechselnde Software

Bereits existierende emotionale Computersysteme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick 2 Beispiele für emotionelle Computersysteme: Kismet: humanoider Roboter Smartkom: virtueller small talk Partner Bereits existierende emotionale Computersysteme

Kismet Vorstellung des Projekts Interaktion mit Kismet Mimik Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Kismet Vorstellung des Projekts Interaktion mit Kismet Mimik Sprachmelodie Erkennung der emotionellen Intension Homeostatische Regulation und Verhalten Demonstration

Homeostatische Regulation und Verhalten Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Homeostatische Regulation und Verhalten

Smartkom Vorstellung des Projekts Interaktion elektronischer Butler Existierende Systeme Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Vorwort Ausblick Smartkom Vorstellung des Projekts Interaktion elektronischer Butler Sprachinterpretation & Kontexterkennung derzeitiger Leistungsstand

Ausblick Vorwort Einleitung Messmethoden Verarbeitung Feedback Methoden und Möglichkeiten Existierende Systeme Ausblick