Original Design Oliver H. Institutsteil Rostock Abteilung AR2 Human Centered Interaction Technologies Abteilungsleiter: Jörg Voskamp Betreuer: Michael Blech & Randolf Schultz Fraunhofer IGD Rostock • Human-Centered Interaction Technologies • Fraunhofer IGD Rostock • Human-Centered Interaction Technologies • Original Design Oliver H.

Demokoffer - Datenklassifikation und Visualisierung Vortrag Demokoffer - Datenklassifikation und Visualisierung Zwei komplementäre Berichte Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 2 / 40

Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Gliederung Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 3 / 40

Stefan Morgenstern Christian Graf Student der Uni Rostock Zu Uns Stefan Morgenstern Student der Uni Rostock 7. Fachsemester Christian Graf Student der Uni Magdeburg 9. Fachsemester „Joint“-Praktikum Michael Blech Oktober 2004 - April 2005 Randolf Schultz November 2004 - März 2005 Besondere Interessen: - User Interfaces - Usability Design - Virtual Humans Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 4 / 40

Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Übersicht Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 5 / 40

Demokoffer Kontext Benutzer Visualisierung Applikation Rekorder Filter KI Events SCL Temp. Herz Regeln Sensoren Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 6 / 40

Applikation: EmoTetris spezielle Steine und Events behindern oder helfen zur absichtlichen Emotionsinduktion Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 7 / 40

Aufnahme physiologischer Daten Rekorder EmoBoard dient dazu physiologische Daten aufzuzeichnen. Für unsere Anwendung sind dies der Hautwiderstand, der Puls und die Temperatur. Die beiden Bestandteile des Projektes wurden bereits in vorangegangenen Arbeiten erstellt. Aufnahme physiologischer Daten Herzfrequenz Brustgurt Hautleitfähigkeit Elektroden an Mittel- und Zeigefinger Hauttemperatur: Temperatursensor am Ringfinger Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 8 / 40

Ziel: Robuste Emotionserkennung Zu diskriminierende Emotionen Freude Ärger Langeweile computerrelevant Kontrollverlust Aufregung Angst Überraschung Anspannung Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 9 / 40

KI & Visualisierung    Aufgaben Benutzer Visualisierung EmoTetris Recorder Filter KI  Events SCL Temp. Herz Regeln Sensoren Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 10 / 40

Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung (Stefan) Übersicht Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung (Stefan) Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 11 / 40

Unterteilung in zwei Phasen: Die Verarbeitung Unterteilung in zwei Phasen: Lernphase Aufnahme der Trainingsdaten Erstellen der Modelle Berechnen des Profils Onlinephase Anwendung der gelernten Modelle und Profile auf die Daten die während einer Präsentation aufgezeichnet wurden Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 12 / 40

Die Lernphase Zunächst Aufnahme der Daten mit Hilfe von EmoTetris und dem EmoBoard. Berechnung einfacher features aus den drei physiologischen Daten mit der Hilfe von Weka. (z.B. Durchschnitt, Standardabweichung, Abstände aufeinanderfolgender Werte, ...) Wegen den großen Tagesabhängigkeiten wurde auch eine Tagesmatrix zu den Daten ergänzt. Anwendung der Fisher-Projektion auf diese Feature um den Lernraum zu verbessern. Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 13 / 40

Die Lernphase Die Fisher Projektion Verfahren zur Reduktion der Attributmenge, dabei werden die Klassen maximal separiert. Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 14 / 40

Die Lernphase Klassifikatoren: Ergebnisse: J48 (Entscheidungsbaum) naive Bayes (Maximum a Posteriori) J48 (Entscheidungsbaum) Ergebnisse: zwischen 43.3 % und 70.9 % abhängig von den Emotionen und vom Proband 53.7 für Ärger und 70.9 für Anspannung 43.3 und 64.8 für Erregung (zur Abschätzung: einfaches Raten liefert 20 %) Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 15 / 40

Die Onlinephase OmniRoute Ein Framework, dass zur Einrichtung von Experimentierumgebungen für emotionsbezogene Untersuchungen dient Es ist aus verschiedene Komonenten (Datenquellen und -senken sowie Filter) aufgebaut. Es basiert auf dem Prinzip des Verschickens von Events und wird mit Hilfe einer XML-Datei konfiguriert. Src1 Src2 Filter Sink Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 16 / 40

Die Onlinephase Die Daten werden jetzt vom ComPort ausgelesen. Dann durchlaufen die Daten die Vorverarbeitung, in der die Feature berechnet werden. Dabei muss beispielweise zum Standardisieren das Profil genutzt werden. Dann wird die Klassifikation durchgeführt, die Daten werden alle zusammengeführt und über einen Port an die Visualisierung weiter gegeben. Schnittstelle zur Sensorik Vorverarbeitung Klassifikation Schnittstelle zur Visualisierung Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 17 / 40

Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Übersicht Die Personen Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung (Christian) Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 18 / 40

mögliche Visualisierungsarten Vor- und Nachteile Vorüberlegungen mögliche Visualisierungsarten Vor- und Nachteile Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 19 / 40

Basisemotionen in einem dimensionalem Modell Grundlegendes Modell Russel (1980) Basisemotionen in einem dimensionalem Modell Valenz und Erregung Problem: unvollständig für unsere Zwecke Aufgabe: Finden der restlichen Positionen Mittel: Literaturrecherche Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 20 / 40

Ergebnis Grundlage: Russel (1980) Scherer (2001) Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 21 / 40

Polygonzugmethode nach Euler Clusterbildung niedrige Aussagekraft Visualisierung 1 Polygonzugmethode nach Euler Clusterbildung niedrige Aussagekraft Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 22 / 40

Jede Dimension auf eigener Achse Valenz & Erregung extra Visualisierung 2 Jede Dimension auf eigener Achse Valenz & Erregung extra Zum Verdeutlichen: Punkte & Fläche, Farben Problem: Fläche gewichtet Gesamteindruck Problem: „einsame“ Punkte werden ‚vernachlässigt‘ Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 23 / 40

Unterschiedliche Visualisierungsarten Skaleneinteilungen & History der Valenz-Erregungs-Punkte Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 24 / 40

intuitiv erfaßbare Visualisation Optionen: Erweiterung intuitiv erfaßbare Visualisation Optionen: Chernoff-Gesichtern Photorealistische Gesichter Comicgesichter Entscheidung für Comic- gesichter Problem: keine vorgefertigten vorhanden Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 25 / 40

In-House Test Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 26 / 40

In-House Test Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 27 / 40

In-House Test Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 28 / 40

sonst gute Erkennbarkeit der Emotionen Testergebnis vielfache Teilnahme: Danke!  verwechselbare Gesichtsausdrücke: euphorisch und fröhlich sonst gute Erkennbarkeit der Emotionen Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 29 / 40

Testergebnis - Konfusionsmatrix Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 30 / 40

Visualisierung Endergebnis Reine Textausgabe hinzugefügt Indikator für Datenfluß hinzugefügt statische Comicgesichter Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 31 / 40

Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Übersicht Die Personen Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 32 / 40

Fazit Datenverarbeitung Erreichte Ziele Relativ gute KI zur Interpretation physiologischer Daten gute Vorhersagequalität geringe Anzahl von Sensoren Ausbaupotential Flexible Einbindung in Frameworks Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 33 / 40

robuste Datenverarbeitung Fazit Visualisierung Erreichte Ziele robuste Datenverarbeitung vielfältige Darstellungsoptionen intuitive & interpretationsgebundene Visualisierung Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 34 / 40

     Demokoffer fertig! Fazit Benutzer Visualisierung Applikation Jetzt ist eigentlich alles fertig, aber ... ... Noch ein paar letzte Schritte sollen müssen getan werden: Recorder Filter KI Sensoren Events SCL Temp. Herz Regeln  Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 35 / 40

Letzte Schritte Was wird gerade getan? Was soll noch getan werden? Ausblick Letzte Schritte Was wird gerade getan? Sensorik wird gegen ein Sensorhandschuh ausgetauscht Was soll noch getan werden? Aufnahme neuer Daten Zusammenführung aller Bestandteile des Projektes Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 36 / 40

Persönlicher Ausblick Stefan: Fortführung des Studiums vielleicht als Hiwi weiter am Projekt arbeiten Christian: Weiterarbeit an adaptiven User Interfaces Diplomand am IGD bei Karina vorläufiges Thema: „Ein Netzwerk für adaptive Applikationen: exemplarisch durchgeführt an einem Spiel“ Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 37 / 40

Live Demo Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 38 / 40

Vielen Dank für die Aufmerksamkeit! Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 39 / 40

Literaturangaben Chernoff H. (1973). The use of faces to represent points in k-dimensional space graphically. In: Journal of American Statistic Association, Vol. 68 (1973) 331-368 Duda, R.O, P.E. Hart und D.G. Stork, Pattern Classifikation and Scene Analysis. Wiley Interscience, 2001. Ekman, P. (1994). Strong evidence for universals in facial expressions: A reply to Russel’s mistaken critique. Psychological Bulletin, 115 (2). Herbort, O. (2004). Emotionsinduktion und automatische Emotionsklassifikation anhand physiologischer Daten bei Benutzern eines Computerspiels. Fraunhofer Institut Graphische Datenverarbeitung Rostock. Praktikumsbericht + Vortrag Oktober 2004. Mader, St., Christian Peter, Roland Göcke, R. Schultz, J.Voskamp und B. Urban: A Freely Configurable, Multi-modal Sensor System for Affective Computing Picard, R.W., Elias Vyzas, and Jennifer Healey (2001). Toward Machine Emotional Intelligence: Analysis of Affective Physiological State. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 23, NO. 10, OCTOBER 2001 Russell, J.A. (1980). A Circumplex Model of Affect, Journal of Personality and Social Psychology, Vol.39, No.6, 1161-1178, American Psychological Association, Inc. Scherer, K.R. (2001). Emotion. In: Hewstone, M., & Strobe, W. (Eds.). Introduction to Social Psychology: A European Perspective (3rd ed.). London: Blackwell. Schumann, H. & W. Müller (2000). Visualisierung: Grundlagen und allgemeine Methoden. Springer Verlag, Heidelberg 2000. Vysas, E. und R.W. Picard : Affective Pattern Classification Weka 3 - Data Mining Software in Java : http://www.cs.waikato.ac.nz/~ml/weka/ Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte 24.03.2005 Folie 40 / 40