Original Design Oliver H.

Präsentation zum Thema: "Original Design Oliver H."—  Präsentation transkript:

1 Original Design Oliver H.
Institutsteil Rostock Abteilung AR2 Human Centered Interaction Technologies Abteilungsleiter: Jörg Voskamp Betreuer: Michael Blech & Randolf Schultz Fraunhofer IGD Rostock • Human-Centered Interaction Technologies • Fraunhofer IGD Rostock • Human-Centered Interaction Technologies • Original Design Oliver H.

2 Demokoffer - Datenklassifikation und Visualisierung
Vortrag Demokoffer - Datenklassifikation und Visualisierung Zwei komplementäre Berichte Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 2 / 40

3 Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung
Gliederung Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 3 / 40

4 Stefan Morgenstern Christian Graf Student der Uni Rostock
Zu Uns Stefan Morgenstern Student der Uni Rostock 7. Fachsemester Christian Graf Student der Uni Magdeburg 9. Fachsemester „Joint“-Praktikum Michael Blech Oktober April 2005 Randolf Schultz November März 2005 Besondere Interessen: - User Interfaces - Usability Design - Virtual Humans Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 4 / 40

5 Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung
Übersicht Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 5 / 40

6 Demokoffer Kontext Benutzer Visualisierung Applikation Rekorder Filter
KI Events SCL Temp. Herz Regeln Sensoren Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 6 / 40

7 Applikation: EmoTetris
spezielle Steine und Events behindern oder helfen zur absichtlichen Emotionsinduktion Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 7 / 40

8 Aufnahme physiologischer Daten
Rekorder EmoBoard dient dazu physiologische Daten aufzuzeichnen. Für unsere Anwendung sind dies der Hautwiderstand, der Puls und die Temperatur. Die beiden Bestandteile des Projektes wurden bereits in vorangegangenen Arbeiten erstellt. Aufnahme physiologischer Daten Herzfrequenz Brustgurt Hautleitfähigkeit Elektroden an Mittel- und Zeigefinger Hauttemperatur: Temperatursensor am Ringfinger Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 8 / 40

9 Ziel: Robuste Emotionserkennung
Zu diskriminierende Emotionen Freude Ärger Langeweile computerrelevant Kontrollverlust Aufregung Angst Überraschung Anspannung Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 9 / 40

10 KI & Visualisierung    Aufgaben Benutzer Visualisierung EmoTetris
Recorder Filter KI  Events SCL Temp. Herz Regeln Sensoren Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 10 / 40

11 Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung (Stefan)
Übersicht Zu uns Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung (Stefan) Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 11 / 40

12 Unterteilung in zwei Phasen:
Die Verarbeitung Unterteilung in zwei Phasen: Lernphase Aufnahme der Trainingsdaten Erstellen der Modelle Berechnen des Profils Onlinephase Anwendung der gelernten Modelle und Profile auf die Daten die während einer Präsentation aufgezeichnet wurden Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 12 / 40

13 Die Lernphase Zunächst Aufnahme der Daten mit Hilfe von EmoTetris und dem EmoBoard. Berechnung einfacher features aus den drei physiologischen Daten mit der Hilfe von Weka. (z.B. Durchschnitt, Standardabweichung, Abstände aufeinanderfolgender Werte, ...) Wegen den großen Tagesabhängigkeiten wurde auch eine Tagesmatrix zu den Daten ergänzt. Anwendung der Fisher-Projektion auf diese Feature um den Lernraum zu verbessern. Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 13 / 40

14 Die Lernphase Die Fisher Projektion
Verfahren zur Reduktion der Attributmenge, dabei werden die Klassen maximal separiert. Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 14 / 40

15 Die Lernphase Klassifikatoren: Ergebnisse: J48 (Entscheidungsbaum)
naive Bayes (Maximum a Posteriori) J48 (Entscheidungsbaum) Ergebnisse: zwischen 43.3 % und 70.9 % abhängig von den Emotionen und vom Proband 53.7 für Ärger und 70.9 für Anspannung 43.3 und 64.8 für Erregung (zur Abschätzung: einfaches Raten liefert 20 %) Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 15 / 40

16 Die Onlinephase OmniRoute
Ein Framework, dass zur Einrichtung von Experimentierumgebungen für emotionsbezogene Untersuchungen dient Es ist aus verschiedene Komonenten (Datenquellen und -senken sowie Filter) aufgebaut. Es basiert auf dem Prinzip des Verschickens von Events und wird mit Hilfe einer XML-Datei konfiguriert. Src1 Src2 Filter Sink Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 16 / 40

17 Die Onlinephase Die Daten werden jetzt vom ComPort ausgelesen.
Dann durchlaufen die Daten die Vorverarbeitung, in der die Feature berechnet werden. Dabei muss beispielweise zum Standardisieren das Profil genutzt werden. Dann wird die Klassifikation durchgeführt, die Daten werden alle zusammengeführt und über einen Port an die Visualisierung weiter gegeben. Schnittstelle zur Sensorik Vorverarbeitung Klassifikation Schnittstelle zur Visualisierung Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 17 / 40

18 Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung
Übersicht Die Personen Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung (Christian) Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 18 / 40

19 mögliche Visualisierungsarten Vor- und Nachteile
Vorüberlegungen mögliche Visualisierungsarten Vor- und Nachteile Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 19 / 40

20 Basisemotionen in einem dimensionalem Modell
Grundlegendes Modell Russel (1980) Basisemotionen in einem dimensionalem Modell Valenz und Erregung Problem: unvollständig für unsere Zwecke Aufgabe: Finden der restlichen Positionen Mittel: Literaturrecherche Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 20 / 40

21 Ergebnis Grundlage: Russel (1980) Scherer (2001)
Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 21 / 40

22 Polygonzugmethode nach Euler Clusterbildung niedrige Aussagekraft
Visualisierung 1 Polygonzugmethode nach Euler Clusterbildung niedrige Aussagekraft Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 22 / 40

23 Jede Dimension auf eigener Achse Valenz & Erregung extra
Visualisierung 2 Jede Dimension auf eigener Achse Valenz & Erregung extra Zum Verdeutlichen: Punkte & Fläche, Farben Problem: Fläche gewichtet Gesamteindruck Problem: „einsame“ Punkte werden ‚vernachlässigt‘ Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 23 / 40

24 Unterschiedliche Visualisierungsarten
Skaleneinteilungen & History der Valenz-Erregungs-Punkte Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 24 / 40

25 intuitiv erfaßbare Visualisation Optionen:
Erweiterung intuitiv erfaßbare Visualisation Optionen: Chernoff-Gesichtern Photorealistische Gesichter Comicgesichter Entscheidung für Comic- gesichter Problem: keine vorgefertigten vorhanden Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 25 / 40

26 In-House Test Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 26 / 40

27 In-House Test Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 27 / 40

28 In-House Test Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 28 / 40

29 sonst gute Erkennbarkeit der Emotionen
Testergebnis vielfache Teilnahme: Danke!  verwechselbare Gesichtsausdrücke: euphorisch und fröhlich sonst gute Erkennbarkeit der Emotionen Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 29 / 40

30 Testergebnis - Konfusionsmatrix
Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 30 / 40

31 Visualisierung Endergebnis
Reine Textausgabe hinzugefügt Indikator für Datenfluß hinzugefügt statische Comicgesichter Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 31 / 40

32 Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung
Übersicht Die Personen Ausgangssituation, Ziel & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 32 / 40

33 Fazit Datenverarbeitung
Erreichte Ziele Relativ gute KI zur Interpretation physiologischer Daten gute Vorhersagequalität geringe Anzahl von Sensoren Ausbaupotential Flexible Einbindung in Frameworks Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 33 / 40

34 robuste Datenverarbeitung
Fazit Visualisierung Erreichte Ziele robuste Datenverarbeitung vielfältige Darstellungsoptionen intuitive & interpretationsgebundene Visualisierung Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 34 / 40

35      Demokoffer fertig! Fazit Benutzer Visualisierung Applikation
Jetzt ist eigentlich alles fertig, aber ... ... Noch ein paar letzte Schritte sollen müssen getan werden: Recorder Filter KI Sensoren Events SCL Temp. Herz Regeln  Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 35 / 40

36 Letzte Schritte Was wird gerade getan? Was soll noch getan werden?
Ausblick Letzte Schritte Was wird gerade getan? Sensorik wird gegen ein Sensorhandschuh ausgetauscht Was soll noch getan werden? Aufnahme neuer Daten Zusammenführung aller Bestandteile des Projektes Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 36 / 40

37 Persönlicher Ausblick
Stefan: Fortführung des Studiums vielleicht als Hiwi weiter am Projekt arbeiten Christian: Weiterarbeit an adaptiven User Interfaces Diplomand am IGD bei Karina vorläufiges Thema: „Ein Netzwerk für adaptive Applikationen: exemplarisch durchgeführt an einem Spiel“ Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 37 / 40

38 Live Demo Zu uns Ausgangssituation & Aufgaben Teil 1: Datenverarbeitung Teil 2: Visualisierung Fazit & Ausblick Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 38 / 40

39 Vielen Dank für die Aufmerksamkeit!
Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 39 / 40

40 Literaturangaben Chernoff H. (1973). The use of faces to represent points in k-dimensional space graphically. In: Journal of American Statistic Association, Vol. 68 (1973) Duda, R.O, P.E. Hart und D.G. Stork, Pattern Classifikation and Scene Analysis. Wiley Interscience, 2001. Ekman, P. (1994). Strong evidence for universals in facial expressions: A reply to Russel’s mistaken critique. Psychological Bulletin, 115 (2). Herbort, O. (2004). Emotionsinduktion und automatische Emotionsklassifikation anhand physiologischer Daten bei Benutzern eines Computerspiels. Fraunhofer Institut Graphische Datenverarbeitung Rostock. Praktikumsbericht + Vortrag Oktober 2004. Mader, St., Christian Peter, Roland Göcke, R. Schultz, J.Voskamp und B. Urban: A Freely Configurable, Multi-modal Sensor System for Affective Computing Picard, R.W., Elias Vyzas, and Jennifer Healey (2001). Toward Machine Emotional Intelligence: Analysis of Affective Physiological State. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 23, NO. 10, OCTOBER 2001 Russell, J.A. (1980). A Circumplex Model of Affect, Journal of Personality and Social Psychology, Vol.39, No.6, , American Psychological Association, Inc. Scherer, K.R. (2001). Emotion. In: Hewstone, M., & Strobe, W. (Eds.). Introduction to Social Psychology: A European Perspective (3rd ed.). London: Blackwell. Schumann, H. & W. Müller (2000). Visualisierung: Grundlagen und allgemeine Methoden. Springer Verlag, Heidelberg 2000. Vysas, E. und R.W. Picard : Affective Pattern Classification Weka 3 - Data Mining Software in Java : Demokoffer - Datenklassifikation und Visualisierung: Zwei komplementäre Berichte Folie 40 / 40