LERNET Workshop Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut f ü r Informatik- Werkzeuge und – Systeme e. V. Prof. Dr. Claus M ö bus J. Feindt, C. Jan ß en, S. S ö lbrandt, H.-J. Thole, Jens Krefeldt, Holger de Vries

Ergebnisse der Evaluation 2 Inhalt Übersicht I-can-EIB Evaluationsobjekt: I-can-EIB Avatar Evaluationsdesign: Pre-Post-Test Statistische Auswertung Ergebnisse und Konsequenzen

Ergebnisse der Evaluation 3 Ü bersicht I-can-EIB Avatar 3D-Chat TreeTagger TopicMap FAQ-Liste Frage-Baukasten (+Hilfe-System) Natürlichsprachliche Eingabe (+Sprachausgabe)

Ergebnisse der Evaluation 4 Avatar Avatar-Animation mit Sprachausgabe

Ergebnisse der Evaluation 5 Avatar Interface Java API Javascript API Animations- Editor Gestik, Mimik Emotion Visual3D- Editor Export/Import standardisierter 3D- Repräsentationsformate Modifizierung des Aussehens Speech WebSpeech API (Logox)

Ergebnisse der Evaluation 6 Attribute: aktiv bedrängend … nervös Pre-Post-Test Design idealer menschlicher Berater idealer Avatar I-can-EIB-Berater Pre-TestPost-Test Attribute: aktiv bedrängend … nervös Attribute: aktiv bedrängend … nervös Attribute: aktiv bedrängend … nervös idealer menschlicher Berater idealer Avatar I-can-EIB-Berater Attribute: aktiv bedrängend … nervös Attribute: aktiv bedrängend … nervös t-Test für abhängige Stichproben t-Test für unabhängige Stichproben

Ergebnisse der Evaluation 7 Vergleich der Mittelwerte Pre-Test: t-Test f ü r unabh ä ngige Stichproben Signifikante Abweichungen der Mittelwerte zwischen IM-IA: --- Signifikante Abweichungen der Mittelwerte zwischen IM-ICE: motiviertp=0,02868 begeistertp=0,02351 Signifikante Abweichungen der Mittelwerte zwischen IA-ICE: ---

Ergebnisse der Evaluation 8 Vergleich der Mittelwerte Post-Test: t-Test f ü r unabh ä ngige Stichproben keine signifikanten Abweichungen

Ergebnisse der Evaluation 9 t-Test f ü r abh ä ngige Stichproben: Pre-Post-Vergleich Idealer menschlicher Berater Signifikante Abweichungen möchte ihn wieder sehenp=0,00366 motiviertp=0,05109 wachsamp=0,0489 strengp=0,0377

Ergebnisse der Evaluation 10 t-Test f ü r abh ä ngige Stichproben: Pre-Post-Vergleich Idealer Avatar Signifikante Abweichungen interessiertp=0,01746 aufmerksamp=0,00375 wachsamp=0,01397

Ergebnisse der Evaluation 11 t-Test f ü r abh ä ngige Stichproben: Pre-Post-Vergleich I-can-EIB-Avatar keine signifikanten Abweichungen

Ergebnisse der Evaluation 12 Pre-Test: Offene Fragen 1. In welchen Themenbereichen halten Sie den Einsatz von virtuellen Assistenten für sinnvoll? keine/gar nicht Beratung Hilfethemen Frage-Antwort-Systeme neue/schwierige Themen … 2. Wie beurteilen Sie das Verhalten und das Aussehen des virtuellen Assistenten? egal gut schlicht zurückhaltend und visuell ansprechend ruhig und sachlich na ja … 3. Wie bewerten Sie die Effizienz bzw. Effektivität des virtuellen Assistenten? bringt mich nicht weiter wichtig gut gut, solange er nicht zu aufdringlich wird … 4.Ist Ihnen die Gegenwart eines virtuellen Assistenten recht? Bitte begründen Sie die Antwort. ja, für Hilfe nein, ich arbeite mich selbst durch Programme und greife auf Hilfetexte zurück ja, für schnelle Unterstützung bei Fehlbedienungen ja, aber nur auf Abruf …

Ergebnisse der Evaluation 13 Post-Test: Offene Fragen 1. In welchen Themenbereichen halten Sie den Einsatz von virtuellen Assistenten für sinnvoll? egal gar nicht Beratung Hilfethemen … 2. Wie beurteilen Sie das Verhalten und das Aussehen des virtuellen Assistenten? langweilig gut geschmacklos bescheiden schlicht visuell ansprechend, wie Office XP normal, nicht übertrieben … 3. Wie bewerten Sie die Effizienz bzw. Effektivität des virtuellen Assistenten? als Hilfssystem gut gut, wenn er Tipps gibt ein direkter Ansprechpartner wäre mir lieber … 4.Ist Ihnen die Gegenwart eines virtuellen Assistenten recht? Bitte begründen Sie die Antwort. ja, bei allen Themen ja, als Hilfesystem zur Fragestellung wünschenswert ja, in schwierigen Themenbereichen nein, er sollte lediglich durch Fragestellung aktivierbar sein …

Ergebnisse der Evaluation 14 Konsequenzen Avatar 3D-Chat TreeTagger TopicMap FAQ-Liste Frage-Baukasten (+Hilfe-System) Natürlichsprachliche Eingabe (+Sprachausgabe) Freie Gestaltung Anfangsberatung Wissen für Anfangsberatung und Anfangsbewertung themen- und rollenspezifische Räume mit Projektionsflächen

Ergebnisse der Evaluation 15 Vielen Dank f ü r Ihre Aufmerksamkeit...