CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Alexander Hörnlein, Frank Puppe Lehrstuhl für Künstliche Intelligenz und Angewandte Informatik der Universität Würzburg {hoernlein, Gliederung: 1. Motivation 2. Methoden 3. Evaluation 4. Ergebnisse 5. Diskussion und Ausblick

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Motivation Simulative Trainingssysteme haben eine komplexe Oberfläche Studierende wollen die Inhalte lernen und NICHT die Bedienung Niemand liest Anleitungen Schwer bis unmöglich GUI- Bedienung im Frontalunterricht bei verteilten Gruppen zu lehren Hilfe muss sich nach der Kompetenz des Lerners richten

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Verwendete Hilfe Umfassende System-Metapher Statische Online-Kurse (Dynamische & kontext-sensitive) Eingebaute Hilfe Neu: Aktives Hilfesystem – Lerner-Overlay-Modell – Verhinderung von falschen Benutzeraktionen – Hilfetexte für aktuelle Fehler

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Overlay-Modell für Konzepte der Bedienung Strukturelle Konzepte = Welche Tasks (Aufgaben) gibt es = Aus welche Subtasks ist ein Task aufgebaut (zum Diagnosen stellen muss in den Diagnosemodus gewechselt, eine Diagnose aus dem Diagnosebaum ausgewählt und diese eingestuft werden) Ordnungskonzepte = Wann soll ein Task durchgeführt werden (zuerst Untersuchungen anfordern, dann befunden, dann Diagnosen) Konzepte zu Benutzeraktionen = Welche Aktionen müssen für einen Task durchgeführt werden (zum Wechseln in den Diagnosemodus muss man auf den Button Diagnosen stellen klicken)

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Overlay-Modell: Regeln Zwei Regelsätze, die das Overlay-Modell ändern Zustandsregeln FALLS erwartete Diagnosen haben sich geändert UND NICHT im Diagnosemodus UND NICHT Aktion = Klick auf Diagnosen DANN VERRINGERE WERT VON falls sich die erwarteten Diagnosen ändern, dann sollte man Diagnosen eingeben UM {bestimmten Wert} Abhängigkeitsregeln FALLS WERT VON auf + klicken um Diagnose-Teilbaum zu öffnen UNTER {Schwellwert} DANN VERRINGERE WERT VON auf + klicken um Therapie-Teilbaum zu öffnen UM {bestimmten Wert}

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Interventions-System: Anforderungen Interventions-System muss den Lerner von falschen Aktionen abhalten – andernfalls muss der Lerner seine Aktion manuell rückgängig machen, was manchmal unmöglich ist Hilfe anbieten, wenn der Lerner anscheinend festhängt unaufdringlich sein – andernfalls kann sich der Lerner nicht auf den Lerninhalt konzentrieren

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Interventions-System: Ablauf (II) d3web.Train Hilfemodul Zustandsregeln Abhängigkeitsregeln Intervention Modell Regeln Lernermodell Aktion(shistorie) Systemzustand Benutzeraktion Ausgabe Interventionsfabrik Modell Intervention Regeln Interventions Bibliothek Interventionsfilter f Interventions Historie Inter vention Inter vention Vor der Verarbeitung jeder Benutzeraktion:Aktion(shistorie) und Systemzustand wird ermitteltZustandsregeln werden ausgewertetAbhängigkeitsregeln werden ausgewertet Sind Konzepte gefährlich schlecht bewertet, dann werden passende vorbereitete Interventionen gewichtet weitergegeben Interventionen werden bewertet aufgrund: ihres Gewichts Typ und Anzahl von Interventionen, die nach den zurückliegenden Benutzeraktionen ausgegeben wurden …, die kürzlich ausgegeben wurden Alle Interventionen mit zu geringer Bewertung werden zurückgehalten, von den übrigen wird nur die beste weitergegeben Bewertung der im Interventionstext beschriebenen Konzepte wird verbessert (Intervention Modell Regeln) Aktion des Lerners wird abgebrochen, stattdessen der Interventionstext (vom Feedback-Agenten) ausgegeben

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Evaluation WS 2004/05 62 Studierende, überwiegend im 6. Semester Studiengruppe mit Aktiver Hilfe, Kontrollgruppe ohne 30 Trainingsfälle (6 Allergologie, 4 Immundefektsyndrome, 20 Rheumatologie) Klausurvoraussetzung: 20 erfolgreich bearbeitete Fälle Tasks: Bilder befunden und Diagnosen stellen, Untersuchungen abschnittsweise Objektive Daten: Ergebnisse, Clickstreams, Start von Bedienkursen Subjektive Daten: – Fragebögen zu Beginn und zu Ende des Kurses – Diskussion zu Ende des Kurses 2991 Fallbearbeitungen (207 abgebrochen) 1383 erstmalige Fallbearbeitungen ( 1401 Wiederholungen) 76% Rücklaufquote 1. Fragebogen, 100% 2. Fragebogen 4091 Bedienfehler (Untersuchungsergebnisse nicht beachtet 3433, Bilder nicht befundet 360, Diagnosen nicht gestellt 298)

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Ergebnisse Durchschnittswerte: Studiengruppe (weiss):1,6 (Standardabweichung: 1,2) entspricht 14min. Kontrollgruppe (schwarz):2,0 (Standardabweichung: 1,0) entspricht 20min. Wie lange haben Sie für die Einarbeitung in d3web.Train gebraucht? 1 = <10min 2 = 10-30min 3 = 30min-1h 4 = 1-2h 5 = 2-3h 6 = 3-6h 7 = >6h 0% 25% 50% 75% 100%

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Fehlerzahl Durchschnittswerte: Studiengruppe (weiss):0,60 (Standardabweichung: 0,39) Kontrollgruppe (schwarz):3,00 (Standardabweichung: 2,30). Durchschnittliche Fehlerzahl bei der ersten Fallbearbeitung jeden Falles für die Klausurzulassung nicht mehr notwendig X: # bearbeiteter Fälle Y: # Studierende

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Bewertung der Aktiven Hilfe Wie empfanden Sie die Meldungen des Hilfesystems? Durchschnittswerte: Studiengruppe (weiss):8,0 (Standardabweichung: 5,0) Kontrollgruppe (schwarz):5,8 (Standardabweichung: 4,4) hilfreich störend 0% 5% 10% 15% 20% 25%

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Aussagen zur Aktiven Hilfe Das Hilfesystem … sollte seine Meldungen immer anzeigen sollte die Meldungen einmal anzeigen dann lange nicht sollte nie Meldungen anzeigen hat Aktionen unpassend verhindert sollte abschaltbar sein

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Zusammenfassung - Ergebnisse Studiengruppe fühlte sich schneller eingearbeitet (ca. 6 min) Studiengruppe machte 80% weniger Fehler Studiengruppe bearbeitete freiwillig mehr Fälle 60% der Studiengruppe bewerteten das Hilfesystem positiv 23% wollen die Hilfe genauso wie sie ist 27% wünschen sich die Hilfe weniger aufdringlich nur 3% hätten sie lieber deaktiviert 57% wollen die Aktive Hilfe abschaltbar 47% stuften Interventionen als unpassend ein

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Zusammenfassung & Ausblick Aktives Hilfesystem ist erfolgreich Aber: Integration in d3web.Train noch nicht flexibel genug, Studierende bearbeiten Fälle auch, um: – an das Hintergrundwissen zu gelangen – bestimmte Fallsituationen durchzugehen (Bilder befunden) – den Abschlusskommentar zu lesen – den Fall vor der Klausur schnell zu wiederholen Neue Funktionalität: Abschalten von Fehlern TODO: Schnellzugriff auf Hintergrundwissen und Abschlusskommentar TODO: Persistentes Abschalten & selbstständiges Wiederanschalten von Fehlern Neue Evaluation wurde im SS 2005 durchgeführt Ergebnisse in einem Workshop near you

CBT /15 Evaluation eines adaptiven Hilfesystems für Bedienprobleme mit d3web.Train Fragen?