d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg und München Stanislaus Reimer1, Christian Kneitz1, Hans-Peter Tony1, Stefan Schewe2, Alexander Hörnlein3, Frank Puppe3 1 Medizinische Poliklinik der Universität Würzburg, Schwerpunkt Rheumatologie und klinische Immunologie, Klinikstrasse 6-8, 97070 Würzburg 2 Medizinische Poliklinik der Universität München, Pettenkoferstr. 8a, 80336 München 3 Lehrstuhl für Informatik VI, Universität Würzburg, Am Hubland, 97074 Würzburg Die Arbeiten wurden vom BMBF im Verbundprojekt CASEPORT (01NM111E) gefördert. d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Kurzbeschreibung d3web ist u.a. ein Autorenwerkzeug zur Entwicklung fall- und wissensbasierter Trainingssysteme zur Vermittlung von medizinischem Wissen anhand klinischer Fälle. d3web.Train ist eine Neu- und Weiterentwicklung des D3 Trainers mit Webfunktionalität präsentiert fallbezogene Symptome und Befunde, bewertet die diagnostischen Überlegungen des Benutzers und stellt Hintergrundwissen und Expertenmeinungen zur Verfügung ist für verschiedene Zielgruppen schnell und individuell adaptierbar. d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

„Klassisches“ Autorensystem D3 Wissens-basis Fall- basis d3web.KnowME fallunabhängiges Wissen in Form von ontologischem, strukturellem und strategischem Wissen und multimedialen Inhalten fallspezifische (Patienten-)Daten und Multimedia-Daten d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Fallinformationen und Anamnese-Erhebung Trainingssystem Fallinformationen und Anamnese-Erhebung d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Klinische Untersuchung mit Bewertung Trainingssystem Klinische Untersuchung mit Bewertung d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Trainingssystem Laborchemische sowie technische Untersuchungen mit Berücksichtigung des Kostenfaktors d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Trainingssystem Diagnostik Therapeutische Entscheidung d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Trainingssystem Abschließende Bewertung, Kritikpunkte und allgemeine Hintergrundinformationen zum Fall d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Aufwand für Autor Erstellung der rheumatologischen Wissensbasis Dauer ca. 4 Monate (01/02-04/02) wöchentliche Zeitinvestition 5-7 Stunden Abdeckung der häufigsten rheumatologischen Erkrankungen Zusammensetzung der Wissensbasis: 90 Frageklassen, die 131 Fragen nach Symptomen und Befunden enthalten. Die Diagnose-/Therapiehierarchie bestand aus 84 Diagnosen/Therapien Erstellung der Fälle 5 echte klinische Fälle aus der rheumatologischen Ambulanz d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Evaluation im SS 2003 im Pflichtkurs der Inneren Medizin in kleinen Gruppen (max. 3 Studenten bei Fortgeschrittenen und max. 6 Studenten bei Anfängern) Insgesamt 41 Studenten in 2 Gruppen freiwillige Studenten der Universitäten Würzburg und München mit externem Zugriff auf das Programm ohne Anleitung (N=17) Studenten im Pflichtkurs der Inneren Medizin mit Anleitung an der Medizinischen Poliklinik der Universität Würzburg (N=24) Als Fragebogen diente CASEPORT-Bewertungsbogen Bei allen Fragen hatten die Studenten 5 Antwortmöglichkeiten, die den Schulnoten von 1-5 entsprachen Unterteilung in 3 Blöcke: Fragen zum Anwender, Fragen zum Fall, Fragen zum System d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Fragen Technik allgemein: „Das Programm bereitet keine technischen Probleme” User Interface Design: „Die optische Gestaltung des Programms ist ansprechend“ Bedienung: „Das Programm ist einfach zu bedienen“ Navigation: „Die Navigation war problemlos möglich“ Wissenserwerb: „Das Programm hat mir neue Kenntnisse vermittelt“ Allgemeine Bewertung Empfehlung: „Das Lernprogramm kann man weiterempfehlen“ Nutzung in Zukunft: „Ich möchte weiterhin mit dem Programm arbeiten“ Spaß: „Das Lernen mit dem Programm hat Spaß gemacht“ - Gesamtnote: „Aus meiner Sicht ist das Lernprogramm insgesamt {sehr gut, gut, mittelmäßig, schlecht, sehr schlecht}“ d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Ergebnisse d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Diskussion Bewertung war eher positiv: 76% der Studenten bezeichneten den Fall und den angebotenen Inhalt als angemessen schwer 71% der Befragten fanden den Fall als geeignet für das Medizinstudium und ärztliche Fortbildung. Gut schneidet auch die Beurteilung der Qualität der Daten (Bilder, Texte) und Programmoptik ab. Den meisten hat das Lernen mit d3web.Train Spaß gemacht (Pflichtkurs: 2,2 - Freiwillige: 2,6) Beim Wissenserwerb wird der subjektive Lerngewinn eher als groß bewertet (Pflichtkurs: 2,1 - Freiwillige: 2,6). Verbesserungsbedarf: Für die Bedienung, Navigation und technische Probleme wurden insgesamt schlechtere Noten vergeben, die alle über 3,0 lagen. Wenn die Studierenden eine Schulnote vergeben sollten, wäre diese Gesamtnote 2,5 im Pflichtkurs und 3,1 bei den Freiwilligen mit externem Zugriff. d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Kritikpunkt: Bedienung und Navigation d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Kritikpunkt: Bedienung und Navigation Oberflächendesign bzgl. Farben, Schriftgröße, Multimedia-Einsatz, Visual Clutter, usw. Neue Konzepte Einstiegshilfen Passiv Hilfesystem Demofall (z.B. Powerpointpräsentation) Aktiv Wizard Überwachtes Nachspielen eines Demofalles Best of both: gezielte Hinweise aufgrund Benutzermodell Änderung der Dialogform Reduktion der Freiheitsgrade (Sequentialisierung der Aufgaben) Schrittweise Komplexitätssteigerung der Dialogform Reduktion der Informationsdichte bei Fallpräsentation und Aufgaben Weniger Information (z.B. MC-Fragen statt Hierarchieauswahl) Andere Aufteilung der Information d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Verbesserung der Bedienung und Navigation Ausblick Verbesserung der Bedienung und Navigation Einbindung von Hintergrundwissen zur Recherche mit fallbezogenen Kontrollfragen, z.B. Symptome  Diagnosen Prävalenz von Diagnosen Diagnosen  Untersuchungen Diagnosen  Therapien Zeitmanagement bzgl. Untersuchungen bzgl. Therapien d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Geplante / zur Zeit laufende Evaluation Bewertung der verschiedenen optionalen Erweiterungen Zusätzliche Bilder (Bild-)Befundung Therapieauswahl Hintergrundwissen Vergleich verschiedener Präsentationsformen der Patientendaten fortlaufender Text Tabellarisch Sonderformen (Nachbildung eines Laborzettels, Grafische Darstellung von betroffenen Gelenken) Vergleich erstmalige Nutzung gegen Routine-Nutzung Vergleich von geführten Modus mit freiem Modus Vergleich von wissensbasierten Fällen und solchen, die auf annotierten Arztbriefen basieren d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Evaluationskriterien Subjektive Maße Akzeptanz, Spaß Lerneffekt, Lerneffizienz Objektive Maße Systembeherrschung Zeitlicher Aufwand pro Fall Lerneffekt (Fallbezogene Prüfungen) Bewertung bezogen auf System und einzelne Features Abhängig von Benutzertypen und Einsatzszenario d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

Fragen? d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg