D3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg und München Stanislaus.

Präsentation zum Thema: "D3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg und München Stanislaus."—  Präsentation transkript:

1 d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg und München Stanislaus Reimer1, Christian Kneitz1, Hans-Peter Tony1, Stefan Schewe2, Alexander Hörnlein3, Frank Puppe3 1 Medizinische Poliklinik der Universität Würzburg, Schwerpunkt Rheumatologie und klinische Immunologie, Klinikstrasse 6-8, Würzburg 2 Medizinische Poliklinik der Universität München, Pettenkoferstr. 8a, München 3 Lehrstuhl für Informatik VI, Universität Würzburg, Am Hubland, Würzburg Die Arbeiten wurden vom BMBF im Verbundprojekt CASEPORT (01NM111E) gefördert. d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

2 Kurzbeschreibung d3web
ist u.a. ein Autorenwerkzeug zur Entwicklung fall- und wissensbasierter Trainingssysteme zur Vermittlung von medizinischem Wissen anhand klinischer Fälle. d3web.Train ist eine Neu- und Weiterentwicklung des D3 Trainers mit Webfunktionalität präsentiert fallbezogene Symptome und Befunde, bewertet die diagnostischen Überlegungen des Benutzers und stellt Hintergrundwissen und Expertenmeinungen zur Verfügung ist für verschiedene Zielgruppen schnell und individuell adaptierbar. d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

3 „Klassisches“ Autorensystem
D3 Wissens-basis Fall- basis d3web.KnowME fallunabhängiges Wissen in Form von ontologischem, strukturellem und strategischem Wissen und multimedialen Inhalten fallspezifische (Patienten-)Daten und Multimedia-Daten d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

4 Fallinformationen und Anamnese-Erhebung
Trainingssystem Fallinformationen und Anamnese-Erhebung d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

5 Klinische Untersuchung mit Bewertung
Trainingssystem Klinische Untersuchung mit Bewertung d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

6 Trainingssystem Laborchemische sowie technische Untersuchungen mit Berücksichtigung des Kostenfaktors d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

7 Trainingssystem Diagnostik Therapeutische Entscheidung
d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

8 Trainingssystem Abschließende Bewertung, Kritikpunkte und allgemeine Hintergrundinformationen zum Fall d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

9 Aufwand für Autor Erstellung der rheumatologischen Wissensbasis
Dauer ca. 4 Monate (01/02-04/02) wöchentliche Zeitinvestition 5-7 Stunden Abdeckung der häufigsten rheumatologischen Erkrankungen Zusammensetzung der Wissensbasis: 90 Frageklassen, die 131 Fragen nach Symptomen und Befunden enthalten. Die Diagnose-/Therapiehierarchie bestand aus 84 Diagnosen/Therapien Erstellung der Fälle 5 echte klinische Fälle aus der rheumatologischen Ambulanz d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

10 Evaluation im SS 2003 im Pflichtkurs der Inneren Medizin
in kleinen Gruppen (max. 3 Studenten bei Fortgeschrittenen und max. 6 Studenten bei Anfängern) Insgesamt 41 Studenten in 2 Gruppen freiwillige Studenten der Universitäten Würzburg und München mit externem Zugriff auf das Programm ohne Anleitung (N=17) Studenten im Pflichtkurs der Inneren Medizin mit Anleitung an der Medizinischen Poliklinik der Universität Würzburg (N=24) Als Fragebogen diente CASEPORT-Bewertungsbogen Bei allen Fragen hatten die Studenten 5 Antwortmöglichkeiten, die den Schulnoten von 1-5 entsprachen Unterteilung in 3 Blöcke: Fragen zum Anwender, Fragen zum Fall, Fragen zum System d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

11 Fragen Technik allgemein: „Das Programm bereitet keine technischen Probleme” User Interface Design: „Die optische Gestaltung des Programms ist ansprechend“ Bedienung: „Das Programm ist einfach zu bedienen“ Navigation: „Die Navigation war problemlos möglich“ Wissenserwerb: „Das Programm hat mir neue Kenntnisse vermittelt“ Allgemeine Bewertung Empfehlung: „Das Lernprogramm kann man weiterempfehlen“ Nutzung in Zukunft: „Ich möchte weiterhin mit dem Programm arbeiten“ Spaß: „Das Lernen mit dem Programm hat Spaß gemacht“ - Gesamtnote: „Aus meiner Sicht ist das Lernprogramm insgesamt {sehr gut, gut, mittelmäßig, schlecht, sehr schlecht}“ d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

12 Ergebnisse d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

13 Diskussion Bewertung war eher positiv:
76% der Studenten bezeichneten den Fall und den angebotenen Inhalt als angemessen schwer 71% der Befragten fanden den Fall als geeignet für das Medizinstudium und ärztliche Fortbildung. Gut schneidet auch die Beurteilung der Qualität der Daten (Bilder, Texte) und Programmoptik ab. Den meisten hat das Lernen mit d3web.Train Spaß gemacht (Pflichtkurs: 2,2 - Freiwillige: 2,6) Beim Wissenserwerb wird der subjektive Lerngewinn eher als groß bewertet (Pflichtkurs: 2,1 - Freiwillige: 2,6). Verbesserungsbedarf: Für die Bedienung, Navigation und technische Probleme wurden insgesamt schlechtere Noten vergeben, die alle über 3,0 lagen. Wenn die Studierenden eine Schulnote vergeben sollten, wäre diese Gesamtnote 2,5 im Pflichtkurs und 3,1 bei den Freiwilligen mit externem Zugriff. d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

14 Kritikpunkt: Bedienung und Navigation
d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

15 Kritikpunkt: Bedienung und Navigation
Oberflächendesign bzgl. Farben, Schriftgröße, Multimedia-Einsatz, Visual Clutter, usw. Neue Konzepte Einstiegshilfen Passiv Hilfesystem Demofall (z.B. Powerpointpräsentation) Aktiv Wizard Überwachtes Nachspielen eines Demofalles Best of both: gezielte Hinweise aufgrund Benutzermodell Änderung der Dialogform Reduktion der Freiheitsgrade (Sequentialisierung der Aufgaben) Schrittweise Komplexitätssteigerung der Dialogform Reduktion der Informationsdichte bei Fallpräsentation und Aufgaben Weniger Information (z.B. MC-Fragen statt Hierarchieauswahl) Andere Aufteilung der Information d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

16 Verbesserung der Bedienung und Navigation
Ausblick Verbesserung der Bedienung und Navigation Einbindung von Hintergrundwissen zur Recherche mit fallbezogenen Kontrollfragen, z.B. Symptome  Diagnosen Prävalenz von Diagnosen Diagnosen  Untersuchungen Diagnosen  Therapien Zeitmanagement bzgl. Untersuchungen bzgl. Therapien d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

17 Geplante / zur Zeit laufende Evaluation
Bewertung der verschiedenen optionalen Erweiterungen Zusätzliche Bilder (Bild-)Befundung Therapieauswahl Hintergrundwissen Vergleich verschiedener Präsentationsformen der Patientendaten fortlaufender Text Tabellarisch Sonderformen (Nachbildung eines Laborzettels, Grafische Darstellung von betroffenen Gelenken) Vergleich erstmalige Nutzung gegen Routine-Nutzung Vergleich von geführten Modus mit freiem Modus Vergleich von wissensbasierten Fällen und solchen, die auf annotierten Arztbriefen basieren d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

18 Evaluationskriterien
Subjektive Maße Akzeptanz, Spaß Lerneffekt, Lerneffizienz Objektive Maße Systembeherrschung Zeitlicher Aufwand pro Fall Lerneffekt (Fallbezogene Prüfungen) Bewertung bezogen auf System und einzelne Features Abhängig von Benutzertypen und Einsatzszenario d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg

19 Fragen? d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg