Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle Alexander Hörnlein1, Stanislaus Reimer2, Christian Kneitz2, Christian Betz1, Frank Puppe1 1Universität Würzburg, Lehrstuhl für Künstliche Intelligenz und Angewandte Informatik 2Poliklinik der Universitätsklinik Würzburg Gliederung: 1. Motivation: Verbindung von Klinik und Lehre 2. Arztbriefe und fallbasierte Trainingssysteme 3. Beispiel 4. Evaluation 5. Zusammenfassung und Ausblick Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Motivation: Verbindung von Klinik & Lehre Tradition in vielen medizinischen Vorlesungen und Praktika Vorstellung von aktuellen Patienten Diskussion der Interpretation und Entscheidungsfindung Aktuell: Aufwertung durch Problembasiertes Lernen Trend: ePatientenakte (EPA) & eLearning Idee: Nutzung der EPA für fallbasierte Trainingssysteme (FTS) Automatischer Transfer von Daten aus EPA in FTS Didaktische Nachbearbeitung des FTS Beibehaltung der Tradition mit neuen Medien Aufgaben eines FTS: Patientenpräsentation Stellen von Aufgaben: Wahl von Untersuchungen, Diagnosen, Therapien; (Bild)Befundung Daten in EPA Arztbrief: Untersuchungen mit Patientendaten, Diagnosen, Therapien Bilder Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Erstellung von fallbasierten Trainingssystemen Bisher: beträchtlicher Aufwand zur Erstellung eines Falles Seitenbasierter Ansatz: Aufbereitung des Basismaterials Erstellen der Verknüpfungen Stellen von Aufgaben Wissensbasiertes Ansatz: Erstellen einer Wissensbasis (aufwändig) Eingabe des Falles (einfach) automatische Generierung der Ablaufoberfläche  Kombination: Basismaterial aus Arztbrief (semistrukturiert) in wissens-basierten Ansatz übernehmen, ggf. nachbearbeiten Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Anatomie eines Arztbriefes Typische Struktur: "Vorspann": Absender, Adresse, Anrede, … Diagnosen Untersuchungen Untersuchungsname Untersuchungsergebnisse Beurteilung (einschl. Therapien) "Nachspann": Grüsse, Unterschrift Automatische Extraktion von Informationen: Untersuchungsnamen Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Optionale Nachbearbeitung des Arztbriefes Vorgabe einer Standardterminologie Diagnosen Untersuchungen Therapien Redaktionelle Textänderungen Anonymisieren (automatisch mit Heuristiken) ggf. Vereinfachung der Untersuchungsergebnisse ggf. Übernahme der Standardterminologie durch Kopieren und Ersetzen Einleitungs- und Fallabschlusskommentar markieren Bewertungswissen präzisieren: Diagnosen gewichten Zwischendiagnosen hinzufügen, bewerten und gewichten Therapien hinzufügen und gewichten Bilder zu Untersuchungen hinzufügen Umsetzung: Standardtextsystem (Microsoft Word) mit automatischem Import in d3web.Train Bewertungen & Gewichte durch Markierungen (z.B. fett, kursiv) Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Beispiel – Hierarchien therapien.txt diagnosen.txt Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Beispiel – Briefvorbereitung Original-Fall Nachbearbeitete Version Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Beispiel – Briefvorbereitung Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Beispiel – d3web.Train Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Beispiel – d3web.Train Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Beispiel – d3web.Train Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Beispiel – d3web.Train Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Evaluation Vorlesungsbegleitender Kurs der Rheumatologie an der Medizinischen Poliklinik in Würzburg 12 Fälle 200 Studenten Fallbearbeitung optional Klausur optional – „Papierform von d3web.Train“ Vorlesungsbegleitender Kurs der Hämatoonkologie an der Medizinischen Poliklinik in Würzburg 17 Fälle 250 Studenten Klausur mit konventionellen MC-Fragen (IMPP) Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Ergebnisse - Rheumatologie Teilnahme 39 aktive Teilnehmer / 187 Fallbearbeitungen Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Ergebnisse - Rheumatologie Bewertung des Systems (16 Angaben) Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Ergebnisse - Rheumatologie Bewertung der Fälle (41 Angaben) Lehrreich Schwierigkeit Feedback Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Ergebnisse - Rheumatologie Ergebnis der Klausur (Teilnahme freiwillig, Angabe auf der Klausur optional) Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Ergebnisse - Hämatoonkologie Teilnahme 47 aktive Teilnehmer / 435 Fallbearbeitungen Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Ergebnisse - Hämatoonkologie Bewertung des Systems (18 Angaben) Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Ergebnisse - Hämatoonkologie Bewertung der Fälle (67 Angaben) Lehrreich Schwierigkeit Feedback Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Ergebnisse - Hämatoonkologie Ergebnis der Klausur (Angabe auf der Klausur optional) Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Evaluation - Zusammenfassung Teilnahme: ca. 20%, ca. 5/10 Fälle pro Student Bewertung des Systems: gut bis sehr gut Ausnahme: „nur“ genügende Bedienung Einsatz des Systems im Kurs: gut bis sehr gut Fälle sind lehrreich und angemessen schwer Feedback größtenteils fair Aber: „zu schlecht“ für 15%, 40%(!) Umgesetzte Fälle wurden kaum getestet Klausurergebnisse Kein Ergebnis bei optionaler Klausur Vorgeschriebene Klausur: Studenten, die das System intensiver nutzten, waren bei MC-Klausur signifikant besser! Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Zusammenfassung und Ausblick Implementierung fertig in d3web.Train Effiziente Fallerstellung optionale und inkrementelle Nachbearbeitung Erfolgreicher Einsatz mit > 30 nachbearbeiteten Arztbriefen einigen Musterfälle Weitere Evaluationen Einsatz im WS 04/05 Neu hinzugekommene Features evaluieren: Bildfragen Folgesitzungen (Therapiesteuerung) Beziehungswissen durch Markierung von relevanten Textabschnitten Weitere Nachbearbeitung durch schrittweise Wissensformalisierung Angabe von Kosten zu Untersuchungen und Therapien Bereitstellung von relationalem Wissen über Beziehungen von Diagnosen zu Untersuchungen und zu Therapien Besseres Feedback durch zusätzliche Erläuterungen Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle

Kontakt: http://www.d3webtrain.de Fragen? Kontakt: http://www.d3webtrain.de Semantische Annotierung von Arztbriefen zur Generierung diagnostischer Trainingsfälle