Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen im Bereich der Dozentenrückmeldung, des Studierenden-Mentorings und der curricularen Weiterentwicklung Johann Arias Alexander Schiffel Sonja Finsterer Wolfgang Dott Melanie Simon

Bausteine eines Evaluationsergebnisses

Bausteine eines Evaluationsergebnisses

Evaluation in der Lehre Gründe Erreichen des „Ziels“ Curriculare Weiterentwicklung Verpflichtung „… den gesetzlichen Anforderungen wird Genüge getan“ meist ohne Auswirkungen

Probleme der Lehrevaluation Evaluation wird zum Selbstzweck? Potential für die Qualitätssicherung wird nicht erkannt Evaluation wird zu Entscheidungen missbraucht? Negatives Image Opinion based vs. Evidence based Kromrey, H. [2005]

Ziele der Lehre Welche Ziele hat ein Studiengang? „Ziel […] ist der wissenschaftlich und praktisch in der Medizin ausgebildete Arzt […]. Die Ausbildung soll grundlegende Kenntnisse, Fähigkeiten und Fertigkeiten in allen Fächern vermitteln, […]“ (ÄAppO, 2003) Wie sollen die Ziele erreicht werden? Qualität in der Lehre (Identifizieren und Beheben von Problemen) Vermittlung von Wissen und Kompetenzen der Absolventen Woran erkennt man die Zielerreichung? Befragen der Zielgruppen und Prüfungsergebnisse Spiel, C. [2011]

Welche Formen der Evaluation stehen aktuell zur Verfügung? (1) Studentische Lehrveranstaltungs-Evaluation Vorteile bewährte standardisierte Fragebögen Hoher Erfahrungswert Probleme Hoher Einfluss individueller Studienmotivation und Erwartungshaltung Image des/der Dozenten/Dozentin und keine Vergleichsmöglichkeit Positive Bewertung der Lehrveranstaltung nicht gleichbedeutend mit Lernerfolg

Welche Formen der Evaluation stehen aktuell zur Verfügung? (2) Outcome-basierte Prüfungen Summativ Formativ Messung von Wissenszuwachs und Kompetenz durch Prüfungen Kursnoten und sonstige Testergebnisse sind Indikatoren für Qualifikation Herausforderungen Qualität der Prüfungsfragen (Relevanz, Aussagekraft) => Reviewprozess

Aachener Modellstudiengang Medizin 1. Ärztl. Prüfung 2. Ärztl. Prüfung 1.+2. Studien-abschnitt 3. Studien-abschnitt & PJ Progress Tests Progress Tests 60 Kursprüfungen summativ fachbezogen 2 Staatsexamina allgemein 12 Progress Tests formativ

Progress Test Medizin (PTM) Idee entstanden in den 70er Jahren Vorreiter in NL und GB Organisiert von der Charité, Berlin (seit 1999) Kooperation zwischen 15 Medizinischen Fakultäten Fakultätsvergleiche Zentrale Fragendatenbank Reviewprozesse 200 MC-Fragen auf Absolventenniveau Blueprint 14 Organsysteme, 27 Fachgebiete

Progress Test Medizin (PTM) Idee entstanden in den 70er Jahren Vorreiter in NL und GB Organisiert von der Charité, Berlin (seit 1999) Kooperation zwischen 15 Medizinischen Fakultäten Fakultätsvergleiche Zentrale Fragendatenbank Reviewprozesse 200 MC-Fragen auf Absolventenniveau Blueprint 14 Organsysteme, 27 Fachgebiete

Synthese der Evaluationsformen PTM Ergebnisse Progress Test Ergebnisse Summative Ergebnisse Stud. LV-Evaluation Evaluations-Datenbank

Bezüge zwischen summativen und formativen Ergebnissen 1 MC-Frage : 1 Organsystem + 1 Fachgebiet Progress Test Organsysteme MC-Fragen Aachener Curriculum Kurse Fachgebiete

Bezüge zwischen summativen und formativen Ergebnissen 1 MC-Frage : 1 Organsystem + 1 Fachgebiet 1 Kurs : n Organsysteme + m Fachgebiete Progress Test Organsysteme MC-Fragen Aachener Curriculum Kurse Fachgebiete

Bezüge zwischen summativen und formativen Ergebnissen 1 MC-Frage : 1 Organsystem + 1 Fachgebiet 1 Kurs : n Organsysteme + m Fachgebiete => 1 MC-Frage : x Kurse Progress Test Organsysteme MC-Fragen Aachener Curriculum Kurse Fachgebiete

? Wissensentwicklung im Curriculum Vergleiche von Evaluationsformen Dozenten- Rückmeldung Studierenden- Rückmeldung

Wissensentwicklung Gesamt

Wissensentwicklung Atmungsorgane

Wissensentwicklung Atmungsorgane

Wissensentwicklung Atmungsorgane

Wissensentwicklung Atmungsorgane WS 10/11 WS 10/11 WS 10/11 WS 10/11 WS 10/11

? Wissensentwicklung im Curriculum Vergleiche von Evaluationsformen Dozenten- Rückmeldung Studierenden- Rückmeldung

Fragestellungen an den Vergleich PTM/Studentische LV-Evaluation Gibt es übereinstimmende Tendenzen beider Evaluationsformen? „Der persönliche Lerneffekt für mich war…“: 1- sehr hoch bis 6- nicht vorhanden = ?

Vergleich PTM/Studentische LV-Evaluation

Vergleich PTM/Studentische LV-Evaluation „Der persönliche Lerneffekt für mich war…“: 1- sehr hoch bis 6- nicht vorhanden

? Wissensentwicklung im Curriculum Vergleiche von Evaluationsformen Dozenten- Rückmeldung Studierenden- Rückmeldung

Rückmeldung an Dozenten

Rückmeldung an Dozenten

? Wissensentwicklung im Curriculum Vergleiche von Evaluationsformen Dozenten- Rückmeldung Studierenden- Rückmeldung

Mentoring Konzept Beratung in der Medizinischen Fakultät seit 2003 Ein Berater pro Jahrgang (jeweils ca. 250 Studierende) Gruppen- und Einzelgespräche Ziele Verbesserung der Prüfungsleistungen Studiendauer reduzieren Frühzeitiges Erkennen von Bedürfnissen, Problemen und Potentialen Studierende gezielter kontaktieren Self-Assessment fördern

Kurzübersicht Student A Student B

Vergleich Summativ/Formativ

Vergleich Summativ/Formativ

Zusammenfassung Identifizierung vorhandener Evaluationsformen Zusammenführung und Vergleich war weiterführend Neue Themen in der Studierendenberatung Bessere Einschätzung von Stärken und Schwächen Lerntypen identifizieren Nachhaltigkeit von Gelerntem

Fazit Evaluation Summative Prüfungen Formative Prüfungen Stud. LV- Bewertung Summative Prüfungen Formative Prüfungen Evaluation

Fazit Kombination der Evaluationsformen Transparente Methodik und Ergebnisse Akzeptanz, Nachhaltigkeit Valides Evaluationsergebnis

Ausblick Erstellung eines Lernzielkatalogs Eigenes Curriculum daran ausrichten und überprüfen Kompetenzvermittlung durch angepasste Prüfungsformate Weg von reiner Bewertung anhand von Abschlussprüfungen Datenlage zur Bewertung nach Studienabschluss nicht vorhanden Optimierung der Evaluationsformen Mentoringbedarf erkennen Zugang Mentoring-Tool für Studierende Bedarfsorientiertes Dozentenfeedback Studentische Lehrevaluation weiter analysieren Reviewprozess der summativen Prüfungsfragen

Vielen Dank An das PTM Team der Charité Kollegen im Aachener Modellstudiengang Medizin

AACHEN www.gma2012.de

Literatur Evaluation Von Lehrveranstaltungsevaluation zu Curriculumsentwicklung. Spiel , GMA 2011 http://www.gma2011.de/index.php?option=com_content&view=article&id=420&Itemid=581&lang=en Zwischen Selbstzweck und Qualitätsmanagement. Quo vadis, Evaluatione? Spiel et al. In C. Spiel (Hrsg.), Evaluation universitärer Lehre - zwischen Qualitätsmanagement und Selbstzweck (S. 9-20). Münster: Waxmann., 2001 Selbstevaluation in der Lehre. Beywel et al. Waxmann 2011 Studierendenbefragung als Evaluation der Lehre? – Anforderung an Methodik und Design. Kromrey. Hg: Engel, Hochschulranking. Zur Qualitätsbewertung von Studium und Lehre, Campus Verlag, Frankfurt M., 2001

Literatur Progress Testing Mentoring Progress testing in German speaking countries. Nouns & Georg. Medical Teacher 2010. Progress Testing- ein Verfahren zur detaillierten Leistungsdarstellung und Lehrevaluation auf Basis der Wissensentwicklung von Studierenden. Nouns & Brauns. Blickpunkt Hochschuldidaktik 2008. Flexible electronic feedback using the virtues of progress testing. Muijtjens et al. Medical teacher 2010. Medical Teacher. Progress Testing Themed Issue. Volume 32, Number 6, June 2010, AMEE Mentoring Querschnittsevaluation des Medizinischen Curriculums München (MeCuM) mit Hilfe des Progress Tests Medizin (PTM). Schmidmaier et al. GMS Z Med Ausbild 2010. Aufbau eines innovativen Mentorenprogramms für eine große Zahl Medizinstudierender nach quantitativer und qualitativer Bedarfsanalyse. von der Borch et al. GMS Z Med Ausbild 2011, Vol. 28(2)

Diskussion Welche Ziele hat ein Studiengang? Wie sollen die Ziele erreicht werden? Woran erkennt man die Zielerreichung? Sind die entsprechenden Ressourcen vorhanden? Evaluationsformen an Ihrer Fakultät? Progress Test in anderen Fachrichtungen? Lernzielkatalog für andere Fachrichtungen? Reviewprozesse für Kursprüfungsfragen?