Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen im Bereich der Dozentenrückmeldung, des Studierenden-Mentorings.

Präsentation zum Thema: "Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen im Bereich der Dozentenrückmeldung, des Studierenden-Mentorings."—  Präsentation transkript:

1 Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen im Bereich der Dozentenrückmeldung, des Studierenden-Mentorings und der curricularen Weiterentwicklung Johann Arias Alexander Schiffel Sonja Finsterer Wolfgang Dott Melanie Simon

2 Bausteine eines Evaluationsergebnisses

3 Bausteine eines Evaluationsergebnisses

4 Evaluation in der Lehre
Gründe Erreichen des „Ziels“ Curriculare Weiterentwicklung Verpflichtung „… den gesetzlichen Anforderungen wird Genüge getan“ meist ohne Auswirkungen

5 Probleme der Lehrevaluation
Evaluation wird zum Selbstzweck? Potential für die Qualitätssicherung wird nicht erkannt Evaluation wird zu Entscheidungen missbraucht? Negatives Image Opinion based vs. Evidence based Kromrey, H. [2005]

6 Ziele der Lehre Welche Ziele hat ein Studiengang?
„Ziel […] ist der wissenschaftlich und praktisch in der Medizin ausgebildete Arzt […]. Die Ausbildung soll grundlegende Kenntnisse, Fähigkeiten und Fertigkeiten in allen Fächern vermitteln, […]“ (ÄAppO, 2003) Wie sollen die Ziele erreicht werden? Qualität in der Lehre (Identifizieren und Beheben von Problemen) Vermittlung von Wissen und Kompetenzen der Absolventen Woran erkennt man die Zielerreichung? Befragen der Zielgruppen und Prüfungsergebnisse Spiel, C. [2011]

7 Welche Formen der Evaluation stehen aktuell zur Verfügung? (1)
Studentische Lehrveranstaltungs-Evaluation Vorteile bewährte standardisierte Fragebögen Hoher Erfahrungswert Probleme Hoher Einfluss individueller Studienmotivation und Erwartungshaltung Image des/der Dozenten/Dozentin und keine Vergleichsmöglichkeit Positive Bewertung der Lehrveranstaltung nicht gleichbedeutend mit Lernerfolg

8 Welche Formen der Evaluation stehen aktuell zur Verfügung? (2)
Outcome-basierte Prüfungen Summativ Formativ Messung von Wissenszuwachs und Kompetenz durch Prüfungen Kursnoten und sonstige Testergebnisse sind Indikatoren für Qualifikation Herausforderungen Qualität der Prüfungsfragen (Relevanz, Aussagekraft) => Reviewprozess

9 Aachener Modellstudiengang Medizin
1. Ärztl. Prüfung 2. Ärztl. Prüfung 1.+2. Studien-abschnitt 3. Studien-abschnitt & PJ Progress Tests Progress Tests 60 Kursprüfungen summativ fachbezogen 2 Staatsexamina allgemein 12 Progress Tests formativ

10 Progress Test Medizin (PTM)
Idee entstanden in den 70er Jahren Vorreiter in NL und GB Organisiert von der Charité, Berlin (seit 1999) Kooperation zwischen 15 Medizinischen Fakultäten Fakultätsvergleiche Zentrale Fragendatenbank Reviewprozesse 200 MC-Fragen auf Absolventenniveau Blueprint 14 Organsysteme, 27 Fachgebiete

11 Progress Test Medizin (PTM)
Idee entstanden in den 70er Jahren Vorreiter in NL und GB Organisiert von der Charité, Berlin (seit 1999) Kooperation zwischen 15 Medizinischen Fakultäten Fakultätsvergleiche Zentrale Fragendatenbank Reviewprozesse 200 MC-Fragen auf Absolventenniveau Blueprint 14 Organsysteme, 27 Fachgebiete

12 Synthese der Evaluationsformen
PTM Ergebnisse Progress Test Ergebnisse Summative Ergebnisse Stud. LV-Evaluation Evaluations-Datenbank

13 Bezüge zwischen summativen und formativen Ergebnissen
1 MC-Frage : 1 Organsystem + 1 Fachgebiet Progress Test Organsysteme MC-Fragen Aachener Curriculum Kurse Fachgebiete

14 Bezüge zwischen summativen und formativen Ergebnissen
1 MC-Frage : 1 Organsystem + 1 Fachgebiet 1 Kurs : n Organsysteme + m Fachgebiete Progress Test Organsysteme MC-Fragen Aachener Curriculum Kurse Fachgebiete

15 Bezüge zwischen summativen und formativen Ergebnissen
1 MC-Frage : 1 Organsystem + 1 Fachgebiet 1 Kurs : n Organsysteme + m Fachgebiete => 1 MC-Frage : x Kurse Progress Test Organsysteme MC-Fragen Aachener Curriculum Kurse Fachgebiete

16 ? Wissensentwicklung im Curriculum Vergleiche von Evaluationsformen
Dozenten- Rückmeldung Studierenden- Rückmeldung

17 Wissensentwicklung Gesamt

18 Wissensentwicklung Atmungsorgane

19 Wissensentwicklung Atmungsorgane

20 Wissensentwicklung Atmungsorgane

21 Wissensentwicklung Atmungsorgane
WS 10/11 WS 10/11 WS 10/11 WS 10/11 WS 10/11

22 ? Wissensentwicklung im Curriculum Vergleiche von Evaluationsformen
Dozenten- Rückmeldung Studierenden- Rückmeldung

23 Fragestellungen an den Vergleich PTM/Studentische LV-Evaluation
Gibt es übereinstimmende Tendenzen beider Evaluationsformen? „Der persönliche Lerneffekt für mich war…“: 1- sehr hoch bis 6- nicht vorhanden = ?

24 Vergleich PTM/Studentische LV-Evaluation

25 Vergleich PTM/Studentische LV-Evaluation
„Der persönliche Lerneffekt für mich war…“: 1- sehr hoch bis 6- nicht vorhanden

26 ? Wissensentwicklung im Curriculum Vergleiche von Evaluationsformen
Dozenten- Rückmeldung Studierenden- Rückmeldung

27 Rückmeldung an Dozenten

28 Rückmeldung an Dozenten

29 ? Wissensentwicklung im Curriculum Vergleiche von Evaluationsformen
Dozenten- Rückmeldung Studierenden- Rückmeldung

30 Mentoring Konzept Beratung in der Medizinischen Fakultät seit 2003
Ein Berater pro Jahrgang (jeweils ca. 250 Studierende) Gruppen- und Einzelgespräche Ziele Verbesserung der Prüfungsleistungen Studiendauer reduzieren Frühzeitiges Erkennen von Bedürfnissen, Problemen und Potentialen Studierende gezielter kontaktieren Self-Assessment fördern

31 Kurzübersicht Student A Student B

32 Vergleich Summativ/Formativ

33 Vergleich Summativ/Formativ

34 Zusammenfassung Identifizierung vorhandener Evaluationsformen
Zusammenführung und Vergleich war weiterführend Neue Themen in der Studierendenberatung Bessere Einschätzung von Stärken und Schwächen Lerntypen identifizieren Nachhaltigkeit von Gelerntem

35 Fazit Evaluation Summative Prüfungen Formative Prüfungen
Stud. LV- Bewertung Summative Prüfungen Formative Prüfungen Evaluation

36 Fazit Kombination der Evaluationsformen
Transparente Methodik und Ergebnisse Akzeptanz, Nachhaltigkeit Valides Evaluationsergebnis

37 Ausblick Erstellung eines Lernzielkatalogs
Eigenes Curriculum daran ausrichten und überprüfen Kompetenzvermittlung durch angepasste Prüfungsformate Weg von reiner Bewertung anhand von Abschlussprüfungen Datenlage zur Bewertung nach Studienabschluss nicht vorhanden Optimierung der Evaluationsformen Mentoringbedarf erkennen Zugang Mentoring-Tool für Studierende Bedarfsorientiertes Dozentenfeedback Studentische Lehrevaluation weiter analysieren Reviewprozess der summativen Prüfungsfragen

38 Vielen Dank An das PTM Team der Charité
Kollegen im Aachener Modellstudiengang Medizin

39 AACHEN

40 Literatur Evaluation Von Lehrveranstaltungsevaluation zu Curriculumsentwicklung. Spiel , GMA Zwischen Selbstzweck und Qualitätsmanagement. Quo vadis, Evaluatione? Spiel et al. In C. Spiel (Hrsg.), Evaluation universitärer Lehre - zwischen Qualitätsmanagement und Selbstzweck (S. 9-20). Münster: Waxmann., 2001 Selbstevaluation in der Lehre. Beywel et al. Waxmann 2011 Studierendenbefragung als Evaluation der Lehre? – Anforderung an Methodik und Design. Kromrey. Hg: Engel, Hochschulranking. Zur Qualitätsbewertung von Studium und Lehre, Campus Verlag, Frankfurt M., 2001

41 Literatur Progress Testing Mentoring
Progress testing in German speaking countries. Nouns & Georg. Medical Teacher 2010. Progress Testing- ein Verfahren zur detaillierten Leistungsdarstellung und Lehrevaluation auf Basis der Wissensentwicklung von Studierenden. Nouns & Brauns. Blickpunkt Hochschuldidaktik 2008. Flexible electronic feedback using the virtues of progress testing. Muijtjens et al. Medical teacher 2010. Medical Teacher. Progress Testing Themed Issue. Volume 32, Number 6, June 2010, AMEE Mentoring Querschnittsevaluation des Medizinischen Curriculums München (MeCuM) mit Hilfe des Progress Tests Medizin (PTM). Schmidmaier et al. GMS Z Med Ausbild 2010. Aufbau eines innovativen Mentorenprogramms für eine große Zahl Medizinstudierender nach quantitativer und qualitativer Bedarfsanalyse. von der Borch et al. GMS Z Med Ausbild 2011, Vol. 28(2)

42 Diskussion Welche Ziele hat ein Studiengang?
Wie sollen die Ziele erreicht werden? Woran erkennt man die Zielerreichung? Sind die entsprechenden Ressourcen vorhanden? Evaluationsformen an Ihrer Fakultät? Progress Test in anderen Fachrichtungen? Lernzielkatalog für andere Fachrichtungen? Reviewprozesse für Kursprüfungsfragen?