Präsentation herunterladen
Veröffentlicht von:Sara Heisler Geändert vor über 9 Jahren
1
Summatives Assessment und formatives Progress Testing Kombination zweier Evaluationsformen im Bereich der Dozentenrückmeldung, des Studierenden-Mentorings und der curricularen Weiterentwicklung Johann Arias Alexander Schiffel Sonja Finsterer Wolfgang Dott Melanie Simon
2
Bausteine eines Evaluationsergebnisses
3
Bausteine eines Evaluationsergebnisses
4
Evaluation in der Lehre
Gründe Erreichen des „Ziels“ Curriculare Weiterentwicklung Verpflichtung „… den gesetzlichen Anforderungen wird Genüge getan“ meist ohne Auswirkungen
5
Probleme der Lehrevaluation
Evaluation wird zum Selbstzweck? Potential für die Qualitätssicherung wird nicht erkannt Evaluation wird zu Entscheidungen missbraucht? Negatives Image Opinion based vs. Evidence based Kromrey, H. [2005]
6
Ziele der Lehre Welche Ziele hat ein Studiengang?
„Ziel […] ist der wissenschaftlich und praktisch in der Medizin ausgebildete Arzt […]. Die Ausbildung soll grundlegende Kenntnisse, Fähigkeiten und Fertigkeiten in allen Fächern vermitteln, […]“ (ÄAppO, 2003) Wie sollen die Ziele erreicht werden? Qualität in der Lehre (Identifizieren und Beheben von Problemen) Vermittlung von Wissen und Kompetenzen der Absolventen Woran erkennt man die Zielerreichung? Befragen der Zielgruppen und Prüfungsergebnisse Spiel, C. [2011]
7
Welche Formen der Evaluation stehen aktuell zur Verfügung? (1)
Studentische Lehrveranstaltungs-Evaluation Vorteile bewährte standardisierte Fragebögen Hoher Erfahrungswert Probleme Hoher Einfluss individueller Studienmotivation und Erwartungshaltung Image des/der Dozenten/Dozentin und keine Vergleichsmöglichkeit Positive Bewertung der Lehrveranstaltung nicht gleichbedeutend mit Lernerfolg
8
Welche Formen der Evaluation stehen aktuell zur Verfügung? (2)
Outcome-basierte Prüfungen Summativ Formativ Messung von Wissenszuwachs und Kompetenz durch Prüfungen Kursnoten und sonstige Testergebnisse sind Indikatoren für Qualifikation Herausforderungen Qualität der Prüfungsfragen (Relevanz, Aussagekraft) => Reviewprozess
9
Aachener Modellstudiengang Medizin
1. Ärztl. Prüfung 2. Ärztl. Prüfung 1.+2. Studien-abschnitt 3. Studien-abschnitt & PJ Progress Tests Progress Tests 60 Kursprüfungen summativ fachbezogen 2 Staatsexamina allgemein 12 Progress Tests formativ
10
Progress Test Medizin (PTM)
Idee entstanden in den 70er Jahren Vorreiter in NL und GB Organisiert von der Charité, Berlin (seit 1999) Kooperation zwischen 15 Medizinischen Fakultäten Fakultätsvergleiche Zentrale Fragendatenbank Reviewprozesse 200 MC-Fragen auf Absolventenniveau Blueprint 14 Organsysteme, 27 Fachgebiete
11
Progress Test Medizin (PTM)
Idee entstanden in den 70er Jahren Vorreiter in NL und GB Organisiert von der Charité, Berlin (seit 1999) Kooperation zwischen 15 Medizinischen Fakultäten Fakultätsvergleiche Zentrale Fragendatenbank Reviewprozesse 200 MC-Fragen auf Absolventenniveau Blueprint 14 Organsysteme, 27 Fachgebiete
12
Synthese der Evaluationsformen
PTM Ergebnisse Progress Test Ergebnisse Summative Ergebnisse Stud. LV-Evaluation Evaluations-Datenbank
13
Bezüge zwischen summativen und formativen Ergebnissen
1 MC-Frage : 1 Organsystem + 1 Fachgebiet Progress Test Organsysteme MC-Fragen Aachener Curriculum Kurse Fachgebiete
14
Bezüge zwischen summativen und formativen Ergebnissen
1 MC-Frage : 1 Organsystem + 1 Fachgebiet 1 Kurs : n Organsysteme + m Fachgebiete Progress Test Organsysteme MC-Fragen Aachener Curriculum Kurse Fachgebiete
15
Bezüge zwischen summativen und formativen Ergebnissen
1 MC-Frage : 1 Organsystem + 1 Fachgebiet 1 Kurs : n Organsysteme + m Fachgebiete => 1 MC-Frage : x Kurse Progress Test Organsysteme MC-Fragen Aachener Curriculum Kurse Fachgebiete
16
? Wissensentwicklung im Curriculum Vergleiche von Evaluationsformen
Dozenten- Rückmeldung Studierenden- Rückmeldung
17
Wissensentwicklung Gesamt
18
Wissensentwicklung Atmungsorgane
19
Wissensentwicklung Atmungsorgane
20
Wissensentwicklung Atmungsorgane
21
Wissensentwicklung Atmungsorgane
WS 10/11 WS 10/11 WS 10/11 WS 10/11 WS 10/11
22
? Wissensentwicklung im Curriculum Vergleiche von Evaluationsformen
Dozenten- Rückmeldung Studierenden- Rückmeldung
23
Fragestellungen an den Vergleich PTM/Studentische LV-Evaluation
Gibt es übereinstimmende Tendenzen beider Evaluationsformen? „Der persönliche Lerneffekt für mich war…“: 1- sehr hoch bis 6- nicht vorhanden = ?
24
Vergleich PTM/Studentische LV-Evaluation
25
Vergleich PTM/Studentische LV-Evaluation
„Der persönliche Lerneffekt für mich war…“: 1- sehr hoch bis 6- nicht vorhanden
26
? Wissensentwicklung im Curriculum Vergleiche von Evaluationsformen
Dozenten- Rückmeldung Studierenden- Rückmeldung
27
Rückmeldung an Dozenten
28
Rückmeldung an Dozenten
29
? Wissensentwicklung im Curriculum Vergleiche von Evaluationsformen
Dozenten- Rückmeldung Studierenden- Rückmeldung
30
Mentoring Konzept Beratung in der Medizinischen Fakultät seit 2003
Ein Berater pro Jahrgang (jeweils ca. 250 Studierende) Gruppen- und Einzelgespräche Ziele Verbesserung der Prüfungsleistungen Studiendauer reduzieren Frühzeitiges Erkennen von Bedürfnissen, Problemen und Potentialen Studierende gezielter kontaktieren Self-Assessment fördern
31
Kurzübersicht Student A Student B
32
Vergleich Summativ/Formativ
33
Vergleich Summativ/Formativ
34
Zusammenfassung Identifizierung vorhandener Evaluationsformen
Zusammenführung und Vergleich war weiterführend Neue Themen in der Studierendenberatung Bessere Einschätzung von Stärken und Schwächen Lerntypen identifizieren Nachhaltigkeit von Gelerntem
35
Fazit Evaluation Summative Prüfungen Formative Prüfungen
Stud. LV- Bewertung Summative Prüfungen Formative Prüfungen Evaluation
36
Fazit Kombination der Evaluationsformen
Transparente Methodik und Ergebnisse Akzeptanz, Nachhaltigkeit Valides Evaluationsergebnis
37
Ausblick Erstellung eines Lernzielkatalogs
Eigenes Curriculum daran ausrichten und überprüfen Kompetenzvermittlung durch angepasste Prüfungsformate Weg von reiner Bewertung anhand von Abschlussprüfungen Datenlage zur Bewertung nach Studienabschluss nicht vorhanden Optimierung der Evaluationsformen Mentoringbedarf erkennen Zugang Mentoring-Tool für Studierende Bedarfsorientiertes Dozentenfeedback Studentische Lehrevaluation weiter analysieren Reviewprozess der summativen Prüfungsfragen
38
Vielen Dank An das PTM Team der Charité
Kollegen im Aachener Modellstudiengang Medizin
39
AACHEN
40
Literatur Evaluation Von Lehrveranstaltungsevaluation zu Curriculumsentwicklung. Spiel , GMA Zwischen Selbstzweck und Qualitätsmanagement. Quo vadis, Evaluatione? Spiel et al. In C. Spiel (Hrsg.), Evaluation universitärer Lehre - zwischen Qualitätsmanagement und Selbstzweck (S. 9-20). Münster: Waxmann., 2001 Selbstevaluation in der Lehre. Beywel et al. Waxmann 2011 Studierendenbefragung als Evaluation der Lehre? – Anforderung an Methodik und Design. Kromrey. Hg: Engel, Hochschulranking. Zur Qualitätsbewertung von Studium und Lehre, Campus Verlag, Frankfurt M., 2001
41
Literatur Progress Testing Mentoring
Progress testing in German speaking countries. Nouns & Georg. Medical Teacher 2010. Progress Testing- ein Verfahren zur detaillierten Leistungsdarstellung und Lehrevaluation auf Basis der Wissensentwicklung von Studierenden. Nouns & Brauns. Blickpunkt Hochschuldidaktik 2008. Flexible electronic feedback using the virtues of progress testing. Muijtjens et al. Medical teacher 2010. Medical Teacher. Progress Testing Themed Issue. Volume 32, Number 6, June 2010, AMEE Mentoring Querschnittsevaluation des Medizinischen Curriculums München (MeCuM) mit Hilfe des Progress Tests Medizin (PTM). Schmidmaier et al. GMS Z Med Ausbild 2010. Aufbau eines innovativen Mentorenprogramms für eine große Zahl Medizinstudierender nach quantitativer und qualitativer Bedarfsanalyse. von der Borch et al. GMS Z Med Ausbild 2011, Vol. 28(2)
42
Diskussion Welche Ziele hat ein Studiengang?
Wie sollen die Ziele erreicht werden? Woran erkennt man die Zielerreichung? Sind die entsprechenden Ressourcen vorhanden? Evaluationsformen an Ihrer Fakultät? Progress Test in anderen Fachrichtungen? Lernzielkatalog für andere Fachrichtungen? Reviewprozesse für Kursprüfungsfragen?
Ähnliche Präsentationen
© 2024 SlidePlayer.org Inc.
All rights reserved.