Institut für Medizinische Lehre - Institute of Medical Education Didaktischer Mehrwert mit Formativen Assessments Stefan Minder: IML Michele Notari: PHBern

Institut für Medizinische Lehre Take home message 1: Beim formativen Assessment ist Feedback relevant für den Lernprozess.

Institut für Medizinische Lehre Take home message 2: Beim formativen Assessment sind falsche Antworten der Lernenden auf gut gestellte Fragen der Leitung Indikatoren für die Qualität des Lernprozesses und der Lerneinheit.

Institut für Medizinische Lehre Summatives Assessment Proben und Prüfungen heissen Summative Assessments. Sie haben das Ziel einer Bewertung mit Promotionsfolgen

Institut für Medizinische Lehre Formatives Assessment Formative Assessments sind Tests, Selbsttests, Quizzes usw., welche das primäre Ziel der Lernförderung haben. Eine Bewertung (Punktzahl) kann ein Nebeneffekt sein, aber ohne ohne Promotionsfolgen.

Institut für Medizinische Lehre Wann ist ein «Test» Formatives Assessment Veralteter Fokus: Lernförderung durch Selbsttest Aktueller Fokus: Formatives Assessment als didaktisches Instrument Lernförderung  Feedback  Anpassung des Unterrichts

Institut für Medizinische Lehre Was ist Lernförderung (nach Black, 1993, Gibbs 1994) The distinguishing characteristic of formative assessment is that the assessment information is used, by the teacher and pupils, to modify their work in order to make it more effective. Formative assessment has been defined as the process of appraising, judging or evaluating students’ work or performance and using this to shape and improve students’ competence.

Institut für Medizinische Lehre Prägende ‘Köpfe’: Black P., William D., Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, Vol. 21, No. 1, pp Paul Black Dylan William

Institut für Medizinische Lehre WARUM Formatives Assessment Pupils learn more effectively Some pupils feel more involved in the schooling process and become less disaffected Teaching is focussed more effectively on the individual pupil Positive effects may be particularly evident in the less able Learning in the wider (not subject-specific) sense can be enhanced Research indicates that an emphasis on formative assessment has the following effects:

Institut für Medizinische Lehre Formative Assessment (FA) - Schema Teacher Authoring FA Performing FA Consulting Results Giving Feedback Students Adapt Teaching Teaching Feedback

Institut für Medizinische Lehre Formative Assessment (FA) - Schema Teacher Authoring FA Performing FA Consulting Results Giving Feedback Students Adapt Teaching Teaching Feedback ILIAS

Institut für Medizinische Lehre Beispiel – eines kurzen Szenariums mit LMS- Unterstützung Unterrichts- sequenz FA Durchführung (z. B. als Hausaufgabe) Feedback im Plenum Automatische Korrektur nur bei Multiple Choice möglich. Soll nach der Durchführung des FA die Lösung ersichtlich werden?

Institut für Medizinische Lehre Formative Assessment in Education: Recommendation: “Use a wider range of assessment tasks (other than multiple choice tests, questions requiring short answers and essay questions[…]); for example, portfolios and performance-based assessment […]”

Institut für Medizinische Lehre Wasser predigen und Wein trinken?

Institut für Medizinische Lehre Beispiel - Szenarien – Exkurs: gute MC Antworten Im Feedback muss besonders auf die gewählten falschen Lösungen eingegangen werden, um Misskonzepte zu bereinigen Multiple Choice FA-Erstellung: «Gute» falsche Antworten (sogenannte Ablenker oder Distraktoren) sind für den formativen Effekt zentral.

Institut für Medizinische Lehre Beispiel - Szenarien– Exkurs: gute MC Antworten Wann sind MC-Antworten gut? 1. Die falschen Antworten (sog. Ablenker / Distraktoren) repräsentieren Misskonzepte, welche bei den Studierenden häufig vorkommen 2. Die falschen Antworten enttarnen sich nicht selbst.

Institut für Medizinische Lehre Analyse der falschen Antworten Die Markierungen sind in EINER dieser Abbildungen korrekt: in welcher?

Institut für Medizinische Lehre Analyse der falschen Antworten

Institut für Medizinische Lehre Analyse der falschen Antworten Jay C. Powell, James Bernauer and Vishnuteerth Agnihotri (2010)

Institut für Medizinische Lehre Analyse der falschen Antworten Wann sind MC-Antworten gut? 1.Die falschen Antworten (sog. Ablenker / Distraktoren) repräsentieren Fehlkonzepte, welche bei den Studierenden häufig vorkommen 2.Die falschen Antworten enttarnen sich nicht selbst.

Institut für Medizinische Lehre Probieren Sie es Bitte füllen Sie den UTC-Test aus: Oder : auf Papier: Deutsch / Englisch

Institut für Medizinische Lehre René Krebs 22 Ohne Sachwissen die richtige Antwort finden 1.Anter ist eine (A)Legierung (B)Konglomerat (C)Verbrennungsrückstand (D)Spaltprodukt (E)chemisches Element Alle Antworten müssen grammatikalisch zum Stamm passen

Institut für Medizinische Lehre René Krebs 23 Ohne Sachwissen die richtige Antwort finden 2.Bei der Fermierung von Anter mit saurem Gor (A)findet eine Abkühlung statt (B)entsteht unter der Bedingung einer leichten Erwärmung Anterit im pH-Bereich (C)wird OgI 4 freigesetzt (D)entsteht Fermantin (E)bildet sich Gorantoxol Richtige Antwort nicht länger, differenzierter als Falschantworten

Institut für Medizinische Lehre René Krebs 24 Ohne Sachwissen die richtige Antwort finden 3.Sie wollen mit Ihrem Ektator Gorantoxin lubrieren. Dies funktioniert nur, wenn (A)das LTC-Modul des Ektators ausgeschaltet ist (B)das LTC-Modul des Ektators eingeschaltet ist (C)der Ektator über einen OC-Detektor verfügt (D)die  -Frequenz während der Lubrierung konstant bleibt (E)das Gorantoxin vorgängig sterniert wird Hinweise vermeiden, welche die Aufmerk- samkeit auf 2-3 Antworten konzentrieren

Institut für Medizinische Lehre René Krebs 25 Ohne Sachwissen die richtige Antwort finden 4. Die Abkürzung USL heisst ausgeschrieben (A) United States Laboratories (B) Uniform Source Language (C) Uniform Source Locator (D) Uniform Starting Label (E) Unique Spaceship Locator Konvergenz Konvergenzcue vermeiden

Institut für Medizinische Lehre René Krebs 26 Ohne Sachwissen die richtige Antwort finden 5.Welches ist das Hauptmerkmal des KRS (Kognitives Rigiditäts-Syndrom)? (A)ein erhöhter Ferminspiegel im Plasma (B)zyklische postprandiale Alpträume (C)häufige Versteifungen der Nackenmuskulatur (D)eine reduzierte Beweglichkeit im kognitiven Bereich (E)eine chronische Logo- und Skriptorrhö Denken Verbale Assoziationen zwischen Stamm und richtiger Antwort vermeiden

Institut für Medizinische Lehre René Krebs 27 Ohne Sachwissen die richtige Antwort finden 6.Warum ist bei trigoten Quergeln die Axosie- Auftretensrate erhöht? (A)Trigote Quergel sind nie berop. (B)Trigotie führt immer zu Enität. (C)Alle trigoten Quergel sind esophym. (D)Axosie ist ausschliesslich sequid bedingt. (E)Trigote Quergel sind gehäuft susmin. Keine absoluten Begriffe, um Falschant- worten eindeutig falsch zu machen

Institut für Medizinische Lehre René Krebs 28 Prinzip 7: ungewollte Lösungshinweise vermeiden alle Antworten grammatikalisch zum Stamm passend Falschantworten möglichst gleich lang und differen- ziert wie die richtige Antwort keine Hinweise, welche die Aufmerksamkeit auf 2-3 Antworten einschränken keine Konvergenz-Cues keine verbalen Assoziationen zwischen Stamm und richtiger Antwort keine absoluten Begriffen wie 'nie', 'immer', um Aussagen eindeutig falsch zu machen keine Reihungs- oder Positions-Cues

Institut für Medizinische Lehre Erweiterte Szenarien LektionFA Durchführung Peer- Korrektur Plenum Individuell Schriftlich (z. B. im LMS) Autofeedback Automatische Auswertung (MC)

Institut für Medizinische Lehre Erweiterte Szenarien LektionFA Durchführung Peer- Korrektur Plenum Individuell Schriftlich (z. B. im LMS) Autofeedback Automatische Auswertung (MC)

Institut für Medizinische Lehre Erweiterte Szenarien LektionFA Durchführung Automatische Auswertung (MC) Peer-Korrektur Plenum Individuell Schriftlich (z. B. im LMS) Autofeedback Goodie

Institut für Medizinische Lehre Take home message 1: Beim formativen Assessment ist Feedback relevant für den Lernprozess.

Institut für Medizinische Lehre Take home message 2: Beim formativen Assessment sind falsche Antworten der Lernenden auf gut gestellte Fragen der Leitung Indikatoren für die Qualität des Lernprozesses und der Lerneinheit.

Institut für Medizinische Lehre Slides und weiterführende Unterlagen Beim letzten Buchstaben der URL handelt es sich um ein grosses ‘i’.. Die URL beginnt mitt goo.gl (wie googl(e)..) es handelt sich hier um ein kleines ‘l’