Prüfungen als Lerngelegenheit für Studierende und Lehreinheiten Prof. Dr. Hartmut Ditton Vortragstag „Lehre im Fokus: Prüfungen“ an der Universität Erlangen am 22. Juli 2011 Dr. Andreas Müller LMU München, Institut für Pädagogik, Bildungs- und Sozialisationsforschung

Allgemeiner Einstieg: Prüfungen im Anschluss an Bologna Gliederung Allgemeiner Einstieg: Prüfungen im Anschluss an Bologna Funktionen von Prüfungen Prüfungen als Lerngelegenheit Praxisbeispiel: Erweiterter Prüfungs- und Feedbackzyklus für Seminare Praktische Erfahrungen und Überprüfung des Modells Künftige Herausforderungen Dr. Andreas Müller 22. Juli 2011

1. Prüfungen im Anschluss an Bologna Veränderung der Prüfungslandschaft in Folge der Bolognareform, - ein Beispiel: Zunahme der Prüfungsdichte Ø-Semester: 5,4 bis 5,9 (Witte et al, 2010) z.B. BA Studiengang Pädagogik/ Bildungswissenschaften (LMU München): drei- bis viermal so viele Prüfungen wie im Hauptfach Magisterstudiengang Pädagogik  Gesteigertes Publikationsinteresse zum Themenfeld „Prüfen“ Dr. Andreas Müller 22. Juli 2011

1. Prüfungen im Anschluss an Bologna Prüfungs-VOR-bereitung Güte schriftlicher (Dubs 2006) & mündlicher Prüfungen (Stary 2006) Vergleichbarkeit von Prüfungen & Noten (Kurz 2010) Standardisierung & Automatisierung von Prüfungen (Hees et al. 2008; Reepmeyer 2008) Prüfungs-Durchführung Innovative Prüfungsformen (Brinker 2007) Kompetenzorientierung & Prüfungsmethodik (vgl. Dany et al. 2008) Stressbewältigung der Studierenden (Knigge-Illner 2007; Köster et al. 2005) Prüfungs-NACH-Bereitung ? Fokus auf Prüfungs-VOR-bereitung und -durchführung Gesamter Prüfungszyklus inkl. NACH-bereitung bislang nicht betrachtet Dr. Andreas Müller 22. Juli 2011

2. Funktionen von Prüfungen Selektion („Assessment OF Learning“) Lernen & Entwicklung („Assessment FOR Learning) Herrschaft & Sozialisation Studierende Lehreinheiten (Ainsworth & Viegut 2006; Flechsig 1976) Dr. Andreas Müller Dr. Andreas Müller 22. Juli 2011 # 5

3. Prüfungen als Lerngelegenheit Prüfungs-VOR-bereitung Feedforward Lernziele (=Standards) setzen und kommunizieren Ad hoc Lernstandserhebungen (Inhaltliche Homogenisierung) Prüfungs-Durchführung Fragen strukturieren ( Lernzieltaxonomie z.B. nach Anderson & Krathwohl 2001) Prüfungs-NACH-Bereitung Feedback Rückmeldungen an Studierende (schriftlich, mündlich) Rückmeldung an Lehreinheit: Lerndefizite; Wiederholungseffekte; Wirkungen von Unterstützungssystemen; „Dozenteneffekte“ Kritisches Beispiel: 3 versus 4 Erziehungsstile bei Baumrind Dr. Andreas Müller 22. Juli 2011 # 6

3. Prüfungen als Lerngelegenheit „Dozenteneffekt“ durch Begleitübungen zu einer Vorlesung? Vorlesung (Professorin) Begleit- übungen Professorin Mitarbeiter A Mitarbeiter B Mitarbeiter C Mitarbeiter D Dr. Andreas Müller 01.02.2010

3. Prüfungen als Lerngelegenheit „Dozenteneffekt“ durch Begleitübungen zu einer Vorlesung? Keine besseren Ergebnisse bei Professorin Noten in der MC-Klausur Bessere Ergebnisse bei „Wiederholern“ Dozenten der Begleitseminare zur Vorlesung Dr. Andreas Müller 01.02.2010

4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare Praxisbeispiel: Erweiterter Prüfungs- und Feedbackzyklus für Seminare Dr. Andreas Müller 22. Juli 2011

4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare 0. Vor oder in der Veranstaltung 1. In der Veranstaltung 2. Nach einer Veranstaltungssitzung 3. Nach der Veranstaltung Dozent (qual. Feedback) 0.1 Beobachtungs- kriterien identifizieren 0.2 Bewertungs- standards festlegen 1.1 Beobachtungs- kriterien & Standards kommunizieren (Feedforward) 1.2 Zielklärung & Verständnis- sicherung 1.3 Prüfungs- situation: Beobachtung & Bewertung 2.1 Rückmeldung der Beobachtung & Bewertung (qualitatives Feedback) 1.3 Referent/ Prüfling: Selbst- beobachtung Seminarteilnehmer (quant. Evaluation) 0.1 Beobachtungs- kriterien identifizieren 1.3 Seminar- situation: Beobachtung 2.2 Rückmeldung der Beobachtung (quantitatives Feedback) 2.3 Auswertungs- gespräch (Tutor) 3. Feedback zum Feedback durch die Studierenden (Metafeedback) Dr. Andreas Müller 22. Juli 2011

4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare Beispiel für Beobachtungs- und Bewertungsstandards VOR IN NACH NACH Dr. Andreas Müller 22. Juli 2011

4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare Schritt 2.1. qualitatives Dozentenfeedback: Zahlreiche Reviews zur lernförderlichen Gestaltung von mündlichen Rückmeldesituationen (z.B Hattie & Timperley 2007; Kluger & DeNisi 1996; Mory 2003; Müller, 2010, Nicol & Macfarlane-Dick 2006; Sippel 2009) Zeitliche Trennung von Note und Feedback Direkte soziale Vergleiche vermeiden VOR IN NACH NACH Dr. Andreas Müller 22. Juli 2011

4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare Schritt 2.2. quantitatives Peer-Feedback (allg. Teil) & Selbstbeobachtung: Dr. Andreas Müller 22. Juli 2011

5. Praktische Erfahrungen und Überprüfung des Modells Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer: (Angaben aus 3 Kursen Tn-Ninsg. = 45-81) Dr. Andreas Müller 22. Juli 2011

5. Praktische Erfahrungen und Überprüfung des Modells Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer: Skalierung: 1 = Stimme gar nicht zu 5 = Stimme voll und ganz zu (Angaben aus drei Kursen, Tn-Ninsg. = 45-48) Dr. Andreas Müller 22. Juli 2011

5. Praktische Erfahrungen und Überprüfung des Modells Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer: Skalierung: 1 = Stimme gar nicht zu 5 = Stimme voll und ganz zu Dr. Andreas Müller 22. Juli 2011

5. Praktische Erfahrungen und Überprüfung des Modells Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer: Skalierung: 1 = Stimme gar nicht zu 5 = Stimme voll und ganz zu Dr. Andreas Müller 22. Juli 2011

5. Praktische Erfahrungen und Überprüfung des Modells Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer: Eingesetzte Items werden von den Teilnehmern fast durchgehend als sinnvoll bewertet Dr. Andreas Müller 22. Juli 2011

5. Praktische Erfahrungen und Überprüfung des Modells Selbsteinschätzung der Referenten Einfaktorielle ANOVA: F (23,417) = 4.713 (p = .000) (N = 12-22) Dr. Andreas Müller 22. Juli 2011

5. Praktische Erfahrungen und Überprüfung des Modells Zeitaufwand in/nach jeder Seminarsitzung: Ausfüllen der quantitativen Evaluationsbögen: ca. 5 Minuten Qualitative Rückmeldung durch den Dozenten: ca. 15 Minuten Zeitaufwand für die Erstellung der quantitativen Rückmeldungen: Kurs mit 25 Tn, 2 Referenten, Fragebogen ca. 20 Items, inkl. Selbstbeobachtung Aufwand ca. 100 Minuten pro Woche Zeitaufwand für das Auswertungsgespräch: Pro Woche und Referenten ca. 20 Minuten Studentische Tutorin Dr. Andreas Müller 22. Juli 2011

5. Praktische Erfahrungen und Überprüfung des Modells Fazit: Ressourcenperspektive: geringer zeitlicher & monetärer Aufwand Forschungstheoretische Perspektive: Studierende bewerten Stundengestaltungen ihrer Kommilitonen differenziert (Hoffmann 2009) Bedeutung von Instruktion bei Einsatz des Instruments Adressatenperspektive: Differenzen zwischen Fremd- und Selbsteinschätzung Beide Rückmeldeformen werden bei zielgruppenorientierten Einsatz als verständlich eingeschätzt, positiv bewertet und liefern Anregungen für den weiteren Studienverlauf Dr. Andreas Müller 22. Juli 2011

6. Künftige Herausforderungen Breite Anwendung von Bewertungskriterien und Standards in möglichst vielen Veranstaltungen eines Studiengangs  Adaption in Abhängigkeit von Modulen & Semester !!! Längsschnittliche Verwendung von Prüfungsrückmeldungen im Studienverlauf  Studienverlaufsportfolios zeitnahe Anwendungsmöglichkeit von Entwicklungshinweisen  Mehrere Prüfungs- (Referats-) Situationen in einer Veranstaltung!? Prüfung 1 Prüfung 2 Vor-bereitung Durch-führung Nach-bereitung Dr. Andreas Müller 22. Juli 2011

Vielen Dank für Ihre Aufmerksamkeit Dr. Andreas Müller 22. Juli 2011

Literaturangaben Dr. Andreas Müller 01.02.2010 Brinker, T (2007). Verschiedene Prüfungsformen zur Beurteilung studentischer Kompetenzen. Abgerufen von Fachhochschule Bielefeld http://www.lehridee.de/data/doc/id_264/Pruefungsformen.pdf am 04.01.2011. Dany, S, Szczyrba, B & Wildt, J (Hrsg.). (2008). Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Prüfungswesen. Düsseldorf: Ulrich Welbers. Dubs, R. (2006). Besser schriftlich prüfen. Prüfungen valide und zuverlässig durchführen. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschullehre (H 5.1). Berlin: Raabe, S. 1-26. Flechsig, K-H (1976). Prüfungen und Evaluation. In: Blickpunkt Hochschuldidaktik, 40, S. 303-336. Hees, F., Hermanns, A. & Huson, A. (2008). Prüfungserstellung mit Total Quality Management (TQM). In: Dany, S., Szczyrba, B. & Wildt, J. (Hg.), Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Prüfungswesen. Bielefeld: Bertelsmann Verlag, S. 129 - 141. Hoffmann, A (2009). Studentische Lehrveranstaltungsevaluation. Ein Zerrbild der Qualität akademischer Lehre? . In: Empirische Pädagogik, 23(1), S. 19-49. Knigge-Illner, H (2007). Prüfungsangst überwinden – Workshops der Psychologischen Studienberatung – Teil 2. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschullehre (H 2.4). Berlin: Raabe, S. 1–26. Köster, S., Rupp-Freidinge, C. & Dieker-Müting, J. (2005). Angst vor der Prüfung. Wie Dozenten Prüfungsängste von Studierenden auffangen und mildern können. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschullehre (H. 2.2). Berlin: Raabe, S. 1-36. Kurz, G. (2010). Qualitätssicherung in der Lehre durch angemessene Bewertung von Studienleistungen. In: Berendt, B., Voss, H.-P., Wildt, J. & Tremp, P. (Hg.), Neues Handbuch Hochschullehre. Berlin: Raabe, S. 1-31. Müller, A (2008). Feedback: Wirkmechanismen und Einsatz in der Personalentwicklung. Saarbrücken: VDM Verlag. Müller, A (2010). Rückmeldungen nach Vergleichsarbeiten im Kontext des schulischen Qualitätsmanagements. Drei explorative Studien zu Gestaltung und Rezeption im Anschluss an KOALA-S. Berlin: Mensch und Buch Verlag. Müller, A. (2010). Prüfungen als Lernchance-Rückmeldungen in Hochschulseminaren. In, Neues Handbuch Hochschullehre. H 3.3. Berlin: Raabe Verlag, S. 1-26. Rachow, A (2000). Spielbar. Bonn: Manager-Seminare May. Reepmeyer, J.-A. (2008). Was kosten Prüfungen? Vereinfachung durch den Einsatz computergestützter Prüfungssysteme. In: Brocke, J. V. & Becker, J. (Hg.), Einfachheit in Wirtschaftsinformatik und Controlling. München: Verlag Franz Vahlen S. 521-535. Schulz von Thun, F (2004). Miteinander reden. 1. Störungen und Klärungen. Allgemeine Psychologie der Kommunikation. Hamburg: Rowohlt Verlag. Sedlmeier, P (1996). Jenseits des Sigifikanztest-Rituals: Ergänzungen und Alternativen. In: Methods of Psychological Research Online, 1(4), S. 41-63. Stary, J. (2006). "Doch nicht durch Worte allein..." Die mündliche Prüfung. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschulforschung (H 2.1). Berlin: Raabe, S. 1-17. Thömmes , A (2006). Unterrichtseinheiten erfolgreich abschließen. Mülheim an der Ruhr: Verlag an der Ruhr. Wissenschaftsrat (2008). Empfehlungen zur Qualitätsverbesserung von Lehre und Studium. Abgerufen von http://www.wissenschaftsrat.de/download/archiv/8639-08.pdf am 04.01.2011. Witte, J., Sandfuchs, G., Lenz, T., Brummerloh, S. & Hartwig, L. (2010). Stand und Perspektiven bayerischer Bachelorstudiengänge - Zwischenbericht an das Bayerische Staatsministerium für Wissenschaft, Forschung und Kunst. München: Bayerische Staatsinstitut für Hochschulforschung und Hochschulplanung. Dr. Andreas Müller 01.02.2010