Prüfungen als Lerngelegenheit für Studierende und Lehreinheiten

Präsentation zum Thema: "Prüfungen als Lerngelegenheit für Studierende und Lehreinheiten"—  Präsentation transkript:

1 Prüfungen als Lerngelegenheit für Studierende und Lehreinheiten
Prof. Dr. Hartmut Ditton Vortragstag „Lehre im Fokus: Prüfungen“ an der Universität Erlangen am 22. Juli 2011 Dr. Andreas Müller LMU München, Institut für Pädagogik, Bildungs- und Sozialisationsforschung

2 Allgemeiner Einstieg: Prüfungen im Anschluss an Bologna
Gliederung Allgemeiner Einstieg: Prüfungen im Anschluss an Bologna Funktionen von Prüfungen Prüfungen als Lerngelegenheit Praxisbeispiel: Erweiterter Prüfungs- und Feedbackzyklus für Seminare Praktische Erfahrungen und Überprüfung des Modells Künftige Herausforderungen Dr. Andreas Müller 22. Juli 2011

3 1. Prüfungen im Anschluss an Bologna
Veränderung der Prüfungslandschaft in Folge der Bolognareform, - ein Beispiel: Zunahme der Prüfungsdichte Ø-Semester: 5,4 bis 5,9 (Witte et al, 2010) z.B. BA Studiengang Pädagogik/ Bildungswissenschaften (LMU München): drei- bis viermal so viele Prüfungen wie im Hauptfach Magisterstudiengang Pädagogik  Gesteigertes Publikationsinteresse zum Themenfeld „Prüfen“ Dr. Andreas Müller 22. Juli 2011

4 1. Prüfungen im Anschluss an Bologna
Prüfungs-VOR-bereitung Güte schriftlicher (Dubs 2006) & mündlicher Prüfungen (Stary 2006) Vergleichbarkeit von Prüfungen & Noten (Kurz 2010) Standardisierung & Automatisierung von Prüfungen (Hees et al. 2008; Reepmeyer 2008) Prüfungs-Durchführung Innovative Prüfungsformen (Brinker 2007) Kompetenzorientierung & Prüfungsmethodik (vgl. Dany et al. 2008) Stressbewältigung der Studierenden (Knigge-Illner 2007; Köster et al. 2005) Prüfungs-NACH-Bereitung ? Fokus auf Prüfungs-VOR-bereitung und -durchführung Gesamter Prüfungszyklus inkl. NACH-bereitung bislang nicht betrachtet Dr. Andreas Müller 22. Juli 2011

5 2. Funktionen von Prüfungen
Selektion („Assessment OF Learning“) Lernen & Entwicklung („Assessment FOR Learning) Herrschaft & Sozialisation Studierende Lehreinheiten (Ainsworth & Viegut 2006; Flechsig 1976) Dr. Andreas Müller Dr. Andreas Müller 22. Juli 2011 # 5

6 3. Prüfungen als Lerngelegenheit
Prüfungs-VOR-bereitung Feedforward Lernziele (=Standards) setzen und kommunizieren Ad hoc Lernstandserhebungen (Inhaltliche Homogenisierung) Prüfungs-Durchführung Fragen strukturieren ( Lernzieltaxonomie z.B. nach Anderson & Krathwohl 2001) Prüfungs-NACH-Bereitung Feedback Rückmeldungen an Studierende (schriftlich, mündlich) Rückmeldung an Lehreinheit: Lerndefizite; Wiederholungseffekte; Wirkungen von Unterstützungssystemen; „Dozenteneffekte“ Kritisches Beispiel: 3 versus 4 Erziehungsstile bei Baumrind Dr. Andreas Müller 22. Juli 2011 # 6

7 3. Prüfungen als Lerngelegenheit
„Dozenteneffekt“ durch Begleitübungen zu einer Vorlesung? Vorlesung (Professorin) Begleit- übungen Professorin Mitarbeiter A Mitarbeiter B Mitarbeiter C Mitarbeiter D Dr. Andreas Müller

8 3. Prüfungen als Lerngelegenheit
„Dozenteneffekt“ durch Begleitübungen zu einer Vorlesung? Keine besseren Ergebnisse bei Professorin Noten in der MC-Klausur Bessere Ergebnisse bei „Wiederholern“ Dozenten der Begleitseminare zur Vorlesung Dr. Andreas Müller

9 4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare
Praxisbeispiel: Erweiterter Prüfungs- und Feedbackzyklus für Seminare Dr. Andreas Müller 22. Juli 2011

10 4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare
0. Vor oder in der Veranstaltung 1. In der Veranstaltung 2. Nach einer Veranstaltungssitzung 3. Nach der Veranstaltung Dozent (qual. Feedback) 0.1 Beobachtungs- kriterien identifizieren 0.2 Bewertungs- standards festlegen 1.1 Beobachtungs- kriterien & Standards kommunizieren (Feedforward) 1.2 Zielklärung & Verständnis- sicherung 1.3 Prüfungs- situation: Beobachtung & Bewertung 2.1 Rückmeldung der Beobachtung & Bewertung (qualitatives Feedback) 1.3 Referent/ Prüfling: Selbst- beobachtung Seminarteilnehmer (quant. Evaluation) 0.1 Beobachtungs- kriterien identifizieren 1.3 Seminar- situation: Beobachtung 2.2 Rückmeldung der Beobachtung (quantitatives Feedback) 2.3 Auswertungs- gespräch (Tutor) 3. Feedback zum Feedback durch die Studierenden (Metafeedback) Dr. Andreas Müller 22. Juli 2011

11 4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare
Beispiel für Beobachtungs- und Bewertungsstandards VOR IN NACH NACH Dr. Andreas Müller 22. Juli 2011

12 4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare
Schritt 2.1. qualitatives Dozentenfeedback: Zahlreiche Reviews zur lernförderlichen Gestaltung von mündlichen Rückmeldesituationen (z.B Hattie & Timperley 2007; Kluger & DeNisi 1996; Mory 2003; Müller, 2010, Nicol & Macfarlane-Dick 2006; Sippel 2009) Zeitliche Trennung von Note und Feedback Direkte soziale Vergleiche vermeiden VOR IN NACH NACH Dr. Andreas Müller 22. Juli 2011

13 4. Erweiterter Prüfungs- und Feedbackzyklus für Seminare
Schritt 2.2. quantitatives Peer-Feedback (allg. Teil) & Selbstbeobachtung: Dr. Andreas Müller 22. Juli 2011

14 5. Praktische Erfahrungen und Überprüfung des Modells
Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer: (Angaben aus 3 Kursen Tn-Ninsg. = 45-81) Dr. Andreas Müller 22. Juli 2011

15 5. Praktische Erfahrungen und Überprüfung des Modells
Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer: Skalierung: 1 = Stimme gar nicht zu 5 = Stimme voll und ganz zu (Angaben aus drei Kursen, Tn-Ninsg. = 45-48) Dr. Andreas Müller 22. Juli 2011

16 5. Praktische Erfahrungen und Überprüfung des Modells
Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer: Skalierung: 1 = Stimme gar nicht zu 5 = Stimme voll und ganz zu Dr. Andreas Müller 22. Juli 2011

17 5. Praktische Erfahrungen und Überprüfung des Modells
Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer: Skalierung: 1 = Stimme gar nicht zu 5 = Stimme voll und ganz zu Dr. Andreas Müller 22. Juli 2011

18 5. Praktische Erfahrungen und Überprüfung des Modells
Bewertung der eingesetzten Instrumente durch die Seminarteilnehmer: Eingesetzte Items werden von den Teilnehmern fast durchgehend als sinnvoll bewertet Dr. Andreas Müller 22. Juli 2011

19 5. Praktische Erfahrungen und Überprüfung des Modells
Selbsteinschätzung der Referenten Einfaktorielle ANOVA: F (23,417) = (p = .000) (N = 12-22) Dr. Andreas Müller 22. Juli 2011

20 5. Praktische Erfahrungen und Überprüfung des Modells
Zeitaufwand in/nach jeder Seminarsitzung: Ausfüllen der quantitativen Evaluationsbögen: ca. 5 Minuten Qualitative Rückmeldung durch den Dozenten: ca. 15 Minuten Zeitaufwand für die Erstellung der quantitativen Rückmeldungen: Kurs mit 25 Tn, 2 Referenten, Fragebogen ca. 20 Items, inkl. Selbstbeobachtung Aufwand ca. 100 Minuten pro Woche Zeitaufwand für das Auswertungsgespräch: Pro Woche und Referenten ca. 20 Minuten Studentische Tutorin Dr. Andreas Müller 22. Juli 2011

21 5. Praktische Erfahrungen und Überprüfung des Modells
Fazit: Ressourcenperspektive: geringer zeitlicher & monetärer Aufwand Forschungstheoretische Perspektive: Studierende bewerten Stundengestaltungen ihrer Kommilitonen differenziert (Hoffmann 2009) Bedeutung von Instruktion bei Einsatz des Instruments Adressatenperspektive: Differenzen zwischen Fremd- und Selbsteinschätzung Beide Rückmeldeformen werden bei zielgruppenorientierten Einsatz als verständlich eingeschätzt, positiv bewertet und liefern Anregungen für den weiteren Studienverlauf Dr. Andreas Müller 22. Juli 2011

22 6. Künftige Herausforderungen
Breite Anwendung von Bewertungskriterien und Standards in möglichst vielen Veranstaltungen eines Studiengangs  Adaption in Abhängigkeit von Modulen & Semester !!! Längsschnittliche Verwendung von Prüfungsrückmeldungen im Studienverlauf  Studienverlaufsportfolios zeitnahe Anwendungsmöglichkeit von Entwicklungshinweisen  Mehrere Prüfungs- (Referats-) Situationen in einer Veranstaltung!? Prüfung 1 Prüfung 2 Vor-bereitung Durch-führung Nach-bereitung Dr. Andreas Müller 22. Juli 2011

23 Vielen Dank für Ihre Aufmerksamkeit
Dr. Andreas Müller 22. Juli 2011

24 Literaturangaben Dr. Andreas Müller 01.02.2010
Brinker, T (2007). Verschiedene Prüfungsformen zur Beurteilung studentischer Kompetenzen. Abgerufen von Fachhochschule Bielefeld am Dany, S, Szczyrba, B & Wildt, J (Hrsg.). (2008). Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Prüfungswesen. Düsseldorf: Ulrich Welbers. Dubs, R. (2006). Besser schriftlich prüfen. Prüfungen valide und zuverlässig durchführen. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschullehre (H 5.1). Berlin: Raabe, S Flechsig, K-H (1976). Prüfungen und Evaluation. In: Blickpunkt Hochschuldidaktik, 40, S Hees, F., Hermanns, A. & Huson, A. (2008). Prüfungserstellung mit Total Quality Management (TQM). In: Dany, S., Szczyrba, B. & Wildt, J. (Hg.), Prüfungen auf die Agenda! Hochschuldidaktische Perspektiven auf Reformen im Prüfungswesen. Bielefeld: Bertelsmann Verlag, S Hoffmann, A (2009). Studentische Lehrveranstaltungsevaluation. Ein Zerrbild der Qualität akademischer Lehre? . In: Empirische Pädagogik, 23(1), S Knigge-Illner, H (2007). Prüfungsangst überwinden – Workshops der Psychologischen Studienberatung – Teil 2. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschullehre (H 2.4). Berlin: Raabe, S. 1–26. Köster, S., Rupp-Freidinge, C. & Dieker-Müting, J. (2005). Angst vor der Prüfung. Wie Dozenten Prüfungsängste von Studierenden auffangen und mildern können. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschullehre (H. 2.2). Berlin: Raabe, S Kurz, G. (2010). Qualitätssicherung in der Lehre durch angemessene Bewertung von Studienleistungen. In: Berendt, B., Voss, H.-P., Wildt, J. & Tremp, P. (Hg.), Neues Handbuch Hochschullehre. Berlin: Raabe, S Müller, A (2008). Feedback: Wirkmechanismen und Einsatz in der Personalentwicklung. Saarbrücken: VDM Verlag. Müller, A (2010). Rückmeldungen nach Vergleichsarbeiten im Kontext des schulischen Qualitätsmanagements. Drei explorative Studien zu Gestaltung und Rezeption im Anschluss an KOALA-S. Berlin: Mensch und Buch Verlag. Müller, A. (2010). Prüfungen als Lernchance-Rückmeldungen in Hochschulseminaren. In, Neues Handbuch Hochschullehre. H 3.3. Berlin: Raabe Verlag, S Rachow, A (2000). Spielbar. Bonn: Manager-Seminare May. Reepmeyer, J.-A. (2008). Was kosten Prüfungen? Vereinfachung durch den Einsatz computergestützter Prüfungssysteme. In: Brocke, J. V. & Becker, J. (Hg.), Einfachheit in Wirtschaftsinformatik und Controlling. München: Verlag Franz Vahlen S Schulz von Thun, F (2004). Miteinander reden. 1. Störungen und Klärungen. Allgemeine Psychologie der Kommunikation. Hamburg: Rowohlt Verlag. Sedlmeier, P (1996). Jenseits des Sigifikanztest-Rituals: Ergänzungen und Alternativen. In: Methods of Psychological Research Online, 1(4), S Stary, J. (2006). "Doch nicht durch Worte allein..." Die mündliche Prüfung. In: Berendt, B., Voss, H.-P. & Wildt, J. (Hg.), Neues Handbuch Hochschulforschung (H 2.1). Berlin: Raabe, S Thömmes , A (2006). Unterrichtseinheiten erfolgreich abschließen. Mülheim an der Ruhr: Verlag an der Ruhr. Wissenschaftsrat (2008). Empfehlungen zur Qualitätsverbesserung von Lehre und Studium. Abgerufen von am Witte, J., Sandfuchs, G., Lenz, T., Brummerloh, S. & Hartwig, L. (2010). Stand und Perspektiven bayerischer Bachelorstudiengänge - Zwischenbericht an das Bayerische Staatsministerium für Wissenschaft, Forschung und Kunst. München: Bayerische Staatsinstitut für Hochschulforschung und Hochschulplanung. Dr. Andreas Müller