„Das habe ich vorher ganz anders gesehen“ - Eine Pilotstudie zur Wirkung von systematischer Unterrichtsreflexion während eines Langzeitpraktikums Thomas Bock & Norbert Graebel Beitrag zur QUALITEACH-Abschlusstagung 23.05.2019

Gliederung Theoretische Überlegungen Evidenzbasierte Praxis MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Gliederung Theoretische Überlegungen Evidenzbasierte Praxis Datenbasierte Unterrichtsreflexion Fragestellung und Hypothesen Methodische Umsetzung Design und Durchführung ( Rahmenbedingungen an der Universität Erfurt) Stichprobe Messinstrumente Ergebnisse Diskussion Literatur

Evidenzbasierte Praxis MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Evidenzbasierte Praxis Professionalisierungsdebatte in der Lehrer*innbildung spätestens seit KMK-Standards 2004: Lehrer*innen als Fachkräfte, welche gezielt nach wissenschaftlichen Erkenntnissen Unterricht planen, organisieren, reflektieren und evaluieren. Evidenzbasierte Praxis bedeutet „einschlägige wissenschaftliche Befunde und bewährte Theorie beim professionellen Handeln situationsangemessen zu berücksichtigen“ (Bauer et al., 2015, S. 188). Nach Helmke und Lenske (2013) setzt Unterrichtsentwicklung jedoch auch Evidenz im Sinne von „Daten“ (über den eigenen Unterricht) voraus. Lehrer*innen beurteilen die eigene Unterrichtsqualität hauptsächlich auf Grundlage von unsystematischen Beobachtungen beziehen und stützen sich selten auf systematisch erhobene Daten (Schrader & Helmke, 2001).

Evidenzbasierte Praxis MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Evidenzbasierte Praxis Evidenzbasierte Praxis setzt unter anderem die „Auswahl geeigneter Evidenz“ (Bauer et al., 2015 S. 190; Wenglein et al., 2015; Zeuch & Souvignier, 2015) sowie positive Einstellungen gegenüber Wissenschaft und evidenzbasierter Praxis (Stark, 2017) voraus. Es stellt sich die Frage, inwiefern diese Voraussetzungen im Sinne von Einstellungen gegenüber evidenzbasierter Praxis und Fähigkeiten zur Beurteilung von Evidenz gesteigert werden können. Überléitung: Eine Möglichkeit kann datenbasierte Unterrichtsreflexion sein

Datenbasierte Unterrichtsreflexion MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Datenbasierte Unterrichtsreflexion Datenbasierte Rückmeldungen zum Unterricht kann erfolgen durch Schülerinnen und Schüler Kolleg*innen / externe Beobachter*innen / Hospitant*innen … zu einem oder mehreren Messzeitpunkten QuaSSU (Ditton, 2002); DESI (Klieme, 2008); SefU (Kämpfe, 2009); EMU (Helmke et al., 2019); Netzwerk Schülerbefragung (Wagner, 2010) Ziele (Hattie, 2013; Helmke et al., 2019): den eigenen Unterricht in einer professionell-distanzierten, forschenden Haltung betrachten und evidenzbasiert (hier: datenbasiert) reflektieren Konfrontation der eigenen Überzeugungen mit systematisch gewonnenen Daten

Datenbasierte Unterrichtsreflexion – ein Beispiel MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Datenbasierte Unterrichtsreflexion – ein Beispiel „EMU - Evidenzbasierte Materialien zur Unterrichtsdiagnostik und –entwicklung“ (Helmke et al., 2019). Mit diesen Materialien soll Feedback zum eigenen Unterricht von Schüler*innen und hospitierenden Lehrkräften eingeholt sowie eine Selbsteinschätzung vorgenommen werden (Helmke et al., 2019). Durch wiederholte Messungen sollen Rückschlüsse auf die eigene professionelle Entwicklung möglich sein (ebd.). Die Beurteilung bezieht sich auf eine gerade gehaltene Unterrichtsstunde, um die Validität der Einschätzungen zu erhöhen (vgl. Bell, 2007; Helmke et al., 2019).

Methodische Umsetzung - Operationalisierung MasterMind | QualiTeach-Abschlusstagung | 23.05.2019 Methodische Umsetzung - Operationalisierung unterrichtsdiagnostik.de

MasterMind | QualiTeach-Abschlusstagung | 23.05.2019 unterrichtsdiagnostik.de

Methodische Umsetzung - Operationalisierung MasterMind | QualiTeach-Abschlusstagung | 23.05.2019 Methodische Umsetzung - Operationalisierung unterrichtsdiagnostik.de

Datenbasierte Unterrichtsreflexion – ein Beispiel MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Datenbasierte Unterrichtsreflexion – ein Beispiel Die erhobenen Daten werden anschließend durch die bereitgestellten Excel-Tabellen ausgewertet werden. Besonders wichtig sind hier die resultierenden Perspektivunterschiede, die Anlass zu Gesprächen mit den Schüler*innen oder den Kolleg*innen führen sollen.

Theoretische Überlegungen – Datenbasierte Unterrichtsreflexion MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Theoretische Überlegungen – Datenbasierte Unterrichtsreflexion Theoretische Begründungslinien Forschendes Lernen (Fichten, 2010; Fichten & Meyer, 2014) Hier: Das studentische Lernen anhand einer authentischen, schulischen Fragestellung entlang wesentlicher Phasen des Forschungsprozesses und unter Berücksichtigung wissenschaftlicher Standards. Conceptual Change (Schnotz, 2006) Veränderung von Wissen und Fehlkonzepten durch wissenschaftliche / datenbasierte und systematisch gewonnene Erkenntnisse Konfrontation mit neuen Erfahrungen, die kognitive Konflikte auslösen und die bisherigen Konzepte in Frage stellen (Schnotz, 2006, S. 78) – vor allem in authentischen und persönlichen Kontexten

Fragestellung und Hypothesen MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Fragestellung und Hypothesen Die vorliegende Studie soll die Fragestellung klären, inwiefern datenbasierte Unterrichtsreflexion die Fähigkeiten zur Bewertung von Evidenz sowie Einstellungen gegenüber evidenzbasierter Unterrichtsentwicklung (hier: Datenbasierte Unterrichtsentwicklung) verändert. Zur Beantwortung der Fragestellung wurden die folgenden Hypothesen abgeleitet: Hypothese A: Datenbasierte Unterrichtsreflexion führt zu einer Steigerung von Fähigkeiten zur Bewertung von Evidenz im Vergleich zu unsystematischer Unterrichtsreflexion. Hypothese B: Datenbasierte Unterrichtsreflexion führt zu einer Steigerung von positiven Einstellungen gegenüber evidenzbasierter Unterrichtsentwicklung im Vergleich zu unsystematischer Unterrichtsreflexion.

Methodische Umsetzung – Design und Durchführung MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Methodische Umsetzung – Design und Durchführung Die Hypothesen wurden in einem Prä-Post-Kontrollgruppendesign im Rahmen des Praxissemesters der Universität Erfurt im Master of Education untersucht. In der Experimentalgruppe wurden die Proband*innen gebeten, im Laufe der nächsten 3-4 Woche eine Unterrichtsstunde selbst durchzuführen und diese anhand der EMU-Materialien beurteilen zu lassen. Die Experimentalgruppe hat vier Sitzungen im Rahmen eines Begleitseminars im Komplexen Praktikum durchlaufen. Die Kontrollgruppe durchlief ein „klassisches“ Begleitseminar ohne datenbasierte Unterrichtsreflexion.

Exkurs – das Praxissemester an der Uni Erfurt MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Exkurs – das Praxissemester an der Uni Erfurt BA-Studium M.Ed.-Studium Anmerkung: Schriftart ist anders, weil Grafik aus Excel kommt. Das würde ich noch irgendwie verändern. BOS – Berufsorientierendes Praktikum VOS – Vorbereitetes Schulpraktikum IBG – Interdisziplinäres bildungswissenschaftliches Grundlagenpraktikum BW – Bildungswissenschaftliches Praktikum FD – Fachdidaktisches Praktikum KSP – Komplexes Schulpraktikum Zahl steht für die Stundenanzahl, die an Schule verbracht werden soll. Angabe zum KSP: 15 Wochen – eigene Umrechnung bei 20 Stunden je Woche (Mo-Do) Zeitpunkt der Studie

Exkurs – das Praxissemester an der Uni Erfurt MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Exkurs – das Praxissemester an der Uni Erfurt Schule (inklusive ferienbedingter Unterbrechungen) Mo -Do Gruppen-super-vision Begleitkurs 1 semester-abhängige Unter-brechung Begleitkurs 3 Gruppen-supervision Organisatorisches Freitag Gruppensupervision Gruppensupervision Farbe können wir gerne noch anpassen. Begleitkurs 2 Begleitkurs 4 Woche 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Methodische Umsetzung – Design und Durchführung MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Methodische Umsetzung – Design und Durchführung Seminarverlauf über 4 Wochen Beobach-tungsübung EMU Aus-wertung Reflexion Durchführung EMU Die Befragungen KONNTEN in den angegebenen Wochen durchgeführt werden. Wer sie einmal durchgeführt hat, muss sie nicht ein zweites Mal durchführen.

Methodische Umsetzung – Stichprobe MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Methodische Umsetzung – Stichprobe Befragt wurden insgesamt 81 Studierende im Komplexen Schulpraktikum im Wintersemester 2018 / 2019 und Sommersemester 2019. 81.5% der Befragten ist weiblich, was repräsentativ für die Quote an weiblichen Studierenden im M.Ed. ist. Durchschnittsalter 24.6 Jahre. 49 Studierende (77.6% weiblich, 24.5 Jahre) wurden der Experimentalbedingung und 32 Studierende (87.5% weiblich, 24.6 Jahre) der Kontrollbedingung zugeordnet.

Methodische Umsetzung - Design MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Methodische Umsetzung - Design EG2 Schule (inklusive ferienbedingter Unterbrechungen) EG1 Mo -Do Gruppen-super-vision Begleitkurs 1 semester-abhängige Unter-brechung Begleitkurs 3 Gruppen-supervision Organisatorisches Freitag Gruppensupervision Gruppensupervision KG Begleitkurs 2 Begleitkurs 4 Farbe können wir gerne noch anpassen. Woche 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Prätest Posttest Prätest Posttest

Methodische Umsetzung - Instrumente MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Methodische Umsetzung - Instrumente Fähigkeiten zur Beurteilung von bildungswissenschaftlicher Evidenz Vignettentest (Zeuch & Souvignier,2015) 3 Vignetten Prätest: α = .86, Posttest: α = .96

Methodische Umsetzung - Instrumente MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Methodische Umsetzung - Instrumente Fähigkeiten zur Beurteilung von bildungswissenschaftlicher Evidenz Einstellungen zur datenbasierten Unterrichtsreflexion Vignettentest von Zeuch & Souvignier (2015) 3 Vignetten Prätest: α = .86, Posttest: α = .96 Adaptiert nach Reitinger (2013) Prätest: α = .89, Posttest: α = .89 3 Dimensionen: Einstellungen zu (1) Schüler*innenbefragungen, (2) systematischer Beobachtung und (3) Wissenschaft allgemein Antwortskalierung: 1 stimmt nicht – 5 stimmt genau

Methodische Umsetzung - Instrumente MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Methodische Umsetzung - Instrumente Wahrgenommener Nutzen der Seminaraufgaben der Studierenden Wahrgenommener Nutzen der Seminar- aufgaben der Betreuungslehrkraft 5 Items Posttest: α = .84 Ich persönlich bewerte die Aufgabe als relevant für den Lehrberuf. Ich persönlich fand die Aufgabe als hilfreich, um mein pädagogisches Handeln zu reflektieren. 6 Items Posttest: α = .85 Meine betreuende Lehrkraft bewertete die Praktikums-aufgabe insgesamt als sinnvoll. Meine betreuende Lehrkraft hat sich für die Aufgabe interessiert.

Keine Veränderung über die Zeit, keine Gruppenunterschiede MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Ergebnisse Hypothese A: Fähigkeiten zur Beurteilung wissenschaftlicher Evidenz Keine Veränderung über die Zeit, keine Gruppenunterschiede HE Zeit: F(1, 79) < 1 HE Gruppe: F(1, 79) < 1 Interaktionseffekt Zeit x Gruppe: F(1, 79) < 1

MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Ergebnisse Hypothese B: Einstellungen zur datenbasierten Unterrichtsreflexion Die Veränderung in den Einstellungen ist zwischen den Gruppen signifikant unterschiedlich. HE Zeit: F(1, 78) = 1.89, p = .17, ηp² = .02 HE Gruppe: F(1, 78) = 1.05, p = .31, ηp² = .01 Interaktionseffekt Zeit x Gruppe: F(1, 78) = 4.66, p = .03, ηp² = .06

MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Zusammenhang der Einstellungen mit dem wahrgenommenen Nutzen daten-basierter Unterrichtsreflexion durch die Studierenden und die Betreuungslehrkräfte AV = Einstellungen im Posttest B SE β p R2(ΔR2) 1. Schritt   R2 = .38 Einstellungen im Prätest 0.71 0.16 .63 .001 2. Schritt R2 = .53 (ΔR2 = .18**) 0.58 0.14 .52 Wahrg. Nutzen - Studierende 0.05 .06 .713 Wahrg. Nutzen - Betreuungslehrkraft 0.27 0.10 .40 .012 Hier kommen dann noch Impressionen rein, die Madeleine in der lezten Sitzung schriftlich gesammelt hat oder auch Befragungsergebnisse des offenen Items zu Schluss

MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Zusammenhang der Einstellungen mit dem wahrgenommenen Nutzen daten-basierter Unterrichtsreflexion durch die Studierenden und die Betreuungslehrkräfte Wahrg. Nutzen (Lehrkraft) hängt mit positiven Einstellungen zusammen! AV = Einstellungen im Posttest B SE β p R2(ΔR2) 1. Schritt   R2 = .38 Einstellungen im Prätest 0.71 0.16 .63 .001 2. Schritt R2 = .53 (ΔR2 = .18**) 0.58 0.14 .52 Wahrg. Nutzen - Studierende 0.05 .06 .713 Wahrg. Nutzen - Betreuungslehrkraft 0.27 0.10 .40 .012 3. Schritt R2 = .52 (ΔR2 = .02) 0.56 0.64 .50 Wahrg. Nutzen – Studierende 0.09 0.15 .09 .574 0.30 0.11 .44 .009 Selbsteingeschätzer Lernerfolg (1-7) 0.07 .16 .537 Seminarbewertung (0-15) -0.06 -.27 .310 Hier kommen dann noch Impressionen rein, die Madeleine in der lezten Sitzung schriftlich gesammelt hat oder auch Befragungsergebnisse des offenen Items zu Schluss

MasterMind | QUALITEACH-Abschlusstagung | 23.05.2019 Diskussion Keine Effekte bei den Fähigkeiten zur Beurteilung von Evidenz, signifikanter Interaktionseffekt bei Einstellungen zur datenbasierten Unterrichtsreflexion. Einstellungsskala liegt näher an den eigentlichen Aufgaben als die Beurteilung von Evidenz Zur Förderung von Forschungskompetenz, Fähigkeiten zur Beurteilung von Evidenz, etc. eher Seminare mit forschungsmethodischem Inhalt / Forschendes Lernen geeignet? Interaktionseffekt zeigt eher eine Verschlechterung der Einstellungen in der Kontrollgruppe als eine Steigerung der positiven Einstellungen in der EG!  „teacher socialization“ (z.B. Lacey, 1977) Praktische Erfahrungen haben einen stärkeren Einfluss auf Einstellungen und Überzeugungen als die universitäre Lehrerbildung (Brouwer & Korthagen, 2005; Müller-Fohrbrodt et al., 1978; Dann et al., 1981; Hinsch, 1979)

MasterMind | QualiTeach-Abschlusstagung | 23.05.2019 Literatur Bauer, J., Prenzel, M. & Renkl, A. (2015). Evidenzbasierte Praxis - im Lehrerberuf?! Einführung in den Thementeil. Unterrichtswissenschaft, 43, 188-192. Bell, A. (2007). Designing and testing questionnaires for children. Journal of Research in Nursing, 12, 461-469. Brouwer, N., & Korthagen, F. (2005). Can teacher education make a difference? American Educational Research Journal, 42(1), 153–224 Dann, H.-D., Müller-Fohrbrodt, G., & Cloetta, B. (1981). Sozialisation junger Lehrer im Beruf. Praxisschock drei Jahre später [Occupational socialization in young teachers: Practice shock three years later]. Zeitschrift für Entwicklungspsychologie und Pädagogische Psychologie, 13, 251–262 Ditton, H. (2002): Lehrkräft e und Unterricht aus Schülersicht. Ergebnisse einer Untersuchung im Fach Mathematik. In: Zeitschrift für Pädagogik 48(2), 262-286. Fichten, W. (2010). Forschendes Lernen in der Lehrerbildung. In: U. Eberhardt (Hrsg.): Neue Impulse der Hochschuldidaktik (S. 127-182). Wiesbaden: Springer VS.

MasterMind | QualiTeach-Abschlusstagung | 23.05.2019 Literatur Fichten, W. & Meyer, H. (2014).Skizze einer Theorie forschenden Lernens in der Lehrer_innenbildung. In: E. Feyerer,, K. Hirschenhauser, K. Soukup- Altrichter (Hrsg.), Last oder Lust? Forschung und Lehrer_innenbildung. (S. 11-42). Münster: Waxmann. Hattie, J. (2013). Calibration and confidence: where to next? Learning & Instruction, 24, 62–66. doi: 10.1016/j.learninstruc.2012.05.009. Helmke, A. & Helmke, T. (2014): Unterrichtsanalyse mit EMU (Evidenzbasierte Methoden der Unterrichtsentwicklung). In: Journal für Schulentwicklung 18(1), 55-57. Helmke, A., Helmke, T., Lenske, G., Pham, G., Praetorius, A.-K., Schrader, F.-W. & Ade-Thurow (2019, 03. April). Evidenzbasierte Methoden der Unterrichtsdiagnostik und -entwicklung. Abgerufen von http://www.unterrichtsdiagnostik.de/ Helmke, A. & Lenske, G. (2013). Unterrichtsdiagnostik als Voraussetzung für Unterrichtsentwicklung. Beiträge zur Lehrerinnen- und Lehrerbildung, 31(2), 214-233. Hinsch, R. (1979). Einstellungswandel und Praxisschock bei jungen Lehrern, eine empirische Längsschnittuntersuchung [Attitude change and practice shock in beginning teachers, an empirical longitudinal study]. Basel, Switzerland: Beltz.

MasterMind | QualiTeach-Abschlusstagung | 23.05.2019 Literatur Kämpfe, N. (2009). Schülerinnen und Schüler als Experten für Unterricht. DDS - Die Deutsche Schule, 101(2), 149-163. Klieme, E. (2008) (Hrsg.): Unterricht und Kompetenzerwerb in Deutsch und Englisch. Ergebnisse der DESI-Studie. Weinheim u.a.: Beltz. Kultusministerkonferenz, (K. M. K.) (2004). Standards für die Lehrerbildung: Bildungswissenschaften. Bonn: KMK. Lacey, C. (1977). The socialization of teachers. London: Methuen. Müller-Fohrbrodt, G., Cloetta, B., & Dann, H. D. (1978). Der Praxisschock bei jungen Lehrern: Formen-Ursachen-Folgerungen. Eine zusammenfassende Bewertung der theoretischen und empirischen. Stuttgart: Klett-Cotta Reitinger, J. (2013). Forschendes Lernen: Theorie, Evaluation und Praxis in naturwissenschaftlichen Lernarrangements. Prolog-Verlag. Schnotz, W. (2006). Conceptual Change. In D.H. Rost (Hrsg.), Handwörterbuch Pädagogische Psychologie (3., überarbeitete und erweiterte Aufl.) (S. 77–82). Weinheim: Beltz Psychologie Verlags Union.

MasterMind | QualiTeach-Abschlusstagung | 23.05.2019 Literatur Schrader, F.-W. & Helmke, A. (2001). Alltägliche Leistungsbeurteilung durch Lehrer. In: F. E. Weinert (Hrsg.): Leistungsmessung in Schulen (S. 45-58). Weinheim: Beltz. Stark, R. (2017). Probleme evidenzbasierter bzw.-orientierter pädagogischer Praxis. Zeitschrift für Pädagogische Psychologie, 31 (2), 99-110. Wagner, C. (2010): Unterrichtsentwicklung durch Evaluation am Beispiel des „Netzwerk Schülerbefragung“. In: Die berufsbildende Schule 62 (10), 291-297. Wenglein, S., Bauer, J., Heininger, S. & Prenzel, M. (2015). Kompetenz angehender Lehrkräfte zum Argumentieren mit Evidenz: Erhöht ein Training von Heuristiken die Argumentationsqualität? Unterrichtswissenschaft, 43(3), 209-224. Zeuch, N. & Souvignier, E. (2015). Zentrale Facetten wissenschaftlichen Denkens bei Lehramtsstudierenden. Entwicklung eines neuen Instruments und Identifikation von latenten Profilen. Unterrichtswissenschaft, 43(3), 248–266.