Von FIMSS und FISS bis PISA und PIRLS Eine Zwischenbilanz zu den Effekten und Perspektiven von Large Scale Assessments für die Steuerung von Schule Isabell van Ackeren Universität Duisburg-Essen AG Bildungsforschung Zürich, 8. Dezember 2010

Gliederung (1)Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien (2)Rezeption und Wirkung: Large Scale Assessments und der Anspruch Evidenzbasierter Steuerung (3)Perspektive: Large Scale Change?

Anfänge internationaler Leistungsvergleiche 1920er Jahre: separate, idiographische Beschreibung der Bildungssysteme ausgewählter Länder (Vergleichende EW als akademische Disziplin) 1950/60er Jahre: Bewusstsein für den hidden factor des Humankapitals (Entwicklungspolitik) 1958: Gründung der IEA durch akademische Institutionen (Bloom, Thorndike u.a.) – Messung von Kenntnissen und Fertigkeiten von Schüler/innen – Identifizierung relevanter Einflussgrößen auf Lernerträge (nomothetischer Anspruch) – Variation zwischen Ländern (Steuerungs- und Handlungspraxis): Erkenntnisgewinn für bildungspolitische Reformen und Entwicklungsprozesse (melioristisches Erkenntnisinteresse) 60/70er Jahre: Paradigmenwechsel hin zur Erfassung des Lernertrags von Schule (Systemmonitoring, Benchmarking)

Pilot Twelve-Country Study (Foshay et al., 1962) Anlage Machbarkeitsstudie zur Realisierung internationaler Schulleistungsvergleiche Sekundarstufe I Lesen, Mathematik, Naturwissenschaften, Geographie, non-verbale Fähigkeiten Teilnehmerstaaten: Belgien, (West-)Deutschland, England, Finnland, Frankreich, Israel, Jugoslawien, Polen, Schottland, Schweden, Schweiz, USA Erkenntnisse Höhere Variabilität innerhalb der Teilnehmerstaaten als zwischen den Ländern Länderunterschiede rechtfertigten jedoch die Durchführung von Leistungsstudien Vergleichsweise höhere Streuung in Geographie und Mathematik Herausarbeitung fachspezifischer Geschlechterdifferenzen

FIMS: First International Mathematics Study 1963/64 (Husén, 1967; Postlethwaite, 1967) Prinzip der Testung an strategisch bedeutsamen Punkten der Schullaufbahn – gegen Ende der Pflichtschulzeit – gegen Ende der voruniversitären Ausbildung Ergänzung durch Hintergrundbefragungen von Schüler/innen, Lehrkräften und Schulleitungen 12 Länder, Jugendliche – Australien, Belgien, (West-)Deutschland, England, Finnland, Frankreich, Israel, Japan, Niederlande, Schottland, Schweden, USA Fachbezug Mathematik – als ein Index der Produktivität eines Systems – methodisch einfacher für umfangreiche erste Erhebung dieser Art – movement of reconstruction of mathematical education (Husén, 1967)

FIMS und FISS: Ausgewählte Befunde und Rezeption aus deutscher Sicht nonmath-students (Grundbildung): Spitzenposition – Problem Vergleichbarkeit: Verbindlichkeit von Mathematik als Abiturfach Strukturelle Unterschiede in der Unterrichtszeit und -organisation sind zu berücksichtigen mathematics students: Mittelfeld – andere, leistungsstärkere Länder mit jüngerer Schülerpopulation keine Diskussion der Schulzeit bzw. durchschnittlicher Leistungen Chancengleichheit: starke sozio-ökonomische Selektivität – Indexwert der sozialen Selektivität im internationalen Vergleich am höchsten – keine breite Rezeption der Befunde

Six-Subject Survey ( ) erstmals Berücksichtigung der Primarstufe Frage der Übertragbarkeit identifizierter Einflussfaktoren mathematischer Bildungsprozesse auf andere Fächer – Leseverständnis, Naturwissenschaften, Literatur, Französisch und Englisch als Fremdsprachen, Civic Education Herausarbeitung neuer Prädiktoren schulischer Leistung – u.a. Interessens-, Motivations- und Einstellungsvariablen sowie Lehrmethoden vgl. sowie Goy, van Ackeren & Schwippert, 2008

Leistungsstudien in den 1970er und 80er Jahren Zurückhaltung / keine Beteiligung deutschsprachiger Länder bis in die 1990er Jahre – Ausnahme: Classroom Environment Study (CES), 1981 und 1983 (Weinert & Helmke) eher geisteswissenschaftliche Tradition deutscher Pädagogik (vgl. Bos & Postlethwaite, 2001) Schulsystem galt zudem lange als vorbildlich Konsequente Beteiligung an Untersuchungen: z.B. Belgien, England, Frankreich, Finnland, Neuseeland, Niederlande, Schottland, Schweden, USA TIMSS-Schock als Auslöser einer systematischen und breiten empirischen Schulleistungsforschung Rückblickende Wahrnehmung der Befunde der International Reading Literacy Study (IRLS)

Blick nach vorn: Perspektiven – Desiderate Längsschnittliche Anlage von Forschungsprogrammen zur Einlösung des Erklärungsanspruchs Defizitäre Informationen über domänen- und institutionsspezifische Bildungsprozesse auf folgende Stufen: – Tertiärer Bildungsbereich – Lebenslanges Lernens, adult competencies Anschlussfähigkeit des in Bildungsinstitutionen vermittelten Wissens / Kompetenzen Weiterentwicklung der Schulentwicklungsforschung – Praktische Umsetzung von LSA als komplexes Forschungs- und Entwicklungsproblem: Die eigentliche Arbeit beginnt in der Schule, den sie unterstützenden Einrichtungen und der Politik erst nach der Untersuchung (Baumert 2001)

Gliederung (1)Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien (2)Rezeption und Wirkung: Large Scale Assessments und der Anspruch Evidenzbasierter Steuerung (3)Perspektive: Large Scale Change?

Planung (60er Jahre) etatistisch, technokratischer Gestaltungsoptimismus (Schimank, 2009) Zeit der Implementierung von LSA und Bildungsberichtssystemen Implementationsforschung: How Great Expactations in Washington are Dashed in Oakland (Pressmann & Wildavsky, 1973) XXX Steuerung (80er Jahre) Steuerungsbegriff (Mayntz, 1987); Steuerungsillusion (Luhmann, 1987) Rutter et al., 1980: schools do matter Fend, 1987: Schule als pädagogische Handlungseinheit XXX Governance (90er Jahre) Antagonismus bildungspolitischer und bildungspraktischer Entscheidungen (Kussau & Brüsemeister, 2007) Ausweitung der analysierten Akteursgruppen (Eltern, OECD, Unternehmensberatungen etc.) und Interaktionsmuster / Handlungskoordination Nachvollziehen der Pluralisierung gesellschaftlicher Gestaltung XXX

Governance und Evidenzbasierte Steuerung Governance meint – das Zustandekommen, die Aufrechterhaltung und die Transformation sozialer Ordnung und Leistungen im Bildungswesen unter der Perspektive der Handlungskoordination zwischen verschiedenen Akteuren in komplexen Mehrebenensystemen. (Altricher & Maag Merki, 2010) Akteure aus Bildungspolitik/ -administration betreiben – in extremer Interpretation, ihre Politik insgesamt primär empiriegestützt, erfahrungswissenschaftlich beglaubigt und wissenschaftlich fundiert [...] statt im Vertrauen auf alte Ideologien. (Tenorth, 2007)

Rezeption / Impact von Leistungsstudien in international vergleichender Perspektive Robitaille et al. (Ed.) (2000). The impact of TIMSS on teaching and learning of mathematics and science Autorengruppe Internationale Vergleichsstudie (2003): Vertiefender Vergleich der Schulsysteme ausgewählter PISA- Teilnehmerstaaten Gilmore, A. (2005): The Impact of PIRLS (2001) and TIMSS (2003) in Low- and Middle-Income Countries Figazzolo, L.: Impact of PISA 2006 on the Education Policy Debate Schwippert, K. (Ed.) (2007): Progress in Reading Literacy. The Impact of PIRLS 2001 in 13 Countries

Impact of PIRLS: Beteiligte Länder Russland Hongkong Neuseeland Belgien (FL) Deutschland England Lettland Niederlande Österreich Slowakei Ungarn Südafrika kursiv: erstmals beteiligte Länder

Ziele: Dokumentation und Information Dokumentation der Reaktionen / Reaktionsmuster auf Studienergebnisse seitens Politik und Administration, Wissenschaft, Schulen und Öffentlichkeit Identifizierung direkter und/oder indirekter Konsequenzen – Veränderungen und Umstrukturierungen im nationalen Bildungssystem – Programme und Initiativen im Bildungsbereich – Wahrnehmung in der Öffentlichkeit Abschätzung des Potenzials für Systementwicklung – ggf. transformatorische Prozesse (2001 – 2006) – Explorativer Charakter – ggf. vertiefende Länderanalysen

Autorenperspektive Insider-Perspektiven auf das nationale Bildungssystem Unterschiedliche institutionelle und positionelle Hintergründe der Autoren zwischen den Ländern – Abteilungen des Bildungsministeriums – Unabhängige Forschungseinrichtungen – Universitäre Fachbereiche

The Analytical Framework A short country description The national education system The countrys experience in national and international large-scale assessments National results, impact, and (expected) long- term effects of PIRLS 2001 and/or 2006 since the first publication Expected future activities Concluding remarks (vgl. Schwippert & Lenkeit, in Vorbereitung; Liegmann & van Ackeren, in Vorbereitung)

Teilnahme an internationalen Studien und Implementierung nationaler Vergleichsstudien

Zusammenfassung der (berichteten) Veröffentlichungsaktivitäten

Unterrichts- qualität PIRLS als Indikator und Motor der Revision und Modifizierung Österreich, Hongkong, Lettland: Stärkung des Anspruchs der Förderung individueller Lernprozesse CurriculumRevision von Curricula: Planung bzw. Realisierung Ungarn: Ausweitung des Leseunterrichts auf Klassen 5+6; Hongkong: Lesenlernen als Schlüsselkompetenz überrgeifend verankert StrukturFokus auf vorschulische Bildung; Separation / Integration Österreich: Obligatorisches, gebührenfreies Vorschuljahr; Lettland: Herabsetzung Einschulungsalter; Verkürzung / Verlängerung der gemeinsamen Lernzeit (Ungarn / BRD) Lehrer- bildung LeseförderungEngland, Deutschland, Hongkong; Handreichungen, Trainingsprogramme: u.a. Russland, Südafrika RessourcenFinanzielle Ressourcen; elterliche Unterstützung Hongkong: Erhöhung der Bildungsausgaben für die Primarstufe; Slovakei: zusätzliche Ressourcen für soziale benachteiligte Schüler; Südafrika: Büchergutscheine; Hongkong: Förderung elterlicher Unterstützung Förder- programme LeseförderungHongkong: alle Schüler; England: Risikoschüler Output- orientierung Bildungsstandards, Vergleichsarbeiten, Schulinspektion Österreich, Deutschland, Südafrika; Revision bestehender outputorientierter Instrumente: England, Ungarn, Neuseeland, Russland Beschriebene Entwicklungsbereiche

Nutzbarmachung Evaluationsdaten (nach Johnson, 1998) Instrumenteller Gebrauch direkter Anwendungsbezug Konzeptueller Gebrauch auch: enlightment; Beeinflussung von Denkprozessen in größerem zeitlichen Abstand Symbolischer Gebrauch politisches/taktisches Interesse

Ministerielle Steuerung nach PISA in ausgewählten Bundesländern: MISTEL-Studie (Tillmann, Dedering et al.) Bildungspolitische Entscheidungsfindung erfolgt weniger rational, als es das Modell evidenzbasierter Steuerung postuliert Sach- und Problemorientierung der Entscheidungsträger wird flankiert von politisch-taktischen Orientierungen – u.a. Verstärkung / Legitimation bereits getroffener Entscheidungen – Stärkung öffentlicher Akzeptanz – Untermauerung politischer Forderungen Problem der Verabeitungskapazität und -kompetenz; zwischen Expertisedefizit und Informationsvorsprung Ministerien als Intermediär zwischen Bildungspolitik, Bildungssystem und Wissenschaftssystem: Balance zwischen unterschiedlichen Handlungslogiken

Gliederung (1)Blick zurück nach vorn: Ein halbes Jahrhundert internationale Schulleistungsstudien (2)Rezeption und Wirkung: Large Scale Assessments und der Anspruch Evidenzbasierter Steuerung (3)Herausforderungen und Perspektiven: Large Scale Change?

Herausforderungen Empirische Forschung zu den Ansprüchen und Wirkungen neuer Steuerungsinstrumente im Anschluss an Befunde von LSA – Bildungsstandards, Vergleichsarbeiten, Schulinspektionen, Zentrale Abschlussprüfungen – Berücksichtigung transintentionaler Effekte Ergänzung um internationale Vergleiche – Berücksichtigung unterschiedlicher Strukturen und Steuerungsphilosophien Professionalisierung von Lehrkräften Bedingungen von Transfer, etwa ausgezeichneter Schulen bei Schulwettbewerben

Projekt EviS – Evidenzbasiertes Handeln im Mehrebenensystem Schule Teilprojekt I: Lehrerbildung Genese, Voraussetzungen und Entwicklungen professionellen Umgangs von Lehrenden mit evidenzbasiertem Wissen im Kontext der mehrstufigen Lehrerausbildung quantitative (Panel-)Befragung mit Studierenden und Referendarinnen/Referendaren (2 Wellen) ergänzt durch qualitative Befragung Teilprojekt II: Schule Einflussfaktoren auf die Generierung und Nutzung evidenzbasierten Wissens Theoretical Sampling: Fallschulen, die sich durch geringe oder starke Evidenznutzung auszeichnen Netzwerkanalyse vertiefende Interviews genauere Bestimmung der tatsächlich genutzten Evidenzen Anlässe und Motivationen zur Nutzung der Evidenzen erfassen 26