Schulleistungs- untersuchung Seminar: Themen der pädagogisch- psychologischen Diagnostik Dozent: Martin Brunner Referentin: Conny Lochelfeld

Schulleistungsuntersuchung 2 Gliederung 1 Einführung 1.1 Zielsetzung internationaler Schulleistungsvergleiche 1.2 historischer Überblick 2 Methodik 2.1 Testkonstruktion 2.2 Konstruktion des Hintergrundfragebogens 2.3 Population und Stichprobe 2.4 Durchführungsbedingungen 3 Empirische Befunde 5 Schlussbemerkung

Schulleistungsuntersuchung Zielsetzung Bestandsaufnahme Unterschiede im Leistungsstand identifizieren Informationen für Akteure im Bildungswesen Benchmarking

Schulleistungsuntersuchung 4 Historischer Überblick Träger der wichtigsten Vergleichsstudien: International Association for the Evaluation of Educational Achievement (IEA) FIMS (1964) SIMS ( ) FISS (´70- ´71) SISS (´83- ´84) Reading Literacy (´90- `91) TIMSS (´94-´95) PIRLS bzw. IGLU (2001) Sonderstellung: CES

Schulleistungsuntersuchung 5 Im Blickpunkt der Forschung: mathematisch- naturwissenschaftlicher Unterricht Zweiter Schwerpunkt: Leseverständnis neben IEA hat die OECD ein langfristiges Forschungsprojekt initiiert (PISA; erstmalig 2000)

Schulleistungsuntersuchung 6 2 Methodik Probleme der Testkonstruktion Auswahl der Leistungsbereiche relevant und interkulturell valide (bei starker Invarianz) a) curricular orientierte b) Grundbildungstests Literacy- Ansatz: muttersprachliche, mathematische, naturwissenschaftliche Kompetenzen sind „basale Kulturwerkzeuge“ Empirie: a) ~ b)

Schulleistungsuntersuchung 7 Testkonstruktion Entwicklung und Übersetzung von Aufgaben Transkulturelle Äquivalenz Bei gleicher Merkmalsausprägung müssen Personen bei den jeweiligen Testaufgaben länderübergreifend vergleichbare Lösungswahrscheinlichkeiten haben. Curriculare Validität Äquivalenz der Übersetzung der Aufgaben (sprachlich und kulturell)

Schulleistungsuntersuchung 8 Exkurs: transkulturelle Validität Immer wieder Zweifel ob transkulturelle Validität in Anbetracht nationaler Besonderheiten der Curricula überhaupt möglich ist Behauptung (z.B. Freudenthal 1975): „Vergleiche über Fachgebiete wie Mathe, Biologie, Physik hinweg sind weder sinnvoll und fair“ aber: lange keine Untersuchungen zum Thema erst TIMMS: moderate Validitätsmängel haben geringere Auswirkungen als erwartet

Schulleistungsuntersuchung 9 Testkonstruktion am Beispiel PISA Schritt 1: Aufgabenvorschläge der Länder; von professionellen Aufgabenentwicklern des internationalen Konsortiums; aus anderen Studien Schritt 2: Vorauswahl aus diesem Pool u.a. durch Experten aus Teilnehmerstaaten Schritt 3: Übersetzung

Schulleistungsuntersuchung 10 Testkonstruktion Übersetzung Rückübersetzung Texte wirken oft unnatürlich, da sehr eng an Syntax und Semantik des Ausgangstextes angelehnt „TRAPD“ Ansatz (Translation, Review, Adjudication, Pretesting, Documentation) mehrere Übersetzungen der Ursprungsversion

Schulleistungsuntersuchung 11 Testkonstruktion PISA Übersetzung 2 unabhängige Übersetzer dritter führt beide Fassungen zusammen zusätzliche Hinweise: was ist schwierig/ wichtig; muss erhalten/ kann verändert werden weitere Korrekturschleifen durch Fachleute besondere Variation: Quelltext lag auf Englisch und Französisch vor (allerdings fakultativ; bei Verwendung beider Quellversionen weniger fehlerhafte Items)

Schulleistungsuntersuchung 12 Testkonstruktion am Beispiel PISA Schritt 4: Erprobung - empirische Grundlage für Schritt 5: Auswahl der Items Kriterien: - Items sollen zu erfassendes Konstrukt in ganzer Breite abbilden und in angemessenem Schwierigkeitsspektrum - ähnliche Funktion der Items in allen Teilnehmerstaaten (DIF)

Schulleistungsuntersuchung 13 Testkonstruktion am Beispiel PISA Multi- Matrix- Sampling Individuelle Testzeit in vertretbarem Rahmen Zumindest auf Populationsebene breites Spektrum erfassbar  9 verschiedene Testhefte - Internatonale Skalierung des Tests auf Basis einer Stichprobe von Schülern (pro Teilnehmerland 500) - Internationaler Mittelwert auf 500, Standardabweichung 100 festgelegt - Ausserdem Kriteriumsorientierte Interpretation möglich

Schulleistungsuntersuchung 14 2 Methodik Konstruktion des Hintergrundfragebogens Kontextfragebögen- je nach Fragestellung an Schüler, Lehrkräfte, Schulleiter oder Eltern oft zu deskriptiven Zwecken evtl. auch für Erklärungsversuche von Leistungsunterschieden (!) eine besondere Herausforderung: die Auswahl der Konstrukte

Schulleistungsuntersuchung 15 Konstruktion des Hintergrundfragebogens theoretische und methodische Sorgfalt oft nicht sehr ausgeprägt  Vorsicht beim Niveauvergleich dieser Skalen Ausnahme: international validierte Maße von Merkmalen sozialer Herkunft z.B. ISEI

Schulleistungsuntersuchung 16 Konstruktion des Hintergrundfragebogens bei PISA Internationaler Teil: Kontext des Lehrens und Lernens betreffend kontextbestimmende Rahmenbedingungen Inhalte, die sich aus Kontextbedingungen ergeben Ebene des Schülers, der Klasse, der Schule, des Systems

Schulleistungsuntersuchung 17

Schulleistungsuntersuchung 18 Konstruktion des Hintergrundfragebogens bei PISA Thematische Schwerpunkte: 1.Schülerfragebogen (internationaler und nationaler Teil) Unterrichtsqualität/ Schulklima Lernaktivitäten der Schüler Familiäre/ sozialer Hintergrund Persönliche und biographische Merkmale Bindung an die Altersgruppe Freizeitaktivitäten 2. Schulfragebogen (international und national) Systemischer Kontext der Schule Arbeitsbedingungen der Schule 3. Elternfragebogen (nur national) Familiärer/sozialer Hintergrund Schullaufbahn des Kindes

Schulleistungsuntersuchung 19 Methodik Population und Stichprobe Schlüsseljahrgänge: Abschlussklassen der Grundschule letzte Jahrgangsstufe Vollzeitschulpflicht letzte Klassenstufe Vollzeitschulwesen der Sek. II Population kann bestimmt werden a)nach Lebensalter b)nach Schulalter (Jahrgangsstufe)

Schulleistungsuntersuchung 20 Population und Stichprobe Ausschöpfungsgrad Zielpopulation und Stichprobe Einschränkungen in der Repräsentativität können erhebliche Auswirkungen auf die Vergleichsergebnisse haben unproblematisch: alle identische Ausschlussbedingungen oder Ausschlüsse unsystematisch im Unterschied von der Grundgesamtheit  allerdings schwierig nachzuweisen

Schulleistungsuntersuchung 21 Population und Stichprobe Untersuchungsgegenstand: Schüler in Schulen  mindestens zweistufiger Versuchsplan zu beachten: Gliederung des Schulsystems Regionale Unterschiede (z.B. Bundesländer) Trägerschaften von Schulen  Individuelle Versuchspläne für jeden Teilnehmerstaat  „non- response“ Mindeststandards für Ausschöpfungsquoten

Schulleistungsuntersuchung 22 Population und Stichprobe bei PISA lebensalterbasierte Populationsdefinition SchülerInnen, die zwischen 15 ¼ und 16 Jahre/ zwei Monate alt waren Ziel: den „kumulativen Ertrag der Bildungssysteme“ zum Ende der Schulpflicht abbilden

Schulleistungsuntersuchung 23 Population und Stichprobe bei PISA Jugendliche in Sonderpädagogischen Einrichtungen dürfen nicht ausgelassen werden Ausschöpfungsquote mindestens 95% Ausschlusskriterien: Schüler (2,5%) geistige, emotionale, körperliche Gründe, die selbstständige Teilnahme verhindern Testsprache nicht Muttersprache und zum Testzeitpunkt weniger als 1 Jahr darin unterrichtet Schulebene (2,5%) Erhebung aus geographischen oder administrativen Gründen nur schwer möglich

Schulleistungsuntersuchung 24 Population und Stichprobe bei PISA Mindestraten für die realisierte Stichprobe: Schülerebene 80% Schulebene 85%

Schulleistungsuntersuchung 25 Testkonstruktion Durchführungsbedingungen mögliche Einschränkungen der Validität durch method bias Unterschiede im Verhalten der Testleiter kulturell bedingte Antworttendenzen Vertrautheit mit Testsituation Bewertung offener Aufgaben

Schulleistungsuntersuchung 26 Standardisierung der Durchführungsbedingungen in hohem Maße Standardisierung des Testablaufs Handreichungen mit detaillierten Vorgaben zu Vorbereitung, Durchführung, Nachbereitung der Tests Testsicherheit und Gleichberechtigung gewährleisten Testadministration durch externe Testleiter nach eng definiertem Ablaufplan

Schulleistungsuntersuchung 27 Standardisierung der Durchführungsbedingungen bei PISA neben den formellen Regelungen auch Qualitätskontrollen durch SQMs (school quality monitors) bislang größter Aufwand

Schulleistungsuntersuchung 28 kulturell bedingte Antworttendenzen z.B. Testmotivation es wurde des öfteren die Vermutung geäußert, dass kulturelle Unterschiede im Hinblick auf die Motivation bestehen Keitel, Kilpatrick, Haenisch: mittelmäßige Ergebnisse der Achtklässler in TIMMS sind auf mangelnde Motivation zurückzuführen, da sie unbenotete Tests nicht ernst nehmen

Schulleistungsuntersuchung 29 kulturell bedingte Antworttendenzen z.B. Testmotivation Baumert und Demmrich (2001) SchülerInnen der 9. Klassenstufe Hauptschulen und Gymmnasien bearbeiteten nationale PISA- Matheaufgaben; 4 verschiedene Instruktionsbedingungen (Studie, Rückmeldung, Noten, Geld) wichtigster Befund: experimentelle Bedingungen haben keine Effekt auf Leistung

Schulleistungsuntersuchung 30 Vertrautheit mit der Testsituation „vielleicht waren die Ergebnisse der deutschen Schüler in TIMMS so enttäuschend, weil sie wenig Erfahrung mit dieser Art von Tests hatten“ multiple- choice standardisierte Testsituation an sich in authentische Kontexte eingebettete Aufgaben

Schulleistungsuntersuchung 31 Bewertung offener Aufgaben mehr und mehr offene Fragen (bei PISA %) früher nur Interraterreliabilität innerhalb eines Staates bestimmt PISA erstmals zwischen Staaten  in mehr als 90% der untersuchten Fälle keine nennenswerten Abweichungen

Schulleistungsuntersuchung 32 3 Empirische Befunde auch bei nominell identischer Metrik sind die Kennwerte über Studien hinweg nicht vergleichbar Vergleiche über Studien hinweg nur grob anhand relativer Positionen (!) Hauptergebnisse: Niveau und Variabilität von Leistungen Ausmaß der Entkopplung von Hintergrundmerkmalen der SchülerInnen nationale Leistungsprofile bei PISA auch Trendindikatoren

Schulleistungsuntersuchung 33 Schlussbemerkung wünschenswert wäre eine bessere Verknüpfung einzelner Studien für den größeren Überblick Kluft zwischen Mikro- und Makroebene schließen zukünftige Forschung: Methodenoptimierung Benchmarking auf zusätzliche Bereiche und Populationen ausdehnen aber: für besseres Ursachenverständnis sollte an Konzepten gearbeitet werden, die sich stärker an Theorien und Ergebnissen der Grundlagenforschung orientieren

Schulleistungsuntersuchung 34 Literatur Baumert, J. (2001). Internationale Schulleistungsvergleiche. In D.H. Rost (Hrsg.), Handwörterbuch pädagogische Psychologie (S ). Weinheim: Beltz. Baumert, J., Stanat, P. & Demmrich, A. (2001). Theoretische Grundlagen der Studie. In J. Baumert, E. Klieme, M. Neubrand, M. Prenzel, U. Schiefele, W. Schneider, P. Stanat, K.-J. Tillmann & M. Weiß (Hrsg.), PISA Basiskompetenzen von Schülerinnen und Schülern im internationalen Vergleich (S ). Opladen: Leske + Budrich Stanat, P. & Lüdtke, O. (in Druck). Internationale Schulleistungsvergleiche. In G. Trommsdorff & H.-J. Kornadt (Hrsg.), Enzyklopädie der Psychologie: Kulturvergleichende Psychologie, Band 2 Kulturelle Determinanten des Erlebens und Verhaltens. Göttingen: Hogrefe