Schulleistungsuntersuchungen: Wie macht man PISA? Eine Anleitung in 9 Schritten Martin Brunner 8.5.2006 Max-Planck-Institut für Bildungsforschung brunner@mpib-berlin.mpg.de

1. Man lernt von den Vorgängerstudien 1958: internationale Pilotstudie 1967: FIMS (First International Mathematics Study) durchgeführt von der International Association for the Evaluation of Educational Achievement (IEA) 1985/86: Classroom Environment Study 1994-96: TIMSS 2000: PISA durchgeführt von der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD)

2. Studienziele: Welche Fragen soll uns PISA beantworten? Basisindikatoren der Kenntnisse und Fähigkeiten von Jugendlichen Kontextindikatoren des Bildungssystems (demographischer, sozialer und wirtschaftlicher Hintergrund) Zusammenhänge zwischen individuellen Hintergrundmerkmalen, schulischen Kontextmerkmalen und Leistungsergebnissen Trendindikatoren Grenzen von PISA: Keine Kausalinterpretation zulässig!

3. Wer zahlt und wer macht´s? Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) Bundesministerium für Bildung und Forschung und Ständige Konferenz der Kultusminister der Länder PISA als politiknahe kulturvergleichende Bildungsforschung

4. Konstruktdefinition: Was genau wollen wir messen? PISA normatives Grundbildungskonzept Verzicht auf transnationale curriculare Validität Grundbildung in PISA funktionalistische Anwendung von Basiskompetenzen in authentischen Situationen Eröffnung von Lebenschancen Lesekompetenz als die Fähigkeit geschriebene Texte zu verstehen, zu nutzen und über sie zu reflektieren, um eigene Ziele zu erreichen, das eigene Wissen und Potenzial weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen Mathematische Grundbildung als die Fähigkeit, die Rolle zu erkennen und zu verstehen, die die Mathematik in der Welt spielt, fundierte mathematische Urteile abzugeben und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens einer Person als konstruktivem, engagiertem und reflektierten Bürger entspricht Naturwissenschaftliche Grundbildung als die Fähigkeit, naturwissenschaftliches Wissen anzuwenden, naturwissenschaftliche Fragen zu erkennen und aus Belegen Schlussfolgerungen zu ziehen, um Entscheidungen zu verstehen und zu treffen, die die natürliche Welt und die durch menschliches Handeln an ihr vorgenommen Veränderungen betreffen.

5. Welche Schüler machen mit? Populationsdefinition nach Schulalter (z.B. die Neuntklässler) PISA: Populationsdefinition nach Lebensalter - 15-Jährige Vorteil: zuverlässige Erfassung des kumulativen Bildungsertrags innerhalb einer definierten Lebensspanne Nachteil: eingeschränkte Möglichkeit gefundene Unterschiede auf institutionelle Bedingungen zurückzuführen (z.B. bei gleichem Lebensalter Besuch unterschiedlicher Klassenstufe aufgrund unterschiedlicher Einschulungs- und Klassenwiederholungsregelungen)

5. Welche Schüler machen mit. PISA-2000: 32 Länder, 180 5. Welche Schüler machen mit? PISA-2000: 32 Länder, 180.000 Jugendliche PISA-2003: 41 Staaten (davon 30 OECD) und 250.000 15-jährige Jugendliche!

6. Wie kriegen wir eine Zufallsstichprobe der 15-Jährigen? Proportional/disproportional stratifizierte Wahrscheinlichkeitsstichprobe von Schulen (mit 15-Jährigen) unabhängig von ihrer Trägerschaft Ziehungswahrscheinlichkeit einer Schule war proportional zu ihrer Größe: 220 Schulen in Deutschland Innerhalb einer Schule: zufällige Ziehung von 15-Jährigen unabhängig von der besuchten Klassenstufe: 5073 15-Jährige Ausschluß Wenn aus geistig, emotionalen oder körperlichen Gründen nicht die Möglichkeit bestand, selbständig an den Testsitzungen teilzunehmen (z.B. Schüler an Schulen für geistig, körperlich und mehrfach Behinderte) Waldorfschulen (in PISA-2000; aber in PISA-2003 dabei) Weltweit bei PISA-2000: etwa 180.000 Schüler aus 32 Ländern

7. Wie konstruieren wir die Tests? Entwicklung und Sammlung von Testaufgaben auf Grundlage der Rahmenkonzeptionen der Basiskompetenzen durch internationale Expertengruppe Übersetzung der Testaufgaben Ausgangspunkt: Testaufgaben liegen in englischer und französischer Sprache vor Übersetzung beider Versionen durch zwei unabhängige Übersetzer in die Landesprachen Zusammenführung der zwei Landessprachenversionen durch dritten unabhängigen Übersetzer Überprüfung der zusammengeführten Version durch nationale Expertengruppen Überprüfung der zusammengeführten Version durch Übersetzer,die von der internationalen Expertengruppe geschult wurden Feldtest Überarbeitung der Testaufgaben auf Grundlage der Feldtestergebnisse Überprüfung durch Übersetzer der internationalen Expertengruppe

8. Wie führen wir PISA durch? Studienkoordinatoren Management: OECD-Paris Wissenschaft: ACER Australien Nationale Projektmanager : MPI in Berlin (2000) / IPN in Kiel (ab 2003) PISA-Schulkoordinatoren Data-Processing Center in Hamburg: Stichprobenziehung geschulte Testleiter Einscannen der bearbeiteten Testhefte Kodierung der offenen Antworten Moderne methodische Verfahren: Multi-Matrix Testadministrationsdesign Item-Response-Theorie complex sampling Modelle Testsicherheit und Datenschutz

9. Was kommt raus? Mittlere Länder-Leistungen in PISA-2000

9. Was kommt raus? Mittlere Länder-Leistungen in PISA-2003 Lesen Mathematik

9. Was kommt raus? Sozialer Gradient in PISA-2000