Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Schulleistungsuntersuchungen: Wie macht man PISA? Eine Anleitung in 9 Schritten Martin Brunner Max-Planck-Institut für Bildungsforschung

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner 1. Man lernt von den Vorgängerstudien 1958: internationale Pilotstudie 1967: FIMS (First International Mathematics Study) durchgeführt von der International Association for the Evaluation of Educational Achievement (IEA) 1985/86: Classroom Environment Study : TIMSS 2000: PISA durchgeführt von der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD)

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner 2. Studienziele: Welche Fragen soll uns PISA beantworten? Basisindikatoren der Kenntnisse und Fähigkeiten von Jugendlichen Kontextindikatoren des Bildungssystems (demographischer, sozialer und wirtschaftlicher Hintergrund) Zusammenhänge zwischen individuellen Hintergrundmerkmalen, schulischen Kontextmerkmalen und Leistungsergebnissen Trendindikatoren Grenzen von PISA: Keine Kausalinterpretation zulässig!

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner 3. Wer zahlt und wer macht´s? Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) Bundesministerium für Bildung und Forschung und Ständige Konferenz der Kultusminister der Länder PISA als politiknahe kulturvergleichende Bildungsforschung

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner 4. Konstruktdefinition: Was genau wollen wir messen? PISA  normatives Grundbildungskonzept  Verzicht auf transnationale curriculare Validität Grundbildung in PISA  funktionalistische Anwendung von Basiskompetenzen in authentischen Situationen  Eröffnung von Lebenschancen Lesekompetenz als die Fähigkeit geschriebene Texte zu verstehen, zu nutzen und über sie zu reflektieren, um eigene Ziele zu erreichen, das eigene Wissen und Potenzial weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen Mathematische Grundbildung als die Fähigkeit, die Rolle zu erkennen und zu verstehen, die die Mathematik in der Welt spielt, fundierte mathematische Urteile abzugeben und sich auf eine Weise mit der Mathematik zu befassen, die den Anforderungen des gegenwärtigen und künftigen Lebens einer Person als konstruktivem, engagiertem und reflektierten Bürger entspricht Naturwissenschaftliche Grundbildung als die Fähigkeit, naturwissenschaftliches Wissen anzuwenden, naturwissenschaftliche Fragen zu erkennen und aus Belegen Schlussfolgerungen zu ziehen, um Entscheidungen zu verstehen und zu treffen, die die natürliche Welt und die durch menschliches Handeln an ihr vorgenommen Veränderungen betreffen.

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner 5. Welche Schüler machen mit? Populationsdefinition nach Schulalter (z.B. die Neuntklässler) PISA: Populationsdefinition nach Lebensalter - 15-Jährige  Vorteil: zuverlässige Erfassung des kumulativen Bildungsertrags innerhalb einer definierten Lebensspanne  Nachteil: eingeschränkte Möglichkeit gefundene Unterschiede auf institutionelle Bedingungen zurückzuführen (z.B. bei gleichem Lebensalter Besuch unterschiedlicher Klassenstufe aufgrund unterschiedlicher Einschulungs- und Klassenwiederholungsregelungen)

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner 5. Welche Schüler machen mit? PISA-2000: 32 Länder, Jugendliche PISA-2003: 41 Staaten (davon 30 OECD) und jährige Jugendliche!

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner 6. Wie kriegen wir eine Zufallsstichprobe der 15-Jährigen? Ausschluß  Wenn aus geistig, emotionalen oder körperlichen Gründen nicht die Möglichkeit bestand, selbständig an den Testsitzungen teilzunehmen (z.B. Schüler an Schulen für geistig, körperlich und mehrfach Behinderte)  Waldorfschulen (in PISA-2000; aber in PISA-2003 dabei) Proportional/disproportional stratifizierte Wahrscheinlichkeitsstichprobe von Schulen (mit 15- Jährigen) unabhängig von ihrer Trägerschaft  Ziehungswahrscheinlichkeit einer Schule war proportional zu ihrer Größe: 220 Schulen in Deutschland  Innerhalb einer Schule: zufällige Ziehung von 15-Jährigen unabhängig von der besuchten Klassenstufe: Jährige Weltweit bei PISA-2000: etwa Schüler aus 32 Ländern

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner 7. Wie konstruieren wir die Tests? Übersetzung der Testaufgaben  Ausgangspunkt: Testaufgaben liegen in englischer und französischer Sprache vor  Übersetzung beider Versionen durch zwei unabhängige Übersetzer in die Landesprachen  Zusammenführung der zwei Landessprachenversionen durch dritten unabhängigen Übersetzer  Überprüfung der zusammengeführten Version durch nationale Expertengruppen  Überprüfung der zusammengeführten Version durch Übersetzer,die von der internationalen Expertengruppe geschult wurden  Feldtest  Überarbeitung der Testaufgaben auf Grundlage der Feldtestergebnisse  Überprüfung durch Übersetzer der internationalen Expertengruppe Entwicklung und Sammlung von Testaufgaben auf Grundlage der Rahmenkonzeptionen der Basiskompetenzen durch internationale Expertengruppe

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner 8. Wie führen wir PISA durch? Moderne methodische Verfahren:  Multi-Matrix Testadministrationsdesign  Item-Response-Theorie  complex sampling Modelle Data-Processing Center in Hamburg:  Stichprobenziehung  geschulte Testleiter  Einscannen der bearbeiteten Testhefte  Kodierung der offenen Antworten PISA-Schulkoordinatoren Testsicherheit und Datenschutz Studienkoordinatoren  Management: OECD-Paris  Wissenschaft: ACER Australien  Nationale Projektmanager : MPI in Berlin (2000) / IPN in Kiel (ab 2003)

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner 9. Was kommt raus? Mittlere Länder-Leistungen in PISA-2000

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Mathematik Lesen 9. Was kommt raus? Mittlere Länder-Leistungen in PISA-2003

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner 9. Was kommt raus? Sozialer Gradient in PISA-2000