Nationale und internationale Schulleistungsstudien: Auswertung und Nutzung 09.12.2013 Institut für Erziehungswissenschaft Seminar: Unterrichtsanalyse: Fragestellungen, Methoden, Ergebnisse und praxisbezogene Nutzung Referentinnen: Mujda Ghafouri und Natalie Uhlenbrock

Gliederung PISA: Eine Einführung Wer macht mit? Testentwicklung Der Feldtest Testdesign und Aufgabenformate Durchführung und Auswertung Schüler- und Schulfragebögen Wichtige Ergebnisse Kritik (Gruppenarbeit)

LITERACY Programme for International Student Assessment Entwickelt von der OECD (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung) Steuerung vom PISA Governing Board (PGB) Beobachtung der Bildungssysteme im internationalen Vergleich Beurteilung von 3 Kompetenzbereichen - Lesekompetenz - mathematische Kompetenz - naturwissenschaftliche Kompetenz Warum beschränkt man sich auf diese drei Gebiete? LITERACY

in jeder Erhebungsrunde wird ein Teilgebiet besonders genau Erhebungsrunden regelmäßig im Abstand von 3 Jahren (Jahr der Datenerhebung bestimmt die Bezeichnung PISA 2000, PISA 2003 etc.) in jeder Erhebungsrunde wird ein Teilgebiet besonders genau untersucht (3-Jahreszyklus) neben den Kompetenztests werden umfangreiche Daten zum sozialen Hintergrund und Lernverhalten der Schüler gesammelt ( was beeinflusst die Schüler/innen in welcher Weise) https://www.bifie.at/pisa

Wer macht bei PISA mit? OECD-Länder: Australien, Belgien, Chile, Dänemark, Deutschland, Estland, Finnland, Frankreich, Griechenland, Irland, Island, Israel, Italien, Japan, Korea, Kanada, Luxemburg, Mexiko, Neuseeland, Niederlande, Norwegen, Österreich, Polen, Portugal, Schweden, Schweiz, Slowak. Republik, Slowenien, Spanien, Tschech. Republik, Türkei, Ungarn, Verein. Königreich, USA Außerdem: Albanien, Argentinien, Brasilien, Bulgarien, Chinesisch Taipeh, Costa Rica, Hongkong (China), Indonesien, Jordanien, Kasachstan, Katar, Kolumbien, Kroatien, Lettland, Liechtenstein, Litaun, Macau (China), Malaysia, Montenegro, Peru, Rumänien, Russ. Föderation, Serbien, Shanghai (China), Thailand, Tunesien, Uruguay, Ver. Arab. Emirate, Vietnam, Zypern

Testentwicklung bei PISA Inhaltlich-theoretische Grundlagen für PISA werden in Rahmenkonzeptionen festgehalten  Hier werden bereits wichtige Entscheidungen über die Ziele der Studie getroffen In Zusammenarbeit entwickeln Test- und Forschungsinstitute aus mehreren Ländern Aufgabenmaterial / teilnehmende Staaten können außerdem Aufgaben (Items) einreichen

Testentwicklung bei PISA

Der Feldtest Wird ein Jahr vor der Studie durchgeführt Dazu dient der Feldtest? - Prüfung der Aufgabenqualität (meist wird die Hälfte der Aufgaben wieder gestrichen) - Prozesse der gesamten Erhebung proben (Schulkoordinatoren, Testleiter, Projektzentren)

Testdesign  Multi-Matrix-Design

Aufgabenformate Multiple Choice (geschlossenes Format) Kurzantworten (halb-offenes Format) Antworten in ganzen Sätzen (offenes Format)

Durchführung/ Auswertung der Studie Zielpopulation: Jugendliche im Alter von 15 Jahren (unabhängig von der Klassenstufe) Stichprobenziehung (ca. 5000 Schüler werden in Deutschland ausgewählt; davon müssen 80 % tatsächlich am Test teilnehmen) Auswertung (ca. 1 Jahr): 1. Kodieren 2. Skalierung 3. Einteilung in Kompetenzstufen (Mittelwert bei 500 Punkten)

PISA-E ? Ergänzung der Stichproben, die einen Vergleich der deutschen Bundesländer erlaubt

Internationaler Schülerfragebogen PISA 2012

Weitere Fragefelder TEIL E: MEHR FRAGEN ÜBER MATHEMATIK   TEIL G: DEINE COMPUTERNUTZUNG TEIL H: DEINE COMPUTERNUTZUNG AUSSERHALB DER SCHULE TEIL I: DEINE COMPUTERNUTZUNG IN DER SCHULE TEIL J: EINSTELLUNGEN ZU COMPUTERN TEIL K: BERUFSORIENTIERUNG TEIL L: UNTERSTÜTZUNG BEIM LERNEN DER SPRACHE TEIL M: DEINE SCHULLAUFBAHN

Weitere Fragefelder Teil B: Deine Klasse, deine Mitschüler/innen Teil C: Deine Schule, das Leben an dieser Schule Teil D: Schüler-Feedback an Lehrer/innen und Schule

Internationaler Schulfragebogen PISA 2012

Teil A: STRUKTUR UND ORGANISATION DER SCHULE

TEIL B: SCHÜLER/INNEN UND LEHRER/INNEN AN IHRER SCHULE

Teil C: SCHULRESSOURCEN

Weitere Fragekriterien Teil D: UNTERRICHTSANGEBOT UND PRÜFUNGSKULTUR Teil E: SCHULKLIMA Teil F: RICHTLINIEN UND PRAKTIKEN Teil G: SCHULFRAGEBOGEN Teil H: INDIVIDUALISIERUNG UND DIFFERENZIERUNG Teil I: DIE NUTZUNG VON INFORMATIONSTECHNOLOGIEN Teil J: QUALITÄTSENTWICKLUNG – QUALITÄTSSICHERUNG

Wichtigste Ergebnisse

Schülerleistungen in Mathematik Durchschnittsergebnisse Anteil der besonders leistungsstarken und der besonders leistungs- schwachen SuS Geschlechtsspezifische Leistungsunterschiede

Schülerleistungen in Lesekompetenz Durchschnittsergebnisse Anteil der besonders leistungsstarken und der besonders leistungs- schwachen SuS Geschlechtsspezifische Leistungsunterschiede

Schülerleistungen in Naturwissenschaften Durchschnittsergebnisse Anteil der besonders leistungsstarken und der besonders leistungs- schwachen SuS Geschlechtsspezifische Leistungsunterschiede

Allen SuS die Voraussetzungen zum Erfolg sichern Chancengerechtigkeit Resiliente SuS SuS mit Migrationshintergrund

Engagement, Motivation und Selbsteinschätzung von SuS Schulisches Engagement Zugehörigkeit zur Schule Die Bedeutung der Leistungen der Klassenkameraden

Lernumfeld und schulische Organisation Aufteilung und Selektion der SuS Beurteilungsmethoden Zeitaufwand für das Lernen Qualität der Lehrkräfte Vorschulbildung

Gruppenarbeit zur Kritik an PISA Sucht eure Gruppenmitglieder und setzt euch in Gruppen zusammen Lest die herausgegeben Texte sorgfältig und fasst Kritikpunkte zusammen Erstellt ein Plakat um eure Kritikpunkte vorzustellen Stellt eure Ausarbeitung im Kurs vor

Literatur Drechsel, Barbara/ Prenzel, Manfred (2008): Aus Vergleichsstudien lernen. Aufbau, Durchführung und Interpretation internationaler Vergleichsstudien. In: Schulmanagement-Handbuch. Band 126. München: Oldenbourg Schulbuchverlag. Kraus, Josef (2005): Der PISA-Schwindel. Unsere Kinder sind besser als ihr Ruf. Wien: Signum Verlag. Rolff, H.-G. (2007): Studien zu einer Theorie der Schulentwicklung. Weinheim und Basel: Beltz Verlag. S. 172-194. van Ackeren, Isabell: Von FIMS und FISS bis TIMSS und PISA. Schulleistungen in Deutschland im historischen und internationalen Vergleich. In: Die deutsche Schule, 94 (2002) 2, S. 157-175. Internetquellen: HP der OECD Berlin: http://www.oecd.org/berlin/ (Zugriff: 01.12.2013) Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens: www.bifie.at/pisa (Zugriff: 04.12.2013) PISA-Kritik: http://www.pisa-kritik.de/startseite (Zugriff: 04.12.2013) Was halten Sie von der PISA-Studie?: http://www.sueddeutsche.de/bildung/pisa-studie-was-halten-sie-von-der-pisa-studie-1.1834635 (Zugriff: 04.12.2013)