Leistungsdiagnose und Leistungsüberprüfung Institute for Educational Progress Leistungsdiagnose und Leistungsüberprüfung in der Schule Klett-Symposium, Essen, 25.04.2009 Prof. Dr. Olaf Köller Humboldt-Universität zu Berlin iqboffice@iqb.hu-berlin.de www.iqb.hu-berlin.de

Überblick Warum ein Fokus auf Schulleistungen und Lernen? Institute for Educational Progress Überblick Warum ein Fokus auf Schulleistungen und Lernen? Ein Plädoyer für Assessment in der Schule Formatives und summatives Assessment Bildungsstandards als Basis für summatives Assessment Bildungsstandards und Kompetenzstufenmodelle Bildungsstandards, Kompetenzstufenmodelle, Ländervergleiche und Vergleichsarbeiten

Warum ein Fokus auf Leistung? Effekte hoher Leistungsstände Individuum Höheres Einkommen über die Lebensspanne Höhere psychische und physische Gesundheit Höhere Lebenserwartung Gesellschaft Geringere Kosten im Justizsystem Geringere Kosten im Gesundheitssystem Höheres Wirtschaftswachstum

Relevanz von Fachleistungen im berufsbildenden Bereich: Befunde aus ULME II (Lehmann et al., 2006) .50 Allgemeine Fachleistung .41 (weibliches) Geschlecht Fähigkeit zum schlussfolgernden Denken .33 .35/.21 Erfolgreicher Durchlauf Zukunftsoptimismus (Schule / Ausbildungsplatz) Abbruch Finanzielle Absicherung .20 .15 Interesse der Eltern an Schule .06 Lernstrategien

Ein Plädoyer für die Vermessung der Welt/Schule

Wiliam (2008) Teachers do not create learning Learners create learning Teaching is the engineering of effective learning environments Assessment bridges the gap between instruction and learning

Zur Notwendigkeit von Schulleistungsmessungen Lehrkräfte bieten ihren Schülerinnen und Schülern im Unterricht Lerngelegenheiten Folgt man moderat konstruktivistischen Lerntheorien, so ist Lernen ein aktiver Prozess -> Schülerinnen und Schüler bestimmen selbst, was sie lernen Folge: Formatives und summatives Assessment zur Überprüfung, was auf Seiten der Schülerinnen und Schüler tatsächlich gelernt wurde Messung also als Verbindung zwischen Unterricht und Lernerfolg

Formatives Assessment (Black & Wiliam, 1998) Aktivitäten der Lehrkräfte und der Schüler, aus denen Informationen gewonnen werden können, um die Lehr- und Lernkultur im Unterricht zu verbessern. Assessment in diesem Sinne umfasst die Beobachtung des Lerners, des Unterrichtsgespräches und die Analyse von Schülerarbeiten, wie Hausaufgaben und Tests. Formatives Assessment ist dann die Nutzung dieser gewonnenen Informationen, um den Lehr- und Lernvorgang im Unterricht an die Lernstände der Schüler anzupassen (Mikro-Adaptivität).

Formatives Assessment Assessment is not an add-on to teaching and learning, it can be integral. Richard Shavelson (Stanford University)

Varianten Formativen Assessments Längerfristig Über längere Unterrichtseinheiten hinweg Zeitraum: Vier Wochen und länger Absicht: Schüler-Monitoring; Erreichung curricularer Vorgaben Mittelfristig Innerhalb von Unterrichtseinheiten Zeitraum: Eine bis vier Wochen Absicht: Zeitnahe Rückmeldung über Lernfortschritte, Adaptation des weiteren Vorgehens Kurzfristig Innerhalb von Unterrichtsstunden Zeitraum: Meistens wenige Sekunden/Minuten Absicht: Verständnisvolles Lernen anbahnen

Summatives Assessment (standardisierte) Messung von Lernergebnissen, die über einen langen Zeitraum aufgebaut wurden Individuelle Schülerleistungen oft nicht im Fokus der Messung Ergebnisse werden eher auf Systemebene genutzt, um im Bildungssystem zu optimieren (Bildungsmonitoring) Beispiele: PISA, IGLU, Ländervergleiche

Summatives Assessment auf der Basis von Bildungsstandards

Idee der Bildungsstandards sind fachspezifische Leistungsstandards beschreiben leistungsthematisches Handeln, das Schülerinnen und Schüler bis zu einem bestimmten Zeitpunkt ihres Bildungsganges erfolgreich zeigen sollten sollen helfen „den Einzelnen zur Bewältigung von Lebens-situationen auszustatten“ (Robinsohn, 1973)

„Can do Statements“ in Englisch (MSA; Hör- und Hör-/Sehverstehen) Die Schülerinnen und Schüler können... im Allgemeinen den Hauptpunkten von längeren Gesprächen folgen, die in ihrer Gegenwart geführt werden, Vorträge verstehen, wenn die Thematik vertraut und die Darstellung unkompliziert und klar strukturiert ist, Ankündigungen und Mitteilungen zu konkreten Themen verstehen, die in normaler Geschwindigkeit in Standardsprache gesprochen werden, vielen Filmen folgen, deren Handlung im Wesentlichen durch Bild und Aktion getragen wird, den Informationsgehalt der meisten Rundfunksendungen und Tonaufnahmen über Themen von persönlichem Interesse verstehen, das Wesentliche in vielen Fernsehsendungen zu Themen von persönlichem Interesse, z.B. Interviews, kurze Vorträge oder Nachrichtensendungen verstehen.

8 Schritte von den Standards zum summativen Assessment Fachdidaktische und lernpsychologische Präzisierung der Standards; Entwürfe von Kompetenzmodellen Erarbeitung von Richtlinien zur Entwicklung von Testaufgaben Aufgabenentwicklung durch geschulte Lehrkräfte Begutachtung der Aufgaben durch Fachdidaktiker und Psychometriker Pilotstudien zu den psychometrischen Eigenschaften der Aufgaben Normierung der Aufgaben auf der Basis national repräsentativer Stichproben Erarbeitung von Kompetenzstufenmodellen und Definition von Mindest-, Regel- und Optimalstandards Stichprobenbasierte Ländervergleiche (Summatives Assessment)

Von Kompetenzskalen zu Kompetenzstufen

Kontinuierliche Kompetenzskala Nationaler Mittelwert SD = 2 SD = 1 SD = 1 SD = 2 Skalenwert 300 400 500 600 700 2,3% 15,9% 50,0% 84,1% 97,7% Prozentrang

Definition von Kompetenzstufen Standard-setting Schulleistungen/Kompetenzen sind typischerweise kontinuierliche Merkmale Prozedur: Einteilung des Kontinuums in Intervalle zur besseren Interpretation von Testwerten Ziel der Niveaustufensetzung müssen plausibel interpretierbare und kommunizierbare Kompetenzstufen sein Hierzu sollten Experten unterschiedlicher Gruppen eingebunden werden Wichtige Voraussetzung: Aufgaben und Personen liegen auf dem selben Maßstab

Illustration des Standard-settings xxx Leistungs- Skala M = 500 SD = 100 Aufgaben

Schritte im Standard-setting Prozess Auswahl von Experten Training von Experten (sofern nötig) Entwicklung von Bezeichnungen für die einzelnen Kompetenzstufen Entwicklung von Deskriptoren für die einzelnen Kompetenzstufen Bestimmung von Schwellenwerten in mehreren Runden (a) ohne Feedback und Diskussionsmöglichkeit (b) mit Feedback und Diskussionsmöglichkeit (c) mit « Impact Data » und Diskussionsmöglichkeit 6. Endgültige Setzung der Schwellenwerte durch politische Entscheidungsträger 7. Evaluation der Effektivität des Standard-setting Prozesses 8. Dokumentation des Standard-setting Prozesses

Mindest-, Regel- und Maximal- standards Mindeststandards beschreiben Kompetenzniveaus, bei denen die standardbasierten Vorgaben noch nicht erreicht werden, die vorhandenen Kompetenzen aber vermuten lassen, dass bei Unterstützungsmaßnahmen der erfolgreiche Übergang in die Sekundarstufe I/in die berufliche Erstausbildung gelingt. Ziel eines Bildungssystems muss sein, dass alle Schülerinnen und Schüler wenigstens die Mindeststandards erreichen. Regelstandards beschreiben Kompetenzniveaus, die im Einklang mit den durch die KMK verabschiedeten Kompetenzerwartungen sind. Regelstandards plus beschreiben Kompetenzniveaus, die in einem gelingenden Unterricht langfristig erreicht werden sollten Optimal- bzw. Maximalstandards beschreiben Kompetenz-niveaus, die deutlich über die curricularen Anforderungen hinaus gehen und das Ergebnis günstiger Voraussetzungen auf Seiten der Schüler und gelungenen Unterrichts sind.

Beispiel: Grundschule Mathematik Stufe Werte-bereich Beschreibung Anteil im 4. Jg. I < 390 Routineprozeduren auf Grundlage ein-fachen begrifflichen Wissens 10% II 390 - 459 Einfache Anwendungen von Grundlagen-wissen 21% III 460 - 529 Erkennen und Nutzen von Zusammen-hängen in einem vertrauten (mathe-matischen und sachbezogenen) Kontext 33% IV 530 - 599 Sicheres und flexibles Anwenden von begrifflichem Wissen und Prozeduren im curricularen Umfang V ≥ 600 Modellierung komplexer Probleme unter selbstständiger Entwicklung geeigneter Strategien 15%

Kompetenzstufe I Einfache mathematische Begriffe und Prozeduren sind bekannt und können in einem innermathematischen Kontext bzw. in einem aus dem Alltag vertrauten oder gut geübten Kontext korrekt reproduziert werden. Insbesondere werden grundlegende Begriffe der ebenen Geometrie und gängige Repräsentanten standardisierter Einheiten richtig verwendet. Zahldarstellungen in Stellentafeln werden sicher gelesen. Die Grundaufgaben des kleinen Einspluseins und Einmaleins werden beherrscht und bei halbschriftlichen und schriftlichen Rechenverfahren genutzt, wenn die Aufgabenstellungen keine besonderen Schwierigkeiten aufweisen. Klar strukturierten Diagrammen, Schaubildern und Tabellen mit Bezug zur Lebenswirklichkeit können relevante Daten entnommen werden.

Kompetenzstufe V Mathematische Problemstellungen werden auch in einem unbekannten Kontext angemessen, sicher und flexibel bearbeitet. Dabei werden geeignete Strategien, sinnvolle Bewertungen oder Verallgemeinerungen auf hohem Niveau geleistet. Umfangreiches curricular verankertes Wissen wird in ungewohnten Situationen flexibel genutzt. Das Vorgehen kann sicher und nachvollziehbar kommuniziert und begründet werden. Komplexe Sachsituationen werden modelliert und bearbeitet, wobei besondere Schwierigkeiten wie die Verwendung von Tabellen, der Umgang mit zusammengesetzten Größen oder das Rechnen mit Zahlen in Kommaschreibweise auftreten können. Es können auch ungewohnte funktionale Zusammenhänge analysiert und genutzt werden. Die Lösung von Aufgaben kann ein hohes Maß an räumlichem Denken oder entsprechende analytische Fähigkeiten voraussetzen.

Beispielaufgaben: Zahlen und Operationen V IV III II I 600 530 460 390 Rechne schriftlich. 348 + 87 + 609 = _____________ M = 500; SD = 100

Beispielaufgaben: Zahlen und Operationen V IV III II I 600 530 460 390 M = 500; SD = 100

Beispielaufgaben: Zahlen und Operationen Tina und Ester sammeln Fußball-Bilder. Zusammen haben sie 25 Bilder. Tina hat 7 Bilder mehr als Esther. Wie viele Bilder hat Esther? o 7 o 9 o 16 o 18 V IV III II I 600 530 460 390 M = 500; SD = 100 Welche Zahl ist um 4 größer als das Produkt aus 9 und 3? o 10 o 16 o 31 o 39 o 63

Nutzen von Kompetenzstufen- modellen in Ländervergleichen (KMK-Gesamtstrategie) Regelmäßige stichprobenbasierte Ländervergleiche in der 3. und 9. Jahrgangsstufe auf der Basis der Standards 9. Jahrgangsstufe Grundlage: Standards für den Mittleren Schulabschluss und Hauptschulabschluss Alle sechs Jahre Deutsch/Englisch/Französisch (2009, 2015, ...) Alle sechs Jahre Mathematik/Naturwissenschaften (2012, 2018, ...) Länderrepräsentative Stichproben (ca. 2.500 Schülerinnen und Schüler pro Land) 3. Jahrgangsstufe Alle 5 Jahre (2011, 2016,...) Deutsch und Mathematik

Nutzen von Kompetenzstufen- modellen in Vergleichsarbeiten (KMK-Gesamtstrategie) VERA-3: Vergleichsarbeiten in Deutsch und Mathematik in der dritten Jahrgangsstufe VERA-8:Vergleichsarbeiten in Deutsch, Mathematik und 1. Fremdsprache in der 8. Jahrgangsstufe Flankiert durch didaktische Materialien Schulen bekommen widergespiegelt, welche Kompetenzstände ihre Schülerinnen und Schüler im Hinblick auf die Standards bereits erreicht haben.

Vielen Dank für Ihre Aufmerksamkeit! Institute for Educational Progress Telefon +49[30]2093-5335 Telefax +49[30]2093-5336 IQBoffice@IQB.hu-berlin.de www.IQB.hu-berlin.de Postadresse Humboldt-Universität zu Berlin Unter den Linden 6 10099 Berlin Sitz Luisenstraße 56 10117 Berlin Vielen Dank für Ihre Aufmerksamkeit!