Standards und Tests - Teufelswerkzeug oder Wunderwaffe für die Schul- und Unterrichtsentwicklung? Vortrag an der Universität Graz am 22. September 2005 Maritzen 09/2005 BBS Hamburg

Übersicht Schritt 1 Schritt 2 Schritt 3 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen Maritzen 09/2005 BBS Hamburg

Übersicht Schritt 1 Schritt 2 Schritt 3 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen Maritzen 09/2005 BBS Hamburg

Signaturen des Krisengeredes „PISA“ – Symptom für eine tiefgreifende Aufmerksamkeitsverschiebung „Krise“: Erfindung, um über Alarm-szenarien Geld zu akquirieren, Politik in Gang zu setzen, Erlösungsversprechen abzugeben, Legitimationsnotstände zu kaschieren Traditionslosigkeit der Evaluation: Ambivalenz von Heilserwartung („finnische Verhältnisse“) und Untergangsszenarien („amerikanische Verhältnisse“) kaum empirische „Erdung“ der Schul- und Unterrichtsentwicklung Maritzen 09/2005 BBS Hamburg

Perspektive eines Systemverantwortlichen Hamburg: Stadtstaat mit knapp 2 Mio Einwohnern; ca. 460 staatliche Schulen hohe Bildungsinvestitionen bei einbrechenden Steuereinnahmen 19,5 % Schüler/-innen mit nicht deutscher Staatsangehörigkeit, mehr als 30% mit Migrations-hintergrund mehr als 90 gesprochene Sprachen seit Mitte der 90er Jahre Erfahrung mit flächendeckenden Schulentwicklungprogrammen und Schulleistungsuntersuchungen im Längsschnitt Einführung verbindlicher testbasierter Vergleichsarbeiten in Klasse 3, 6 und 8 zentrale Abschlussprüfungen in Klasse 9 bzw. 10 Maritzen 09/2005 BBS Hamburg

Stellung der Schule zu Schulerfolg und Schulversagen nach Auskunft der Lehrkräfte in einigen Ländern der Bundesrepublik Deutschland Gute schulische Leistungen werden an unserer Schule öffentlich hervorgehoben Misserfolge von Schülern werden an unserer Schule den Lehrern angelastet Schulversagen wird bei uns als Problem der Schule und weniger des Schülers gesehen 10 20 30 40 50 60 70 80 BB DEU BY HE BW HH NW HB Schüler in Prozent Maritzen 09/2005 BBS Hamburg Die Angaben stammen aus dem Lehrerfragebogen. Die Daten für Hamburg basieren auf der Erhebung im Rahmen von KESS 4 aus dem Jahr 2003. IEA: Progress in International Reading Literacy Study © IGLU-Germany

Hauptschule Realschule Gesamtschule Gymnasium Gesamtschule Schullaufbahnenempfehlungen von Lehrkräften für Hamburg differenziert nach Lesekompetenz in Prozent – Gesamtskala Lesen 25 Hauptschule Realschule Gesamtschule Gymnasium Gesamtschule 20 15 Prozent 10 5 Maritzen 09/2005 BBS Hamburg 25 50 75 100 125 150 175 200 Universität Hamburg: Kompetenzen und Einstellungen von Schülerinnen und Schülern © KESS 4

Warum Standards und Tests Warum Standards und Tests? HH: Anteile der Hauptschulabsolventen ohne Abschluss Prozent Maritzen 09/2005 BBS Hamburg Schulen (N= 57)

Warum Standards und Tests Warum Standards und Tests? Leistungsentwicklung nach Schulen in Mathematik (LAU 9/11) Maritzen 09/2005 BBS Hamburg H/R Gesamtschulen Gymnasien

Warum Standards und Tests Warum Standards und Tests? Mittlere Mathematikleistungen in PISA 2000E von Gymnasiasten der 9. Jahrgangsstufe mit einer Mathematiknote von 1 oder 2 nach Schulen Maritzen 09/2005 BBS Hamburg

Warum Standards und Tests Warum Standards und Tests? Mittlere Mathematikleistungen in PISA 2000E von Gymnasiasten der 9. Jahrgangsstufe mit einer Mathematiknote von 1 oder 2 nach Schulen Maritzen 09/2005 BBS Hamburg

Warum Standards und Tests? Testleistung in Bezug zu Noten Maritzen 09/2005 BBS Hamburg PISA 2000 E

Sind das keine Probleme der Schulentwicklung??? Lokalisierbarer !!! Problemstau Erreichung von Mindeststandards Vergleichbarkeit von Abschlüssen Bezugsnormen bei Leistungsbeurteilungen Verteilungsgerechtigkeit bei der Berechtigungsvergabe Chancengleichheit bei der Bildungsbeteiligung extrem heterogene Ausgangslagen der Schulen Streuung zwischen sehr günstigen und ungünstigen Standortentwicklungen trotz vergleichbarer Ausgangslagen Maritzen 09/2005 BBS Hamburg Sind das keine Probleme der Schulentwicklung???

Übersicht Schritt 1 Schritt 2 Schritt 3 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen Maritzen 09/2005 BBS Hamburg

„Tests“ – Versuch einer Ordnung der Landschaft 1 1. Schulleistungsuntersuchungen - Stichprobe vs. Fläche - Querschnitt vs. Längsschnitt - mit/ohne Berücksichtigung der Lernausgangslage - mit/ohne Ergebnisrückmeldung an Lehrkraft, Schulleitung, Schul- aufsicht Maritzen 09/2005 BBS Hamburg

„Tests“ – Versuch einer Ordnung der Landschaft 2 2. „Vergleichsarbeiten“ - zentral vs. dezentral gestellte Aufgaben - standardisiert/nicht standardisiert - zentrale vs. dezentrale Auswertung - mit/ohne Zusammenhang zum Berechtigungswesen - Ergebniskenntnis bei Lehrkräften, ggf. Schulleitung, Schulaufsicht Maritzen 09/2005 BBS Hamburg

„Tests“ – Versuch einer Ordnung der Landschaft 3 3. Pädagogische Diagnostik - dezentral, von Lehrkräften und anderen Professionen administriert und ausgewertet - i. d. R. standardisiert - Ergebniskenntnis bei Lehrkräften, ggf. Schulleitung, Schulaufsicht - ggf. Rückmeldung der Ergebnisse an die getestete Person Maritzen 09/2005 BBS Hamburg

„Tests“ – Funktionsvielfalt Generierung von Steuerungswissen Schulevaluation Vergleiche zwischen Gruppen Überprüfung der Standard-erreichung Vergabe von Abschlüssen oder Zugangsberechtigungen öffentliches Ranking Impulse zur Unterrichtsentwick-lung: professionelle Verständigung über Anforderungen und Aufgaben individuelle Förderung Schul- leistungs- unter- suchung „Vergleichsarbeit“ diagnost. Test Maritzen 09/2005 BBS Hamburg

Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ aggregierte Maße für Mittelwerte und Streuungen extern verantwortete Veranstaltungen mit geringer praktischer Anschlussfähigkeit „Time-lag“ zwischen Anwendung und Berichterstattung Standards und Tests müssen/können zeitnah auf den konkreten Unterricht, auf seine Voraussetzungen, Bedingungen und Ergebnisse bezogen werden. Standards und Tests müssen/können die lerndiagnostische Kompetenz der Lehrkräfte unterstützen und erweitern. Standards und Tests müssen/können die didaktische Phantasie konkret anregen. Maritzen 09/2005 BBS Hamburg

„Vergleichsarbeiten“ Vergleichsarbeiten unterscheiden sich von Schulleistungsstudien (z.B. PISA) durch flächendeckende Einbeziehung der Schulen (nicht nur Stichprobe) die enge Bindung an Standards einheitliche Aufgabensätze für Lerngruppen (kein „Multimatrix-Sampling“) die Konzentration auf ausgewählte Teilleistungsbereiche der Fächer eine Korrektur/Auswertung durch Lehrkräfte das Angebot von empirisch abgesicherten Referenzwerten zu Aufgabenschwierigkeiten und Schülerleistungen (ermöglicht faire Vergleiche) die systematische Einbindung in einen schulischen Entwicklungsprozess Maritzen 09/2005 BBS Hamburg

„Vergleichsarbeiten“: Anforderungen an die Aufgabenentwicklung Orientierung der Aufgaben an Lehrplänen und den Bildungsstandards der KMK Akzentsetzungen auf ausgewählte Teilleistungs- bzw. Kompetenzbereiche Unterrichtsnähe Balance zwischen begrenzten und komplexen Anforderungen Anforderungsprofile und Orientierungen zur Beurteilung Berücksichtigung diagnostischer Perspektiven Auswertbarkeit in den Schulen Maritzen 09/2005 BBS Hamburg

„Vergleichsarbeiten“: Anforderungen an die Aufgabenentwicklung     Ermittlung und Beschreibung schwierigkeits-bestimmender Merkmale von Aufgaben: Kontext, Textlänge, sprachliche Komplexität, Anzahl und Verknüpfung der Lösungsschritte, Anzahl zu verarbeitender „Größen“, Schwierigkeit der zu beweisenden Kompetenz, Antwortformat, eine/mehrere Lösungen...) systematische Variation von Schwierigkeits-merkmalen Kontextualisierung vs. Dekontextualisierung Maritzen 09/2005 BBS Hamburg

„Vergleichsarbeiten“: externes Feedback und interne Reflexion von Schülerleistungen Analyse von Lösungshäufigkeiten der einzelnen Aufgaben: Beschreibung von Kompetenzprofilen der Klassen Ergebnisdarstellung in Form von Kompetenzstufen: inhaltliche Beschreibung von Lernständen Vergleich der Ergebnisse von parallelen Klassen Vergleich der Ergebnisse mit schulübergreifenden Referenzwerten systematische Fehleranalysen Maritzen 09/2005 BBS Hamburg

Perspektiven der Ergebnisdarstellung (Lösungshäufigkeiten)   Maritzen 09/2005 BBS Hamburg

Perspektiven der Ergebnisdarstellung (Kompetenzstufen)   Maritzen 09/2005 BBS Hamburg

Perspektiven der Ergebnisdarstellung (Fehlermuster)   Maritzen 09/2005 BBS Hamburg

Testergebnisse: Ansatzpunkte für Diagnostik Professionelle diagnostische Verfahren Analyse Vergleiche Interpretation Bezug auf Teilbereiche   Lernvoraus-setzungen: individuell, Gruppen Koppelung an individuelle Fördermaßnahmen Verknüpfung mit Beobachtungen von Lernentwicklungen und Prozessen Maritzen 09/2005 BBS Hamburg

differenziertere Wahrnehmung von Schülerleistungen in vergleichender Perspektive   Bezugsgruppen-/ Normorientierung Kriterienorientierung (zunächst auf einer vorläufigen Basis) Klasse/Kurs Parallelklassen vergleichbare Schulen landesweite Orientierung fachliche und fachdidaktische Kriterien empirisch geklärte Schwierigkeitsgrade Zuordnung zu Kompetenzstufen

Einzelschule: Ansatzpunkte und Instrumente Voraus-setzungen Prozesse Ergebnisse Ausgangs- kompetenzen der Schüler diagnostische Tests Unterstützung kumulativer Lernprozesse Unterrichts-feedback Schülerleistungen gemessen an Kriterien kompetenzorien- tierte Klassen- arbeiten Unterricht 1 2 3 schulinternes Curriculum Absprachen zu Standards im Unterricht Unterrichtspla- nung u. Diagnostik Auswertung von Vergleichs- arbeiten Leistungen von Parallelklassen standardisierte Vergleichs- arbeiten Fachgruppe 4 5 6 Analyse schulspezifischer Ausgangslagen Befragungen Rückkopplung von Daten an Interne/Externe jährlicher Bericht mit Kennzahlen Entwicklung der Schülerleistungen/ Vergleichsgruppen Monitoring von Leistungsdaten Maritzen 09/2005 BBS Hamburg Schulleitung 7 8 9

Einzelschule: Absprachen zu Standards Thema: Jahrgangsstufe: Fach: Erkenntnis-gewinnung Anwendung Kommuni-kation Bewerten Alltags-wissen Fachwissen prakt-techn. Wissen Metawissen Gewässeruntersuchung 6 NW Tun Wissen In der Tageszeitung forschen, welche Bedeutung ein Gewässer für die Gemeinde hat Untersuchen, wie sich Wasser bei verschiedenen Temperaturen verhält Die Bedeutung eines Gewässers für die Gemeinde diskutieren Mit den Sinnen entscheiden, ob man in einem Gewässer baden kann Lebewesen am Gewässer beobachten Den Wasserkreis-lauf anhand verschiedener Experimente nachvollziehen Den Wasserkreislauf als Puzzle rekonstruieren Biologische Gewässergüte beurteilen Mit einem Untersuchungs-koffer Wasser analysieren Als Experte einem Mitschüler eine Untersuchungs-methode erläutern Bestimmungs-schlüssel für Pflanzen anwenden Die Eignung eines Messverfahrens einschätzen Nachforschen, wie Angler das Gewässer beurteilen Vorschläge für eine Uferbepflanzung machen Als Experte einem Mitschüler eine Untersuchungs-methode erläutern Die Sinnesprüfung u. die naturwiss. Untersuchung als Alternativen vergleichen © Udo Klinger 2005

Übersicht Schritt 1 Schritt 2 Schritt 3 Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen Schritt 2 Tests – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen Prinzipien Maritzen 09/2005 BBS Hamburg

Einige Voraussetzungen: Schule schulinternes Monitoring von „Daten“ zu Leistungsentwicklungen, Abschlüssen, Schullaufbahnabbrüchen usw. datenbasierte Planungs- u. Entscheidungs-verläufe als Grundlage für Schulprogramme Bildung von „learning communities“ z. B. zum didaktischen Training u. Coaching oder für Maßnahmen der Unterrichtsevaluation „Fachleiter/-innen“ mit Kompetenz schulinterne Qualifizierung „instructional leadership“ Maritzen 09/2005 BBS Hamburg

Einige Voraussetzungen: System Orientierungsrahmen „Schulqualität“ auf Dauer gestelltes Feedback Tools mit Verfahren / Instrumenten diagnostischer und didaktischer Support verbindliche Rechenschaftslegung und Transparenz technische Infrastrukturen früh einsetzende Fördersysteme Intervention in schulische Zeitstrukturen Maritzen 09/2005 BBS Hamburg

Risiken und Nebenwirkungen Risiko des Wissens Unterschätzung des Zeitbedarfs und der systemischen Zusammenhänge Technologieüberschuss auf der Steuerungsebene vs. Technologie„defizit“ auf der Ebene des pädagogischen Handelns Transparenz von Ergebnissen, für deren Zustandekommen nur uneindeutige Praktiken zur Verfügung stehen Verschärfung des Selektionssystems Nachahmung von vermeintlich „Erfolgreichen“ Maritzen 09/2005 BBS Hamburg

Ende Maritzen 09/2005 BBS Hamburg