Standards und Tests - Teufelswerkzeug oder Wunderwaffe für die Schul- und Unterrichtsentwicklung? Vortrag an der Universität Graz am 22. September 2005.

Präsentation zum Thema: "Standards und Tests - Teufelswerkzeug oder Wunderwaffe für die Schul- und Unterrichtsentwicklung? Vortrag an der Universität Graz am 22. September 2005."—  Präsentation transkript:

1 Standards und Tests - Teufelswerkzeug oder Wunderwaffe für die Schul- und Unterrichtsentwicklung? Vortrag an der Universität Graz am 22. September 2005 Maritzen 09/2005 BBS Hamburg

2 Übersicht Schritt 1 Schritt 2 Schritt 3
Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen Maritzen 09/2005 BBS Hamburg

3 Übersicht Schritt 1 Schritt 2 Schritt 3
Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen Maritzen 09/2005 BBS Hamburg

4 Signaturen des Krisengeredes
„PISA“ – Symptom für eine tiefgreifende Aufmerksamkeitsverschiebung „Krise“: Erfindung, um über Alarm-szenarien Geld zu akquirieren, Politik in Gang zu setzen, Erlösungsversprechen abzugeben, Legitimationsnotstände zu kaschieren Traditionslosigkeit der Evaluation: Ambivalenz von Heilserwartung („finnische Verhältnisse“) und Untergangsszenarien („amerikanische Verhältnisse“) kaum empirische „Erdung“ der Schul- und Unterrichtsentwicklung Maritzen 09/2005 BBS Hamburg

5 Perspektive eines Systemverantwortlichen
Hamburg: Stadtstaat mit knapp 2 Mio Einwohnern; ca. 460 staatliche Schulen hohe Bildungsinvestitionen bei einbrechenden Steuereinnahmen 19,5 % Schüler/-innen mit nicht deutscher Staatsangehörigkeit, mehr als 30% mit Migrations-hintergrund mehr als 90 gesprochene Sprachen seit Mitte der 90er Jahre Erfahrung mit flächendeckenden Schulentwicklungprogrammen und Schulleistungsuntersuchungen im Längsschnitt Einführung verbindlicher testbasierter Vergleichsarbeiten in Klasse 3, 6 und 8 zentrale Abschlussprüfungen in Klasse 9 bzw. 10 Maritzen 09/2005 BBS Hamburg

6 Stellung der Schule zu Schulerfolg und Schulversagen nach Auskunft der Lehrkräfte in einigen Ländern der Bundesrepublik Deutschland Gute schulische Leistungen werden an unserer Schule öffentlich hervorgehoben Misserfolge von Schülern werden an unserer Schule den Lehrern angelastet Schulversagen wird bei uns als Problem der Schule und weniger des Schülers gesehen 10 20 30 40 50 60 70 80 BB DEU BY HE BW HH NW HB Schüler in Prozent Maritzen 09/2005 BBS Hamburg Die Angaben stammen aus dem Lehrerfragebogen. Die Daten für Hamburg basieren auf der Erhebung im Rahmen von KESS 4 aus dem Jahr 2003. IEA: Progress in International Reading Literacy Study © IGLU-Germany

7 Hauptschule Realschule Gesamtschule Gymnasium Gesamtschule
Schullaufbahnenempfehlungen von Lehrkräften für Hamburg differenziert nach Lesekompetenz in Prozent – Gesamtskala Lesen 25 Hauptschule Realschule Gesamtschule Gymnasium Gesamtschule 20 15 Prozent 10 5 Maritzen 09/2005 BBS Hamburg 25 50 75 100 125 150 175 200 Universität Hamburg: Kompetenzen und Einstellungen von Schülerinnen und Schülern © KESS 4

8 Warum Standards und Tests
Warum Standards und Tests? HH: Anteile der Hauptschulabsolventen ohne Abschluss Prozent Maritzen 09/2005 BBS Hamburg Schulen (N= 57)

9 Warum Standards und Tests
Warum Standards und Tests? Leistungsentwicklung nach Schulen in Mathematik (LAU 9/11) Maritzen 09/2005 BBS Hamburg H/R Gesamtschulen Gymnasien

10 Warum Standards und Tests
Warum Standards und Tests? Mittlere Mathematikleistungen in PISA 2000E von Gymnasiasten der 9. Jahrgangsstufe mit einer Mathematiknote von 1 oder 2 nach Schulen Maritzen 09/2005 BBS Hamburg

11 Warum Standards und Tests
Warum Standards und Tests? Mittlere Mathematikleistungen in PISA 2000E von Gymnasiasten der 9. Jahrgangsstufe mit einer Mathematiknote von 1 oder 2 nach Schulen Maritzen 09/2005 BBS Hamburg

12 Warum Standards und Tests? Testleistung in Bezug zu Noten
Maritzen 09/2005 BBS Hamburg PISA 2000 E

13 Sind das keine Probleme der Schulentwicklung???
Lokalisierbarer !!! Problemstau Erreichung von Mindeststandards Vergleichbarkeit von Abschlüssen Bezugsnormen bei Leistungsbeurteilungen Verteilungsgerechtigkeit bei der Berechtigungsvergabe Chancengleichheit bei der Bildungsbeteiligung extrem heterogene Ausgangslagen der Schulen Streuung zwischen sehr günstigen und ungünstigen Standortentwicklungen trotz vergleichbarer Ausgangslagen Maritzen 09/2005 BBS Hamburg Sind das keine Probleme der Schulentwicklung???

14 Übersicht Schritt 1 Schritt 2 Schritt 3
Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen Schritt 2 „Tests“ – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen Maritzen 09/2005 BBS Hamburg

15 „Tests“ – Versuch einer Ordnung der Landschaft 1
1. Schulleistungsuntersuchungen - Stichprobe vs. Fläche - Querschnitt vs. Längsschnitt - mit/ohne Berücksichtigung der Lernausgangslage - mit/ohne Ergebnisrückmeldung an Lehrkraft, Schulleitung, Schul- aufsicht Maritzen 09/2005 BBS Hamburg

16 „Tests“ – Versuch einer Ordnung der Landschaft 2
2. „Vergleichsarbeiten“ - zentral vs. dezentral gestellte Aufgaben - standardisiert/nicht standardisiert - zentrale vs. dezentrale Auswertung - mit/ohne Zusammenhang zum Berechtigungswesen - Ergebniskenntnis bei Lehrkräften, ggf. Schulleitung, Schulaufsicht Maritzen 09/2005 BBS Hamburg

17 „Tests“ – Versuch einer Ordnung der Landschaft 3
3. Pädagogische Diagnostik - dezentral, von Lehrkräften und anderen Professionen administriert und ausgewertet - i. d. R. standardisiert - Ergebniskenntnis bei Lehrkräften, ggf. Schulleitung, Schulaufsicht - ggf. Rückmeldung der Ergebnisse an die getestete Person Maritzen 09/2005 BBS Hamburg

18 „Tests“ – Funktionsvielfalt
Generierung von Steuerungswissen Schulevaluation Vergleiche zwischen Gruppen Überprüfung der Standard-erreichung Vergabe von Abschlüssen oder Zugangsberechtigungen öffentliches Ranking Impulse zur Unterrichtsentwick-lung: professionelle Verständigung über Anforderungen und Aufgaben individuelle Förderung Schul- leistungs- unter- suchung „Vergleichsarbeit“ diagnost. Test Maritzen 09/2005 BBS Hamburg

19 Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“
aggregierte Maße für Mittelwerte und Streuungen extern verantwortete Veranstaltungen mit geringer praktischer Anschlussfähigkeit „Time-lag“ zwischen Anwendung und Berichterstattung Standards und Tests müssen/können zeitnah auf den konkreten Unterricht, auf seine Voraussetzungen, Bedingungen und Ergebnisse bezogen werden. Standards und Tests müssen/können die lerndiagnostische Kompetenz der Lehrkräfte unterstützen und erweitern. Standards und Tests müssen/können die didaktische Phantasie konkret anregen. Maritzen 09/2005 BBS Hamburg

20 „Vergleichsarbeiten“
Vergleichsarbeiten unterscheiden sich von Schulleistungsstudien (z.B. PISA) durch flächendeckende Einbeziehung der Schulen (nicht nur Stichprobe) die enge Bindung an Standards einheitliche Aufgabensätze für Lerngruppen (kein „Multimatrix-Sampling“) die Konzentration auf ausgewählte Teilleistungsbereiche der Fächer eine Korrektur/Auswertung durch Lehrkräfte das Angebot von empirisch abgesicherten Referenzwerten zu Aufgabenschwierigkeiten und Schülerleistungen (ermöglicht faire Vergleiche) die systematische Einbindung in einen schulischen Entwicklungsprozess Maritzen 09/2005 BBS Hamburg

21 „Vergleichsarbeiten“: Anforderungen an die Aufgabenentwicklung
Orientierung der Aufgaben an Lehrplänen und den Bildungsstandards der KMK Akzentsetzungen auf ausgewählte Teilleistungs- bzw. Kompetenzbereiche Unterrichtsnähe Balance zwischen begrenzten und komplexen Anforderungen Anforderungsprofile und Orientierungen zur Beurteilung Berücksichtigung diagnostischer Perspektiven Auswertbarkeit in den Schulen Maritzen 09/2005 BBS Hamburg

22 „Vergleichsarbeiten“: Anforderungen an die Aufgabenentwicklung
Ermittlung und Beschreibung schwierigkeits-bestimmender Merkmale von Aufgaben: Kontext, Textlänge, sprachliche Komplexität, Anzahl und Verknüpfung der Lösungsschritte, Anzahl zu verarbeitender „Größen“, Schwierigkeit der zu beweisenden Kompetenz, Antwortformat, eine/mehrere Lösungen...) systematische Variation von Schwierigkeits-merkmalen Kontextualisierung vs. Dekontextualisierung Maritzen 09/2005 BBS Hamburg

23 „Vergleichsarbeiten“: externes Feedback und interne Reflexion von Schülerleistungen
Analyse von Lösungshäufigkeiten der einzelnen Aufgaben: Beschreibung von Kompetenzprofilen der Klassen Ergebnisdarstellung in Form von Kompetenzstufen: inhaltliche Beschreibung von Lernständen Vergleich der Ergebnisse von parallelen Klassen Vergleich der Ergebnisse mit schulübergreifenden Referenzwerten systematische Fehleranalysen Maritzen 09/2005 BBS Hamburg

24 Perspektiven der Ergebnisdarstellung (Lösungshäufigkeiten)
Maritzen 09/2005 BBS Hamburg

25 Perspektiven der Ergebnisdarstellung (Kompetenzstufen)
Maritzen 09/2005 BBS Hamburg

26 Perspektiven der Ergebnisdarstellung (Fehlermuster)
Maritzen 09/2005 BBS Hamburg

27 Testergebnisse: Ansatzpunkte für Diagnostik
Professionelle diagnostische Verfahren Analyse Vergleiche Interpretation Bezug auf Teilbereiche Lernvoraus-setzungen: individuell, Gruppen Koppelung an individuelle Fördermaßnahmen Verknüpfung mit Beobachtungen von Lernentwicklungen und Prozessen Maritzen 09/2005 BBS Hamburg

28 differenziertere Wahrnehmung von Schülerleistungen in vergleichender Perspektive
Bezugsgruppen-/ Normorientierung Kriterienorientierung (zunächst auf einer vorläufigen Basis) Klasse/Kurs Parallelklassen vergleichbare Schulen landesweite Orientierung fachliche und fachdidaktische Kriterien empirisch geklärte Schwierigkeitsgrade Zuordnung zu Kompetenzstufen

29 Einzelschule: Ansatzpunkte und Instrumente
Voraus-setzungen Prozesse Ergebnisse Ausgangs- kompetenzen der Schüler diagnostische Tests Unterstützung kumulativer Lernprozesse Unterrichts-feedback Schülerleistungen gemessen an Kriterien kompetenzorien- tierte Klassen- arbeiten Unterricht 1 2 3 schulinternes Curriculum Absprachen zu Standards im Unterricht Unterrichtspla- nung u. Diagnostik Auswertung von Vergleichs- arbeiten Leistungen von Parallelklassen standardisierte Vergleichs- arbeiten Fachgruppe 4 5 6 Analyse schulspezifischer Ausgangslagen Befragungen Rückkopplung von Daten an Interne/Externe jährlicher Bericht mit Kennzahlen Entwicklung der Schülerleistungen/ Vergleichsgruppen Monitoring von Leistungsdaten Maritzen 09/2005 BBS Hamburg Schulleitung 7 8 9

30 Einzelschule: Absprachen zu Standards
Thema: Jahrgangsstufe: Fach: Erkenntnis-gewinnung Anwendung Kommuni-kation Bewerten Alltags-wissen Fachwissen prakt-techn. Wissen Metawissen Gewässeruntersuchung 6 NW Tun Wissen In der Tageszeitung forschen, welche Bedeutung ein Gewässer für die Gemeinde hat Untersuchen, wie sich Wasser bei verschiedenen Temperaturen verhält Die Bedeutung eines Gewässers für die Gemeinde diskutieren Mit den Sinnen entscheiden, ob man in einem Gewässer baden kann Lebewesen am Gewässer beobachten Den Wasserkreis-lauf anhand verschiedener Experimente nachvollziehen Den Wasserkreislauf als Puzzle rekonstruieren Biologische Gewässergüte beurteilen Mit einem Untersuchungs-koffer Wasser analysieren Als Experte einem Mitschüler eine Untersuchungs-methode erläutern Bestimmungs-schlüssel für Pflanzen anwenden Die Eignung eines Messverfahrens einschätzen Nachforschen, wie Angler das Gewässer beurteilen Vorschläge für eine Uferbepflanzung machen Als Experte einem Mitschüler eine Untersuchungs-methode erläutern Die Sinnesprüfung u. die naturwiss. Untersuchung als Alternativen vergleichen © Udo Klinger 2005

31 Übersicht Schritt 1 Schritt 2 Schritt 3
Standards – Tests: Signaturen eines Krisengeredes Perspektive eines Systemverantwortlichen Warum Standards und Tests? Befunde und Problemlagen Schritt 2 Tests – Versuch einer Ordnung der Landschaft Erklärungsabstand zwischen „PISA“ und „meinem Unterricht“ „Vergleichsarbeiten“: Diagnostik – Feedback – Reflexion - Unterrichtsentwicklung Schritt 3 Voraussetzungen: Schule und System Risiken und Nebenwirkungen Prinzipien Maritzen 09/2005 BBS Hamburg

32 Einige Voraussetzungen: Schule
schulinternes Monitoring von „Daten“ zu Leistungsentwicklungen, Abschlüssen, Schullaufbahnabbrüchen usw. datenbasierte Planungs- u. Entscheidungs-verläufe als Grundlage für Schulprogramme Bildung von „learning communities“ z. B. zum didaktischen Training u. Coaching oder für Maßnahmen der Unterrichtsevaluation „Fachleiter/-innen“ mit Kompetenz schulinterne Qualifizierung „instructional leadership“ Maritzen 09/2005 BBS Hamburg

33 Einige Voraussetzungen: System
Orientierungsrahmen „Schulqualität“ auf Dauer gestelltes Feedback Tools mit Verfahren / Instrumenten diagnostischer und didaktischer Support verbindliche Rechenschaftslegung und Transparenz technische Infrastrukturen früh einsetzende Fördersysteme Intervention in schulische Zeitstrukturen Maritzen 09/2005 BBS Hamburg

34 Risiken und Nebenwirkungen
Risiko des Wissens Unterschätzung des Zeitbedarfs und der systemischen Zusammenhänge Technologieüberschuss auf der Steuerungsebene vs. Technologie„defizit“ auf der Ebene des pädagogischen Handelns Transparenz von Ergebnissen, für deren Zustandekommen nur uneindeutige Praktiken zur Verfügung stehen Verschärfung des Selektionssystems Nachahmung von vermeintlich „Erfolgreichen“ Maritzen 09/2005 BBS Hamburg

35 Ende Maritzen 09/2005 BBS Hamburg