Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller Rückmeldung am Beispiel des Oberstufen-Kollegs Bielefeld

Inhalt (1) Hintergrundinformationen Besonderheiten des Oberstufen-Kollegs Bielefeld Untersuchung zu den Aspekten der Lernausgangslage und der Lernentwicklung (LAU) – Anlage und Durchführung Notwendige Rahmenbedingungen & Voraussetzungen für Large-Scale-Assesments (LSA) an einer Einzelschule

Inhalt (2) LAU am OS Möglichkeiten und Grenzen der Datenauswertung institutionelle Rückmeldungen individuelle Schülerrückmeldungen (3) Zusammenfassung und Bewertung (4) Implikationen für die sich anschließende KESS- Erhebung, oder: was haben wir gelernt?

(1) Hintergrundinformationen: Besonderheiten des Oberstufen-Kollegs Bielefeld I Versuchsschule des Landes Nordrhein-Westfalen seit 1974 Wissenschaftliche Einrichtung Oberstufen-Kolleg (an der Fakultät für Erziehungswissenschaft der Universität Bielefeld) bis 2002 vierjährig, Anlehnung an das US-amerikanische College- Modell (Teile des Grundstudiums während der Ausbildung) ab 2002 Veränderung zur dreijährigen Reformoberstufe Abschluss: Allgemeine Hochschulreife (Abitur)

(1) Hintergrundinformationen: Besonderheiten des Oberstufen-Kollegs Bielefeld II seit 2008 Teilnahme am Zentralabitur in den Studienfächern besondere Bedingungen: - eigene Ausbildungs- und Prüfungsordnung - Aufnahme von KollegiatInnen ohne Qualifikationsvermerk - eigenes Curriculum

Beispiel: Deutschausbildung am OS Basiskurse* für alle KollegiatInnen 4 Std. Studienfachkurse in Deutsch 6 Std. Eingangstest in Deutsch, Mathematik und Englisch oder Aufgrund der Ergebnisse: Zuweisung von Brückenkursen Brückenkurse für einige KollegiatInnen 2 Std. Deutsch als Querschnittsaufgabe Sequenz in Literatur verpflichtend (8 Std.) vor Beginn Jahrgang 11 Jahrgang 12 Jahrgang 13 Beginn der Ausbildung Abschluss der Ausbildung *sofern als 1. oder 2. Studienfach Deutsch gewählt wurde, wird dieser Kurs ab dem zweiten Semester zusätzlich zu den Basiskursen belegt (6 Std.)

(1) Hintergrundinformationen: LAU – Anlage und Durchführung I bundeslandspezifische Schulleistungsstudie (Hamburg) Funktion: Bildungssystem-Monitoring Erhebungszeitraum: 1996 (LAU 5) bis 2005 (LAU13) im Abstand von 2 Schuljahren (5,7,9,11,13) Erhebungsform: flächendeckend, längsschnittlich

(1) Hintergrundinformationen: LAU – Anlage und Durchführung II Testbereiche: Deutsch (Wissen zur Texterschließung/Leseverstehen/ Textproduktion/Rechtschreibung / Fehlersuche/Lesegeschwindigkeit), Mathe, 1. Fremdsprache Kontextvariablen: schul- und unterrichtsbezogene Einstellungen (Schülerfragebögen) Rückmeldeform: Klassenbezogene Schulrückmeldung in absoluten Zahlen

Abbildung: Bsp. einer klassenbezogenen Rückmeldung aus LAU 7 (Quelle: Weinert, F. E. (2002) Leistungsmessungen in Schulen.

(1) Hintergrundinformationen: LAU – Anlage und Durchführung III LAU am OS: Anstoß und Erwartungen - Anstoß zur Kooperation mit dem LI in HH: durch externe Evaluation des OS (Peer-Review) und des Projektes: Basiskompetenzen im Deutschen - Kritik an der Konzeption des Projekts - vorgeschlagenes „Curriculum“ sei zu kleinschrittig - Niveau sei nicht angemessen - interne Nachweise von Lernerfolgen wurden als nicht ausreichend beurteilt Erwartung des OS an die Vergleichsuntersuchung: Nutzung der Untersuchungsergebnisse für die Schulentwicklung des OS MARION

(1) Hintergrundinformationen: LAU – Anlage und Durchführung IV Erwartungen und Ziele Nutzung der Untersuchungsergebnisse für die inhaltliche Kurskonzeption der Basis- und Brückenkurse Deutsch Instrumentenvergleich: Eingangsdiagnose (internes Instrument) vs. LAU (externes Instrument) Ergebnisse für die Entwicklung der Einrichtung nutzbar machen (institutionelle & individuelle Rückmeldung) Nutzung der Untersuchungsergebnisse für die Kollegiat/innen in Form individueller Ergebnisrückmeldungen  Darstellung der individuellen Lernausgangslage und Lernentwicklung (in anonymisierter Form)

(1) Hintergrundinformationen: LAU – Anlage und Durchführung V Beantwortung der Fragen zur: (Individuellen) Lernentwicklung während der Kursphase Nachhaltigkeit der Lernzuwächse bis zum Ausbildungsabschluss Lernausgangslage (Benchmark mit Hamburg) - Welchen Einfluss hat die Zusammensetzung der Schülerschaft auf die Ergebnisse?

(1) Hintergrundinformationen: LAU – Anlage und Durchführung VI LAU am OS - Schritte Grundlegend: Kooperation mit LI in Hamburg (Kooperationsvertrag) / „Kooperation auf Augenhöhe“ Adaptation der Instrumente (Itemauswahl z.B. in Hinblick auf curriculare Aspekte) Fort- und Weiterbildung von Teammitgliedern (z.B. Testleiterschulungen, Auswertungsmethoden) Durchführung der Erhebungen am OS (vgl. Design) regelmäßige Treffen zwischen LI und OS (Austausch, externe Auswertung durch das LI bzw. HU Berlin) Verknüpfung der Leistungsdaten mit Hintergrundvariablen Rückmeldungen auf individueller und institutioneller Ebene MARION 1.Kooperation auf Augenhöhe: Einrichtung einer gemeinsamen Leitung zwischen OSK und Landesinstitut für Schulentwicklung und Lehrerbildung (HH). Dazu wurde ein Vertragstext entwickelt und juristisch abgesichert, der garantiert, dass keine Gefälle in der Entscheidungskompetenz zwischen den beteiligten Organisationen entsteht. 2. Adaptation: 3. Testleisterschulung und Fobis: Die Lehrpersonen und die Mitglieder des Teams der wissenschafltichen Leitung erhalten Fortbildungen, bei denen die Erhebungsprozesse standardisiert werden (Testleiterschulungen) und die Auswertungsprozesse (z.B. Textproduktion) sowie statistische Analysen (z.B. Raschskalierung) nachvollzogen werden können. 5. Auswertung: Datensätze gehen an Bielefeld, Verknüpfung mit Hintergrundvariablen und Veröffentlichung der Daten nur durch Bielefeld 6. Kontextvariablen: Verknüpfung von Leistungsdaten mit sozialen und kulturellen Hintergrundmerkmalen 7.Rückmeldung auf individueller und institutioneller Ebene: Verfahren der doppelten Anonymisierung; Kennnummer die keine Rückschlüsse über die Person zulässt und Codewort zur Selbstidentifikation (ad hoc rekonstruierbar). Rückmeldung in Form eines Booklets. Momentaufnahmen der Fähigkeiten in der speziellen Testsituation. Nicht prognositsch nutzbar (zu geringe Itemananzahl), konstruiert für institutionelle Untersuchung, daher teststatistisch vglw. Geringe Anforderungen.Rückmeldung in Form der relativen Stellung der Person (eigene Ergebnisse) im Vergleich mit dem Gruppendurchschnitt bei der Erhebung. (Schritt von der Large Scale Untersuchung zur Schulevaluation und Schulentwicklung). Institutionelle Rückmeldung: Einordnung der Bielefelder Ergebnisse in Kooperation mit Hamburg (Erfahrung im Umgang mit diesen Daten, sinnvolle Interpretation der Daten).

Untersuchungsdesign LAU Testzeitpunkte der Jahrgänge Aug/2006 März/2007 März/2009 Sept/2007 Feb/2008 Feb/2010 13.2 13.2 LAU 13 (2005) 13.1 13.1 12.2 12.2 12.1 12.1 Schulhalbjahre Schulhalbjahre 11.2 11.2 11.1 11.1 LAU 11 (2002) Legende: = Aufnahmejahrgang 2006 = Aufnahmejahrgang 2007

(1) Hintergrundinformationen: Notwendige Voraussetzungen für LSA an Einzelschulen I die pädagogische Arbeit und die damit verbundenen Ziele der Schule müssen berücksichtigt werden Einbringen individueller Fragen der Einzelschule es müssen wiederholte Messungen stattfinden es muss eine ausreichend große Stichprobe getestet werden ggfs. Adaptation der Instrumente an die Einrichtung MARION

(1) Hintergrundinformationen: Notwendige Voraussetzungen für LSA an Einzelschulen II schulübergreifende Kooperation: Instrumente müssen verfügbar gemacht werden und externe Auswertung der Daten muss gesichert sein Schulungen & Fortbildungen zur Testdurchführung und Datenauswertung Rückmeldungen (institutionell & individuell) als Grundlage für Veränderungsprozesse (z.B. zur inneren Differenzierung (institutionell) oder für Beratungs- und Unterstützungsangebote (individuell)) Kontextmerkmale mit einbeziehen („fairer Vergleich“) MARION

(2) LAU am OS: Möglichkeiten und Grenzen der Datenauswertung I Beispiel Textproduktion: subjektiv erfasste Schwierigkeiten: - Übungseffekte durch wiederholten Einsatz der gleichen Aufgabe (Beschwerdebrief) - Konkretheit der Aufgabenstellung hat Einfluss auf qualitative und quantitative Aspekte der Textproduktion - es entstand der Eindruck, dass oftmals das Leistungspotential nicht ganz ausgeschöpft wurde (so konnten bspw. kaum Prozeduren der Selbstkorrektur beobachtet werden) - Faktoren der Testmotivation beeinflussen die Ergebnisse Datenauswertung: - Skalierungsschwierigkeiten aufgrund der Stichprobengröße

(2) LAU am OS: Institutionelle Rückmeldung I die institutionelle Rückmeldung der Leistungsdaten, die auf Grundlage von Large- Scale- Instrumenten erhoben wurden, können folgendermaßen genutzt werden: inhaltliche Weiterentwicklung des Unterrichts (hier: der Basis- und Brückenkurse Deutsch) Schwächen und Stärken aufzeigen, Bedarfe ermitteln Benchmark („Außenvergleich“)

(2) LAU am OS: Institutionelle Rückmeldung II Selbstvergewisserung (durch den Benchmark mit HH) Nachweis von Leistungszuwächsen Schülerschaft genauer beschreiben Nachhaltigkeit der Lernergebnisse prüfen GABY

(2) LAU am OS: Individuelle Rückmeldung I die individuelle Rückmeldung von Leistungsdaten auf Schülerebene, die auf Grundlage von Large- Scale- Instrumenten erhoben wurden, wird derzeit kritisch diskutiert Vertreter sprechen sich für die Nutzung dieser Daten auch auf individueller Ebene aus, sofern diese Daten von weiteren Erhebungen (z.B. schulinterne Instrumente, Noten, Schülerbeobachtungen) flankiert werden Gegner der Nutzung dieser Daten für die individuelle Rückmeldung betonen, dass für formatives Assessment andere Erhebungsformate notwendig sind (z. B. höhere Reliabilität durch höhere Itemanzahl)

(2) LAU am OS: Individuelle Rückmeldung II Prinzipiell sollte die Impulsgebung für die Instrumentenauswahl immer die Funktionalität des Instrumentes und der diagnostische Ansatz sein („Was will ich wissen?“; „Was ist das Ziel?“) Aber: „Nebenprodukte“ können und sollen genutzt werden, auch wenn diese messfehlerbehaftet sind

(2) LAU am OS: Individuelle Rückmeldung III Ziele: Transparenz für die Kollegiat/innen schaffen Individuelle Ergebnisrückmeldung als Unterstützung bei der Planung weiterer Ausbildungsschritte (Verknüpfung von Diagnostik und Förderung) Rückmeldung sollte abgekoppelt von den schulischen Lernprozessen erfolgen Rückmeldung sollte nicht über die Lehrpersonen erfolgen (keine Informationsweitergabe über Individualleistungen)

(2) LAU am OS: Individuelle Rückmeldung: Konkrete Durchführung Verfahren der doppelten Anonymisierung Rückmeldung durch die Forschungsgruppe Präsentation der Ergebnisse in Form eines Booklets Erläuterung der Ergebnisse (auf Wunsch) durch die Mitglieder des WE-Teams Lernberatung auf Grundlage der Ergebnisse (auf Wunsch)

(3) Zusammenfassung und Bewertung I Rücklaufquote (sinkendes Interesse bei den Kollegiat/innen über die Zeit) Ergebnisse spiegeln lediglich Momentaufnahmen wieder Einfluss motivationaler Aspekte (insbesondere zum letzten Testzeitpunkt) keine prognostische Einschätzung möglich (geringe Itemanzahl) Rückmeldung verlief nicht optimal (Potential nicht voll ausgeschöpft)

(3) Zusammenfassung und Bewertung II Benchmarking vs. Qualitätssicherung  Abstimmung der Testzeitpunkte aufs Curriculum deskriptive Darstellung der Schulleistungen, keine Ursachenforschung  Hintergrundinformationen mit einbeziehen, zusätzliche von den Lehrkräften entwickelte Items Quasi-Längsschnitt vs. echter Längsschnitt  Stichprobe verringert sich im Verlauf der Erhebung

(3) Zusammenfassung und Bewertung III mit der individuellen Rückmeldung auf Grundlage von Large- Scale-Assessments ist ein Schritt zur Schulevaluation und Schulentwicklung getan die Ergebnisse können Einzelpersonen ggfs. für ihre Ausbildungsbiografie nutzen Rückmeldung an alle betroffenen Gruppen bilden die Grundlage für einzuleitende Veränderungsprozesse vor Ort Verständnissicherung muss gewährleistet sein (Wie kann dies an einer Regelschule gelingen in Hinblick auf Ressourcen?) reine Informationsweitergabe nicht sinnvoll, es muss ein Beratungsangebot (Was fange ich mit den Ergebnissen an?) vor Ort bestehen

(4) Implikationen für KESS Motivationale Aspekte mehr beachten Ausweitung auf andere Fachbereiche (an welchen Stellen sinnvoll/welche Ziele werden verfolgt) Optimierung der individuellen Rückmeldung Organisatorische Umsetzung der Rückmeldung Bessere Flankierung der Leistungsdaten mit weiteren Schülerdaten (Verknüpfung) Bessere Kooperation mit Lehrkräften und Lernberatern Deutlichere Ableitungen von Empfehlungen und Hilfestellungen für die Kollegiat/innen