Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller.

Ähnliche Präsentationen


Präsentation zum Thema: "Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller."—  Präsentation transkript:

1 Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller Rückmeldung am Beispiel des Oberstufen-Kollegs Bielefeld

2 Oberstufen-Kolleg Bielefeld Inhalt (1) Hintergrundinformationen Besonderheiten des Oberstufen-Kollegs Bielefeld Untersuchung zu den Aspekten der Lernausgangslage und der Lernentwicklung (LAU) – Anlage und Durchführung Notwendige Rahmenbedingungen & Voraussetzungen für Large-Scale-Assesments (LSA) an einer Einzelschule

3 Oberstufen-Kolleg Bielefeld Inhalt (2) LAU am OS Möglichkeiten und Grenzen der Datenauswertung institutionelle Rückmeldungen individuelle Schülerrückmeldungen (3) Zusammenfassung und Bewertung (4) Implikationen für die sich anschließende KESS- Erhebung, oder: was haben wir gelernt?

4 Oberstufen-Kolleg Bielefeld Versuchsschule des Landes Nordrhein-Westfalen seit 1974 Wissenschaftliche Einrichtung Oberstufen-Kolleg (an der Fakultät für Erziehungswissenschaft der Universität Bielefeld) bis 2002 vierjährig, Anlehnung an das US-amerikanische College- Modell (Teile des Grundstudiums während der Ausbildung) ab 2002 Veränderung zur dreijährigen Reformoberstufe Abschluss: Allgemeine Hochschulreife (Abitur) (1) Hintergrundinformationen: Besonderheiten des Oberstufen-Kollegs Bielefeld I

5 Oberstufen-Kolleg Bielefeld seit 2008 Teilnahme am Zentralabitur in den Studienfächern besondere Bedingungen: -eigene Ausbildungs- und Prüfungsordnung -Aufnahme von KollegiatInnen ohne Qualifikationsvermerk -eigenes Curriculum (1) Hintergrundinformationen: Besonderheiten des Oberstufen-Kollegs Bielefeld II

6 Oberstufen-Kolleg Bielefeld Beispiel: Deutschausbildung am OS Beginn der Ausbildung Jahrgang 11Jahrgang 12Jahrgang 13 Abschluss der Ausbildung Eingangstest in Deutsch, Mathematik und Englisch Aufgrund der Ergebnisse: Zuweisung von Brückenkursen vor Beginn Brückenkurse für einige KollegiatInnen 2 Std. Basiskurse* für alle KollegiatInnen 4 Std. Studienfachkurse in Deutsch 6 Std. oder Deutsch als Querschnittsaufgabe Sequenz in Literatur verpflichtend (8 Std.) *sofern als 1. oder 2. Studienfach Deutsch gewählt wurde, wird dieser Kurs ab dem zweiten Semester zusätzlich zu den Basiskursen belegt (6 Std.)

7 Oberstufen-Kolleg Bielefeld (1) Hintergrundinformationen: LAU – Anlage und Durchführung I bundeslandspezifische Schulleistungsstudie (Hamburg) Funktion: Bildungssystem-Monitoring Erhebungszeitraum: 1996 (LAU 5) bis 2005 (LAU13) im Abstand von 2 Schuljahren (5,7,9,11,13) Erhebungsform: flächendeckend, längsschnittlich

8 Oberstufen-Kolleg Bielefeld (1) Hintergrundinformationen: LAU – Anlage und Durchführung II Testbereiche: Deutsch (Wissen zur Texterschließung/Leseverstehen/ Textproduktion/Rechtschreibung / Fehlersuche/Lesegeschwindigkeit), Mathe, 1. Fremdsprache Kontextvariablen: schul- und unterrichtsbezogene Einstellungen (Schülerfragebögen) Rückmeldeform: Klassenbezogene Schulrückmeldung in absoluten Zahlen

9 Oberstufen-Kolleg Bielefeld Abbildung: Bsp. einer klassenbezogenen Rückmeldung aus LAU 7 (Quelle: Weinert, F. E. (2002) Leistungsmessungen in Schulen.

10 Oberstufen-Kolleg Bielefeld (1) Hintergrundinformationen: LAU – Anlage und Durchführung III LAU am OS: Anstoß und Erwartungen - Anstoß zur Kooperation mit dem LI in HH: durch externe Evaluation des OS (Peer-Review) und des Projektes: Basiskompetenzen im Deutschen - Kritik an der Konzeption des Projekts - vorgeschlagenes Curriculum sei zu kleinschrittig - Niveau sei nicht angemessen - interne Nachweise von Lernerfolgen wurden als nicht ausreichend beurteilt Erwartung des OS an die Vergleichsuntersuchung: Nutzung der Untersuchungsergebnisse für die Schulentwicklung des OS

11 Oberstufen-Kolleg Bielefeld (1) Hintergrundinformationen: LAU – Anlage und Durchführung IV Erwartungen und Ziele Nutzung der Untersuchungsergebnisse für die inhaltliche Kurskonzeption der Basis- und Brückenkurse Deutsch Instrumentenvergleich: Eingangsdiagnose (internes Instrument) vs. LAU (externes Instrument) Ergebnisse für die Entwicklung der Einrichtung nutzbar machen (institutionelle & individuelle Rückmeldung) Nutzung der Untersuchungsergebnisse für die Kollegiat/innen in Form individueller Ergebnisrückmeldungen Darstellung der individuellen Lernausgangslage und Lernentwicklung (in anonymisierter Form)

12 Oberstufen-Kolleg Bielefeld (1) Hintergrundinformationen: LAU – Anlage und Durchführung V Beantwortung der Fragen zur: (Individuellen) Lernentwicklung während der Kursphase Nachhaltigkeit der Lernzuwächse bis zum Ausbildungsabschluss Lernausgangslage (Benchmark mit Hamburg) - Welchen Einfluss hat die Zusammensetzung der Schülerschaft auf die Ergebnisse?

13 Oberstufen-Kolleg Bielefeld (1) Hintergrundinformationen: LAU – Anlage und Durchführung VI LAU am OS - Schritte Grundlegend: Kooperation mit LI in Hamburg (Kooperationsvertrag) / Kooperation auf Augenhöhe Adaptation der Instrumente (Itemauswahl z.B. in Hinblick auf curriculare Aspekte) Fort- und Weiterbildung von Teammitgliedern (z.B. Testleiterschulungen, Auswertungsmethoden) Durchführung der Erhebungen am OS (vgl. Design) regelmäßige Treffen zwischen LI und OS (Austausch, externe Auswertung durch das LI bzw. HU Berlin) Verknüpfung der Leistungsdaten mit Hintergrundvariablen Rückmeldungen auf individueller und institutioneller Ebene

14 Oberstufen-Kolleg Bielefeld Schulhalbjahre Aug/2006März/ März/2007 Schulhalbjahre LAU 11 (2002) Untersuchungsdesign LAU Sept/2007Feb/2008Feb/2010 Testzeitpunkte der Jahrgänge Legende: = Aufnahmejahrgang 2006 = Aufnahmejahrgang 2007 LAU 13 (2005)

15 Oberstufen-Kolleg Bielefeld (1) Hintergrundinformationen: Notwendige Voraussetzungen für LSA an Einzelschulen I die pädagogische Arbeit und die damit verbundenen Ziele der Schule müssen berücksichtigt werden Einbringen individueller Fragen der Einzelschule es müssen wiederholte Messungen stattfinden es muss eine ausreichend große Stichprobe getestet werden ggfs. Adaptation der Instrumente an die Einrichtung

16 Oberstufen-Kolleg Bielefeld (1) Hintergrundinformationen: Notwendige Voraussetzungen für LSA an Einzelschulen II schulübergreifende Kooperation: Instrumente müssen verfügbar gemacht werden und externe Auswertung der Daten muss gesichert sein Schulungen & Fortbildungen zur Testdurchführung und Datenauswertung Rückmeldungen (institutionell & individuell) als Grundlage für Veränderungsprozesse (z.B. zur inneren Differenzierung (institutionell) oder für Beratungs- und Unterstützungsangebote (individuell)) Kontextmerkmale mit einbeziehen (fairer Vergleich)

17 Oberstufen-Kolleg Bielefeld (2) LAU am OS: Möglichkeiten und Grenzen der Datenauswertung I Beispiel Textproduktion: subjektiv erfasste Schwierigkeiten: - Übungseffekte durch wiederholten Einsatz der gleichen Aufgabe (Beschwerdebrief) - Konkretheit der Aufgabenstellung hat Einfluss auf qualitative und quantitative Aspekte der Textproduktion - es entstand der Eindruck, dass oftmals das Leistungspotential nicht ganz ausgeschöpft wurde (so konnten bspw. kaum Prozeduren der Selbstkorrektur beobachtet werden) - Faktoren der Testmotivation beeinflussen die Ergebnisse Datenauswertung: - Skalierungsschwierigkeiten aufgrund der Stichprobengröße

18 Oberstufen-Kolleg Bielefeld (2) LAU am OS: Institutionelle Rückmeldung I die institutionelle Rückmeldung der Leistungsdaten, die auf Grundlage von Large- Scale- Instrumenten erhoben wurden, können folgendermaßen genutzt werden: inhaltliche Weiterentwicklung des Unterrichts (hier: der Basis- und Brückenkurse Deutsch) Schwächen und Stärken aufzeigen, Bedarfe ermitteln Benchmark (Außenvergleich)

19 Oberstufen-Kolleg Bielefeld (2) LAU am OS: Institutionelle Rückmeldung II Selbstvergewisserung (durch den Benchmark mit HH) Nachweis von Leistungszuwächsen Schülerschaft genauer beschreiben Nachhaltigkeit der Lernergebnisse prüfen

20 Oberstufen-Kolleg Bielefeld (2) LAU am OS: Individuelle Rückmeldung I die individuelle Rückmeldung von Leistungsdaten auf Schülerebene, die auf Grundlage von Large- Scale- Instrumenten erhoben wurden, wird derzeit kritisch diskutiert Vertreter sprechen sich für die Nutzung dieser Daten auch auf individueller Ebene aus, sofern diese Daten von weiteren Erhebungen (z.B. schulinterne Instrumente, Noten, Schülerbeobachtungen) flankiert werden Gegner der Nutzung dieser Daten für die individuelle Rückmeldung betonen, dass für formatives Assessment andere Erhebungsformate notwendig sind (z. B. höhere Reliabilität durch höhere Itemanzahl)

21 Oberstufen-Kolleg Bielefeld (2) LAU am OS: Individuelle Rückmeldung II Prinzipiell sollte die Impulsgebung für die Instrumentenauswahl immer die Funktionalität des Instrumentes und der diagnostische Ansatz sein (Was will ich wissen?; Was ist das Ziel?) Aber: Nebenprodukte können und sollen genutzt werden, auch wenn diese messfehlerbehaftet sind

22 Oberstufen-Kolleg Bielefeld (2) LAU am OS: Individuelle Rückmeldung III Ziele: Transparenz für die Kollegiat/innen schaffen Individuelle Ergebnisrückmeldung als Unterstützung bei der Planung weiterer Ausbildungsschritte (Verknüpfung von Diagnostik und Förderung) Rückmeldung sollte abgekoppelt von den schulischen Lernprozessen erfolgen Rückmeldung sollte nicht über die Lehrpersonen erfolgen (keine Informationsweitergabe über Individualleistungen)

23 Oberstufen-Kolleg Bielefeld (2) LAU am OS: Individuelle Rückmeldung: Konkrete Durchführung 1.Verfahren der doppelten Anonymisierung 2.Rückmeldung durch die Forschungsgruppe 3.Präsentation der Ergebnisse in Form eines Booklets 4.Erläuterung der Ergebnisse (auf Wunsch) durch die Mitglieder des WE-Teams 5.Lernberatung auf Grundlage der Ergebnisse (auf Wunsch)

24 Oberstufen-Kolleg Bielefeld

25 Oberstufen-Kolleg Bielefeld

26 Oberstufen-Kolleg Bielefeld

27 Oberstufen-Kolleg Bielefeld (3) Zusammenfassung und Bewertung I Rücklaufquote (sinkendes Interesse bei den Kollegiat/innen über die Zeit) Ergebnisse spiegeln lediglich Momentaufnahmen wieder Einfluss motivationaler Aspekte (insbesondere zum letzten Testzeitpunkt) keine prognostische Einschätzung möglich (geringe Itemanzahl) Rückmeldung verlief nicht optimal (Potential nicht voll ausgeschöpft)

28 Oberstufen-Kolleg Bielefeld (3) Zusammenfassung und Bewertung II Benchmarking vs. Qualitätssicherung Abstimmung der Testzeitpunkte aufs Curriculum deskriptive Darstellung der Schulleistungen, keine Ursachenforschung Hintergrundinformationen mit einbeziehen, zusätzliche von den Lehrkräften entwickelte Items Quasi-Längsschnitt vs. echter Längsschnitt Stichprobe verringert sich im Verlauf der Erhebung

29 Oberstufen-Kolleg Bielefeld (3) Zusammenfassung und Bewertung III mit der individuellen Rückmeldung auf Grundlage von Large- Scale- Assessments ist ein Schritt zur Schulevaluation und Schulentwicklung getan die Ergebnisse können Einzelpersonen ggfs. für ihre Ausbildungsbiografie nutzen Rückmeldung an alle betroffenen Gruppen bilden die Grundlage für einzuleitende Veränderungsprozesse vor Ort Verständnissicherung muss gewährleistet sein (Wie kann dies an einer Regelschule gelingen in Hinblick auf Ressourcen?) reine Informationsweitergabe nicht sinnvoll, es muss ein Beratungsangebot (Was fange ich mit den Ergebnissen an?) vor Ort bestehen

30 Oberstufen-Kolleg Bielefeld (4) Implikationen für KESS Motivationale Aspekte mehr beachten Ausweitung auf andere Fachbereiche (an welchen Stellen sinnvoll/welche Ziele werden verfolgt) Optimierung der individuellen Rückmeldung Organisatorische Umsetzung der Rückmeldung Bessere Flankierung der Leistungsdaten mit weiteren Schülerdaten (Verknüpfung) Bessere Kooperation mit Lehrkräften und Lernberatern Deutlichere Ableitungen von Empfehlungen und Hilfestellungen für die Kollegiat/innen


Herunterladen ppt "Oberstufen-Kolleg Bielefeld Möglichkeiten und Grenzen von Large-Scale Untersuchungen an Einzelschulen Der Umgang mit institutioneller und individueller."

Ähnliche Präsentationen


Google-Anzeigen