Beitrag der Vergleichsarbeiten „DVA“ zu Differenzierung und Förderung Fachtag Realschule des Staatlichen Schulamtes Böblingen am 23. Februar 2011

„DVA“ im Kontext der Schulentwicklung Umgang mit den Ergebnissen

Vergleichsarbeiten „DVA“ als Instrument der Evaluation Selbstevaluation Fremdevaluation Informelle, frei wählbare Verfahren (Beobachtungsbogen, Fragebogen, Interviews etc.) Standardisierte, verpflichtend einzusetzende Lernstandserhebungen „VERA/DVA“ Gegenstand ist der Umgang mit den Lernstandserhebungen „VERA/DVA“ 3

Anforderungen an standardisierte Lernstandserhebngen Die Vergleichsarbeiten „DVA“ sind standardisierte Lernstandserhebungen, die von Lehrkräften und Fachdidaktikern in Zusammenarbeit mit Empirikern nach sozialwissenschaftlichen Methoden entwickelt werden. An Verfahren dieser Art werden folgende Anforderungen gestellt: zielgerichtete und systematische Konstruktion von Aufgaben standardisierte Durchführung, Korrektur, Auswertung Erprobung der Aufgaben an einer repräsentativen Stichprobe Berechnung landesweiter/bundesweiter Vergleichswerte Evaluation der Arbeiten und des Verfahrens In Baden-Württemberg werden Vergleichsarbeiten „DVA“ für die weiterführenden Schularten (HS, RS, GY) im Lande selbst entwickelt, in der Grundschule wird das bundesweite Verfahren „VERA“ eingesetzt. 4

„DVA“ – Unterschied Klassenarbeiten und Vergleichsarbeiten Vergleichsarbeiten „DVA“ sind standardisierte Tests, die – unabhängig vom Unterricht und der Klassensituation – das Erreichen von Kompetenzen des Bildungsstandards messen. Sie zielen damit auf nachhaltige Lernergebnisse. Die Bewertungsmaßstäbe werden empirisch ermittelt. Klassenarbeiten sind informelle Verfahren, die – abhängig vom Unterricht und der Klassensituation – den Lernerfolg aktueller Unterrichtseinheiten überprüfen. Sie zielen damit auf lernprozessnahe Überprüfung des Lernerfolgs. Die Bewertung unterliegt dem pädagogisch-didaktischen Expertenurteil der Lehrkräfte. Beide Verfahren ergänzen sich und haben mit ihren unterschiedlichen Zielsetzungen einen wichtigen Stellenwert in der Schule! 5

Unterschied Lernaufgabe und Testaufgabe Lernaufgaben: Lernprozesse initiieren und unterstützen sind häufig „komplexe“ Aufgaben lassen vielfältige Lösungsmöglichkeiten zu ermöglichen Lernen anhand von Fehlern Testaufgaben: Lernstand ermitteln erfassen möglichst abgrenzbare Teilkompetenzen erfordern standardisierte Bedingungen sind objektiv auswertbare Aufgaben mit eindeutigen Lösungen => können nicht ohne Weiteres als Lernaufgaben im Unterricht eingesetzt werden Vortragsnotiz: Wegen standardisierter Bedingungen sind für Testaufgaben bestimmte Aufgabenformate erforderlich. Wir wissen um die Grenzen, die den Aufgaben dadurch gesetzt werden. Häufig kommen unsere Aufgabenentwickler erst einmal mit schönen offenen Lernaufgaben. Diese sind als Testaufgaben aber oft nicht geeignet, da sie zu offen sind und darum eine Lösungsdefinition schwierig ist. Diese Aufgaben brauchen zudem zuviel Zeit bei der Bearbeitung. Es kostet viel hartes Ringen, diese Aufgaben in geeignete Testaufgaben umzuwandeln. Es muss möglichst eindeutig sein bei Nichtlösung der Aufgabe, welche Kompetenz nicht erreicht ist. Zwei Beispiele aus der Mathematik sollen den Unterschied zwischen Lernaufgaben und Testaufgaben verdeutlichen.

Unterschiedliche Aufgabenformate

Zielsetzungen der Vergleichsarbeiten Qualitätsentwicklung der Schule Die Vergleichsarbeiten überprüfen, inwieweit es den Schulen gelungen ist, die Erwartungen der baden-württembergischen Bildungsstandards zu erreichen und dienen damit der empirisch gesicherten, zielgerichteten und systematischen Qualitätsentwicklung vor Ort. Die Arbeiten liefern landesweite Vergleichswerte für die Selbstevaluation der Schulen. Der Umgang der Schulen mit den Ergebnissen ist Gegenstand der Fremdevaluation. Feststellung des Lernstands der Schülerinnen und Schüler Die Vergleichsarbeiten vermitteln den Lehrkräften, den Schülerinnen und Schülern sowie deren Eltern in bestimmten Fächern objektive Informationen über den individuellen Lernstand in Hinblick auf ausgewählte Schwerpunktbereiche des Bildungsstandards. Die Informationen zu den Lernvoraussetzungen der Klasse und einzelner Schülerinnen und Schüler, die zu Beginn eines neuen Bildungsabschnittes festgestellt werden, können bei der gezielten Planung des weiteren Unterrichts helfen. 8

Verwaltungsvorschrift Verwaltungsvorschrift des Kultusministeriums zu den Vergleichsarbeiten In den Klassen … 7 und 9 der Realschule …. werden jeweils zu Beginn des Schuljahres schriftliche Arbeiten angefertigt … (Vergleichsarbeiten). Diese Arbeiten sind ein diagnostisches Instrument, das sich auf den Lernstand des jeweils vorangegangenen Schuljahres bezieht. Sie werden nicht benotet. … Die Ergebnisse der Vergleichsarbeiten werden mit den Schülern, Eltern und in Lehrerkonferenzen besprochen. Auf Wunsch werden die korrigierten Arbeiten den Schülern mit nach Hause gegeben. (Verwaltungsvorschrift vom 17. Mai 2009) 9

Das diagnostische Instrument bietet … … objektive Informationen und empirische gesicherte Vergleichswerte für den Fachunterricht (Stärken und Schwächen der Klasse im Hinblick auf den Bildungsplan durch Auswertung der einzelnen Aufgaben ) für die Klasse (Lernstand hinsichtlich einzelner ausgewählter Schwerpunktbereiche durch Verteilung auf Leistungsgruppen) für die einzelne Schülerin und den einzelnen Schüler (Stärken und Schwächen hinsichtlich einzelner ausgewählter Schwerpunktbereiche durch Einordnung in Leistungsgruppen) für die Fachdidaktik der Schule (Bedarf zur Weiterentwicklung des Faches hinsichtlich Kompetenzorientierung und Standardbasierung durch Vergleich der Parallelklassen) 10

„DVA“ im Kontext der Schulentwicklung Umgang mit den Ergebnissen

SEV in BW: Qualitätshaus jeder einzelnen Schule Prozesse Voraussetzungen und Bedingungen Ergebnisse und Wirkungen I Unterricht II Professionalit ä t der Lehrkr fte III Schulf ü hrung und Schulmanagement IV Schul - und Klassenklima V Inner au ß erschulische Partnerschaften § Rahmenvorgaben S chliche und personelle Ressourcen Sch ler/ innen sowie deren Lebensumfeld Fachliche und berfachliche Lernergebnisse /Laufbahn erfolg Bewertung schulischer Arbeit Qualit tssicherung und Qualit tsentwicklung

SEV in BW: Qualitätshaus jeder einzelnen Schule Einordnung in den „Orientierungsrahmen zur Schulqualität“ „Prozesse“ – „Qualitätsbereich I, Unterricht“ Bei der „Gestaltung der Lehr- und Lernprozesse“ wird die Aufbereitung, Analyse und Interpretation der Ergebnisse der Schüler- und Klassenleistungen, zum Beispiel aus den Vergleichsarbeiten, in den Blick genommen. „Ergebnisse und Wirkungen“ – „fachlichen Lernergebnissen“ Die Rückmeldungen dienen dazu, dass die Schule ihre Arbeit an den von den Schülerinnen und Schülern erbrachten fachlichen Leistungen, zum Beispiel aus den Vergleichsarbeiten, reflektiert. „Qualitätssicherung und Qualitätsentwicklung“ Der Blick wird auf die systematische Weiterentwicklung von Schule und Unterricht gerichtet. Dementsprechend wird gefragt, wie die Schule Selbstevaluation durchführt, ob sie sich beispielsweise an einer systematischen Abfolge von einzelnen Schritten orientiert 13

Umgang mit den Ergebnissen Die Nutzung der Daten sollte zielgerichtet und systematisch verlaufen. Ergebnisse werden analysiert Ergebnisse werden interpretiert Konsequenzen werden gezogen (Ziele werden formuliert, Maßnahmen geplant und umgesetzt) Die Auswertungsergebnisse werden in eigener Verantwortung für die internen Schulentwicklung genutzt (siehe Handreichung). 14

Ergebnisse analysieren Ergebnisse analysieren heißt hier, die in der Ergebnisrückmeldung ausgewiesenen Zahlenwerte systematisch betrachten. Bedeutungen der Zahlenwerte klären extrem hohe und extrem niedrige Werte ermitteln Vergleiche ziehen und Abweichungen feststellen, z.B. zu den landesweiten Vergleichswerten inhaltliche Zuordnung zum Bildungsplan vornehmen Vergleiche mit den eigenen Erwartungen herstellen Analysiert werden die Daten der Klasse, einzelner Schüler/innen und der Schule. Analyse schriftlich dokumentieren! 15

Auswertungsmappe „Klasse“ - Gesamttest Gelöste Items insgesamt : in der Klasse und in der landesweiten Vergleichsstichprobe. 16

Auswertungsmappe „Klasse“ - Gesamttest Bedeutsame Differenzen der Lösungshäufigkeiten ? = -10% und mehr (Klasse zum Land) bei Item 7 und 8 im SPB III ! = +10% und mehr (Klasse zum Land) bei Item 13 bis 17 im SPB I 17

Auswertungsmappe „Klasse“ - Schwerpunktbereiche SPB III: Bedeutsame Differenz vorhanden, „ ja“ bei 10% und mehr Richtung der Differenz ermitteln! Hier 11% weniger in der Klasse als in der Vergleichsstichprobe 18

Auswertungsmappe „Klasse“ - Schwerpunktbereiche Keine neuen Informationen, evtl. zur Veranschaulichung für den Elternabend 19

Auswertungsmappe „Klasse“ - Leistungsgruppen SPB I: obere LG deutlich überbesetzt, d.h. viele SuS schneiden gut ab, dafür untere LG deutlich unterbesetzt SPB III: untere LG deutlich überbesetzt, d.h. viele SuS schneiden schwach ab 20

Auswertungsmappe „Klasse“ - Einzelergebnisse Zuordnung von SuS zu LG Nr. 2: in allen SPB in oberer LG Nr.5: im SPB I und II in unterer LG, im Vergleich zu bisher gezeigten Leistungen unerwartete Zuordnung 21

Auswertungsmappe „Schule“ - Gesamttest Wie viel Prozent wurden im Mittel insgesamt von den Schülerinnen und Schülern gelöst? Inwieweit weichen die jeweiligen Klassenergebnisse von der Vergleichsstichprobe ab? Parallelklassenvergleich Referenzbereich jeweils10% und mehr Klasse 9 b: weicht insgesamt deutlich von den anderen Klassen ab und liegt unterhalb des Referenzrahmens 22

Auswertungsmappe „Schule“ - Schwerpunktbereiche Wie viel Prozent der Items in den einzelnen Schwerpunktbereichen wurden im Mittel von den Schülerinnen und Schülern der jeweiligen Klassen gelöst? Inwieweit weichen die Klassen von der Vergleichsstichprobe ab? Parallelklassenvergleich Referenzbereich jeweils10% und mehr Klasse 9b: weicht im SPB II deutlich nach unten vom Referenzbereich und von den anderen Klassen ab Klasse 9d: weicht im SPB II deutlich nach oben vom Referenzbereich und von den anderen Klassen ab 23

Auswertungsmappe „Schule“ - Leistungsgruppen Wie verteilen sich die Schülerinnen und Schüler der jeweiligen Klassen (Kurse, Gruppen) in den einzelnen Schwerpunktbereichen auf die Leistungsgruppen? Inwieweit weichen die Verteilungen von der Vergleichsstichprobe ab? Parallelklassenvergleich bezüglich der Verteilung in den LG: Klasse 9b stark besetzte untere LG, dafür schwach besetzte mittleren LG Klasse 9c schwach besetzte mittlere LG, dafür stark besetzte Randgruppen Klasse 9d stark besetzte obere LG, dafür schwach besetzte mittlere LG 24

Ergebnisse interpretieren Ergebnisse interpretieren heißt hier, die aus der Analyse gezogenen Erkenntnisse systematisch und umfassend deuten. Bewertungen und Erklärungen vornehmen Auffälligkeiten und Abweichungen deuten mögliche Ursachen und Hintergründe suchen Zusammenhänge formulieren Die Erklärungsansätze müssen durch weitere relevante Kriterien und Erkenntnisse gestützt und abgesichert werden. Schulleistungen werden durch vielfältige Faktoren bestimmt, die in einem komplexen Zusammenhang stehen und sich wechselseitig bedingen! 25

Konsequenzen ziehen (Ziele formulieren und Maßnahmen planen) Konsequenzen ziehen heißt hier - auf der Basis der aus der Interpretation gewonnenen Erkenntnisse und unter Berücksichtigung der jeweiligen spezifischen Situation vor Ort - Ziele für das vorrangige weitere Vorgehen formulieren, Maßnahmen planen für die Schule für einen bestimmten Fachbereich für eine Jahrgangsstufe für den eigenen Unterricht für bestimmte Klassen für einzelnen Schülerinnen und Schüler Die Einhaltung der Vereinbarungen sollten im Auge behalten, eingeleitete Maßnahmen im Rahmen der Selbstevaluation reflektiert werden! 26

Vielen Dank für Ihre Aufmerksamkeit! www.dva-bw.de