Landesakademie Esslingen Lehrgang vom 09.01. – 11.01. 2012 Die Konzeption der Vergleichsarbeiten DVA als standardisierte Lernstandserhebung Landesakademie Esslingen Lehrgang vom 09.01. – 11.01. 2012

Konzeption und Ziele der Vergleichsarbeiten DVA

Lernstandserhebungen als Instrumente der Evaluation Selbstevaluation Fremdevaluation Informelle, frei wählbare Verfahren (Beobachtungsbogen, Fragebogen, Interviews etc.) Standardisierte, verpflichtend einzusetzende Lernstandserhebungen VERA / DVA Gegenstand ist der Umgang mit den Lernstandserhebungen VERA / DVA

EvaluationsVO (Verordnung des Kultusministeriums vom 01.08.2008) Vorgaben für Lernstandserhebungen im Kontext der Schulentwicklung in BW Bildungsplan 2004 … empirisch gesicherte, zielgerichtete und systematische Qualitätsentwicklung vor Ort. … (Einführung in den Bildungsplan) Selbstevaluation und Fremdevaluation im Schulgesetz verankert (Gesetz zur Änderung des Schulgesetzes vom 18.12.2006) EvaluationsVO (Verordnung des Kultusministeriums vom 01.08.2008) Verwaltungsvorschrift des Kultusministerium zu den Vergleichsarbeiten (Verwaltungsvorschrift vom 22. September 2011)

Vergleichsarbeiten DVA - Ziele Qualitätsentwicklung in der Schule Feststellung des Lernstands der Schüler/-innen Vortragsnotiz: Feststellung des Lernstands der Schüler/-innen: Die Arbeiten sollen den Lehrkräften, den Schülern und deren Eltern objektive Informationen über den relativen Leistungsstand der Schüler vermitteln: Auskunft geben, wo ein Schüler im Vergleich zu anderen Schülern, eine Klasse im Vergleich zu anderen Klassen steht. Qualitätsentwicklung in der Schule Die Vergleichsarbeiten helfen zu überprüfen, inwieweit es gelungen ist, die Erwartungen der baden-württembergischen Bildungsstandards zu erreichen und dienen damit der empirisch gesicherten, zielgerichteten und systematischen Qualitätsentwicklung. Die Arbeiten liefern landesweite Vergleichswerte für die Selbstevaluation der Schulen. Der Umgang der Schulen mit den Ergebnissen ist Gegenstand der Fremdevaluation.

SEV in BW - Qualitätshaus der Schule Prozesse Voraussetzungen und Bedingungen Ergebnisse und Wirkungen I Unterricht II Professionalität der Lehrkräfte III Schulführung und Schulmanagement IV Schul- und Klassenklima V Inner- und außerschulische Partnerschaften Rahmen-vorgaben Sächliche und personelle Ressourcen Schüler/-innen sowie deren Lebensumfeld Fachliche und überfachliche Lernergebnisse Schul-/ Laufbahnerfolg Bewertung schulischer Arbeit Qualitätssicherung und Qualitätsentwicklung

SEV in BW - Vergleichsarbeiten Prozesse – Qualitätsbereich I, Unterricht, Kriterium I 2: Gestaltung der Lehr- und Lernprozesse Aufbereitung, Analyse und Interpretation der Ergebnisse der Schüler- und Klassenleistungen, zum Beispiel aus den Vergleichsarbeiten Ergebnisse und Wirkungen – fachliche Lernergebnisse Die Schule reflektiert ihre Arbeit an den von den SuS erbrachten fachlichen Leistungen ..., Beispiele: Vergleichsarbeiten Qualitätssicherung und Qualitätsentwicklung Kriterium Q2: Strukturen der schulischen Qualitätsentwicklung Kriterium Q3: Durchführung der Selbstevaluation

Vergleichsarbeiten DVA – standardisierte Testverfahren Anforderungen zielgerichtete und systematische standardisierte Durchführung, Korrektur, Auswertung Pilotierung der Aufgaben an einer repräsentativen Stichprobe Berechnung landesweiter Vergleichswerte Mehrwert objektive Feststellung des Leistungsstands / Vergleich mit Referenzwerten Entwicklung von Aufgaben

Mehrwert von Vergleichsarbeiten Anzahl Items Mittelwert Kl. A Landes- mittel Mittelwert Kl. B Beide Verfahren ergänzen sich und haben mit ihren unterschiedlichen Zielsetzungen einen wichtigen Stellenwert in der Schule Klasse A (Notenschnitt 3,0) Klasse B (Notenschnitt 3,0)

Unterschied Vergleichsarbeiten - Klassenarbeiten Vergleichsarbeiten DVA messen unabhängig vom Unterricht und der Klassensituation das Erreichen von Kompetenzen zielen auf nachhaltige Lernergebnisse haben empirisch ermittelte Bewertungsmaßstäbe Klassenarbeiten überprüfen abhängig vom Unterricht und der Klassensituation den Lernerfolg aktueller Unterrichtseinheiten zielen auf lernprozessnahe Überprüfung des Lernerfolgs haben durch pädagogisch-didaktische Erfahrung der Lehrkräfte ermittelte Bewertungsmaßstäbe Die Verfahren ergänzen sich, beide haben einen wichtigen Stellenwert in der Schule Beide Verfahren ergänzen sich und haben mit ihren unterschiedlichen Zielsetzungen einen wichtigen Stellenwert in der Schule

Lernaufgaben - Testaufgaben Lernaufgaben: Lernprozesse initiieren und unterstützen sind häufig „komplexe“ Aufgaben mit diversen Lösungsmöglichkeiten ermöglichen Lernen anhand von Fehlern Testaufgaben: Lernstand ermitteln erfassen möglichst abgrenzbare Teilkompetenzen erfordern standardisierte Bedingungen sind objektiv auswertbare Aufgaben mit eindeutigen Lösungen => können nicht ohne Weiteres als Lernaufgaben im Unterricht eingesetzt werden Entscheidender Unterschied ist, wie Fehler behandelt werden. Der Zweck bestimmt die Aufgabenentwicklung: Standardisierte Tests erfordern bestimmte Aufgabenformate. Wir wissen um die Grenzen, die den Aufgaben dadurch gesetzt werden. Testaufgaben einfach zum Lernen einzusetzen, ist problematisch. Dazu bedarf es eines gezielten Vorgehens (Öffnen von Aufgaben), ansonsten wieder das alte Übel: Pauken von Prüfungsaufgaben. Häufig kommen unsere Aufgabenentwickler erst einmal mit schönen offenen Lernaufgaben. Diese sind als Testaufgaben aber oft nicht geeignet, da sie zu offen sind und darum eine Lösungsdefinition schwierig ist. Diese Aufgaben brauchen zudem zuviel Zeit bei der Bearbeitung. Es kostet viel hartes Ringen, diese Aufgaben in geeignete Testaufgaben umzuwandeln. Es muss möglichst eindeutig sein bei Nichtlösung der Aufgabe, welche Kompetenz nicht erreicht ist. Zwei Beispiele aus der Mathematik sollen den Unterschied zwischen Lernaufgaben und Testaufgaben verdeutlichen.

Beispiel für eine Lernaufgabe Viele Kompetenzen können mit dieser Lernaufgabe angeregt werden, Fehler können Aufschluss darüber geben, was verbessert werden müsste. Die vorliegende Aufgabe wäre als Testaufgabe in dieser Form nicht geeignet, könnte beispielsweise aber zu einer Testaufgabe umgearbeitet werden (siehe nächste Folie).

Beispiel für eine Testaufgabe Teil einer Aufgabe aus einer früheren Vergleichsarbeit im Fach Mathematik Fokussierung auf eine Kompetenz (aus Blick BS GY8M könnte hier die Kompetenz „ inner- und außermathematische Sachverhalte mithilfe von Tabellen, Termen und Graphen beschreiben und umgekehrt Tabellen, Terme und Graphen in Bezug auf einen Sachverhalt interpretieren „ (Modellieren) Mehrwert: Wenn ein Schüler die Aufgabe nicht korrekt löst, bekommt die Lehrkraft einen ersten Hinweis darauf, was er evtl. nicht kann. Weitere Hinweise lassen sich erhalten, wenn man z.B. in einem diagnostischen Gespräch nachhakt, was sich der Schüler beim Setzen der Kreuze gedacht hat. Warum gibt es erst bei drei korrekten Kreuzen einen Punkt?

Gewinnung der landesweiten Vergleichswerte Landesweite Vergleichswerte aus dem Pilotierungsverfahren Erprobung etwa doppelt so vieler Aufgaben wie benötigt Repräsentative Stichprobe Rückmeldung der Pilotierungsergebnisse an das LS Berechnung der Vergleichswerte Auswahl geeigneter Aufgaben für die DVA Rückmeldung der Ergebnisse der DVA an das LS Evaluation der prognostizierten Werte

Zusammenstellung einer DVA Prinzipien der Aufgabenauswahl 10 bis 20 Items pro Schwerpunktbereich (SPB) Items mit akzeptablen Lösungswahrscheinlichkeiten (zwischen 10 und 90 Prozent) und guter Modellpassung Items streuen über die gesamte Schwierigkeitsbandbreite (einige leichte, mehr mittlere und einige schwierige Items) Items ergeben durchschnittlich für jeden Schwerpunktbereich einen mittelschweren Test (durchschnittliche Lösungswahrscheinlichkeit ca. 50 Prozent)

Umgang mit den Ergebnisrückmeldungen der DVA 2011

Nutzen für verschiedene Personengruppen Fachlehrkraft → eigener Unterricht Lehrerteams - der Klasse → Förderung einzelner Schüler (-gruppen) - des Faches → Weiterentwicklung des Unterrichts und der - der Jahrgangsstufe → Förderung ganzer Klassen bzw. klassenübergreifender Schülergruppen Schulteams → schulische Grundsätze / Leitbild / Rahmenbedingungen / … Fachlehrkraft → eigener Unterricht Lehrerteams - der Klasse → Förderung einzelner Schüler (-gruppen) - des Faches → Weiterentwicklung des Unterrichts und der Fachgruppe - der Jahrgangsstufe → Förderung ganzer Klassen bzw. klassenübergreifender Schülergruppen Schulteams → schulische Grundsätze / Leitbild / Rahmenbedingungen / …

Nutzung der Daten Ergebnisse werden analysiert Ergebnisse werden interpretiert Konsequenzen werden gezogen Auswertungsergebnisse werden in eigener Verantwortung für die interne Schulentwicklung genutzt

Ergebnisse analysieren Bedeutung von Zahlenwerten und Darstellungen klären Extrem hohe und extrem niedrige Werte ermitteln Vergleiche mit Bezugsgruppen ziehen (Parallelklassen, Schule, Land) Bedeutsame Unterschiede feststellen Inhaltliche Zuordnungen zum Bildungsplan vornehmen Vergleich mit eigenen Erwartungen (…) herstellen Ergebnisse analysieren heißt, die in der Ergebnisrückmeldung ausgewiesenen Zahlenwerte systematisch zu betrachten und gegebenenfalls Auffälligkeiten festzustellen Analyse schriftlich dokumentieren!

Auswertungsmappen Auswertungsmappe - Klasse für Lehrkräfte Lernstand der Klasse konzipiert für den klassenbezogenen Vergleich Auswertungsmappe - Schule für Schulleitung bzw. Schulteams Überblick über den Lernstand aller getesteten Klassen der Schule konzipiert für den klassenübergreifenden Vergleich

Auswertungsmappe – Klasse: Gesamttest

Auswertungsmappe – Klasse: Gesamttest

Auswertungsmappe – Klasse: Schwerpunktbereiche

Auswertungsmappe – Klasse: Schwerpunktbereiche

Auswertungsmappe – Klasse: Leistungsgruppen

Auswertungsmappe – Klasse: Einzelergebnisse

Auswertungsmappe – Schule: Gesamttest

Auswertungsmappe – Schule: Schwerpunktbereiche

Auswertungsmappe – Schule: Leistungsgruppen

Präsentation unter „Wir über uns/Veranstaltungen“ www.dva-bw.de Präsentation unter „Wir über uns/Veranstaltungen“ Ansprechpartner: Deutsch / Fremdsprachen guenther.scheefer@ls.kv.bwl.de Allgemeines zu Vergleichsarbeiten / Mathematik kristiane.reiber@ls.kv.bwl.de