Landesakademie Esslingen Lehrgang vom 21.11. – 23.11. 2011 Die Ergebnisse von Vergleichsarbeiten DVA deuten und zur Qualitätsentwicklung der Schule heranziehen Landesakademie Esslingen Lehrgang vom 21.11. – 23.11. 2011

Konzeption und Ziele der Vergleichsarbeiten DVA

Lernstandserhebungen als Instrumente der Evaluation Selbstevaluation Fremdevaluation Informelle, frei wählbare Verfahren (Beobachtungsbogen, Fragebogen, Interviews etc.) Standardisierte, verpflichtend einzusetzende Lernstandserhebungen VERA / DVA Gegenstand ist der Umgang mit den Lernstandserhebungen VERA / DVA

EvaluationsVO (Verordnung des Kultusministeriums vom 01.08.2008) Vorgaben für Lernstandserhebungen im Kontext der Schulentwicklung in BW Bildungsplan 2004 … empirisch gesicherte, zielgerichtete und systematische Qualitätsentwicklung vor Ort. … (Einführung in den Bildungsplan) Selbstevaluation und Fremdevaluation im Schulgesetz verankert (Gesetz zur Änderung des Schulgesetzes vom 18.12.2006) EvaluationsVO (Verordnung des Kultusministeriums vom 01.08.2008) Verwaltungsvorschrift des Kultusministerium zu den Vergleichsarbeiten (Verwaltungsvorschrift vom 22. September 2011)

Vergleichsarbeiten DVA - Ziele Qualitätsentwicklung in der Schule Feststellung des Lernstands der Schüler/-innen Vortragsnotiz: Feststellung des Lernstands der Schüler/-innen: Die Arbeiten sollen den Lehrkräften, den Schülern und deren Eltern objektive Informationen über den relativen Leistungsstand der Schüler vermitteln: Auskunft geben, wo ein Schüler im Vergleich zu anderen Schülern, eine Klasse im Vergleich zu anderen Klassen steht. Qualitätsentwicklung in der Schule Die Vergleichsarbeiten helfen zu überprüfen, inwieweit es gelungen ist, die Erwartungen der baden-württembergischen Bildungsstandards zu erreichen und dienen damit der empirisch gesicherten, zielgerichteten und systematischen Qualitätsentwicklung. Die Arbeiten liefern landesweite Vergleichswerte für die Selbstevaluation der Schulen. Der Umgang der Schulen mit den Ergebnissen ist Gegenstand der Fremdevaluation.

SEV in BW - Qualitätshaus der Schule Prozesse Voraussetzungen und Bedingungen Ergebnisse und Wirkungen I Unterricht II Professionalität der Lehrkräfte III Schulführung und Schulmanagement IV Schul- und Klassenklima V Inner- und außerschulische Partnerschaften Rahmen-vorgaben Sächliche und personelle Ressourcen Schüler/-innen sowie deren Lebensumfeld Fachliche und überfachliche Lernergebnisse Schul-/ Laufbahnerfolg Bewertung schulischer Arbeit Qualitätssicherung und Qualitätsentwicklung

SEV in BW - Vergleichsarbeiten Prozesse – Qualitätsbereich I, Unterricht, Kriterium I 2: Gestaltung der Lehr- und Lernprozesse Aufbereitung, Analyse und Interpretation der Ergebnisse der Schüler- und Klassenleistungen, zum Beispiel aus den Vergleichsarbeiten Ergebnisse und Wirkungen – fachliche Lernergebnisse Die Schule reflektiert ihre Arbeit an den von den SuS erbrachten fachlichen Leistungen ..., Beispiele: Vergleichsarbeiten Qualitätssicherung und Qualitätsentwicklung Kriterium Q2: Strukturen der schulischen Qualitätsentwicklung Kriterium Q3: Durchführung der Selbstevaluation

Vergleichsarbeiten DVA – standardisierte Testverfahren Anforderungen zielgerichtete und systematische Entwicklung von Aufgaben standardisierte Durchführung, Korrektur, Auswertung Pilotierung der Aufgaben an einer repräsentativen Stichprobe Berechnung landesweiter Vergleichswerte Mehrwert objektive Feststellung des Leistungsstands / Vergleich mit Referenzwerten

Mehrwert von Vergleichsarbeiten Anzahl Items Mittelwert Kl. A Landes- mittel Mittelwert Kl. B Klasse A (Notenschnitt 3,0) Klasse B (Notenschnitt 3,0)

Unterschied Vergleichsarbeiten - Klassenarbeiten Vergleichsarbeiten DVA messen unabhängig vom Unterricht und der Klassensituation das Erreichen von Kompetenzen zielen auf nachhaltige Lernergebnisse haben empirisch ermittelte Bewertungsmaßstäbe Klassenarbeiten überprüfen abhängig vom Unterricht und der Klassensituation den Lernerfolg aktueller Unterrichtseinheiten zielen auf lernprozessnahe Überprüfung des Lernerfolgs haben durch pädagogisch-didaktische Erfahrung der Lehrkräfte ermittelte Bewertungsmaßstäbe Die Verfahren ergänzen sich, beide haben einen wichtigen Stellenwert in der Schule

Lernaufgaben - Testaufgaben Lernaufgaben: Lernprozesse initiieren und unterstützen sind häufig „komplexe“ Aufgaben mit diversen Lösungsmöglichkeiten ermöglichen Lernen anhand von Fehlern Testaufgaben: Lernstand ermitteln erfassen möglichst abgrenzbare Teilkompetenzen erfordern standardisierte Bedingungen sind objektiv auswertbare Aufgaben mit eindeutigen Lösungen => können nicht ohne Weiteres als Lernaufgaben im Unterricht eingesetzt werden

Beispiel für eine Lernaufgabe

Beispiel für eine Testaufgabe Warum gibt es erst bei drei korrekten Kreuzen einen Punkt?

Gewinnung der landesweiten Vergleichswerte Landesweite Vergleichswerte aus dem Pilotierungsverfahren Erprobung etwa doppelt so vieler Aufgaben wie benötigt Repräsentative Stichprobe Rückmeldung der Pilotierungsergebnisse an das LS Berechnung der Vergleichswerte Auswahl geeigneter Aufgaben für die DVA Rückmeldung der Ergebnisse der DVA an das LS Evaluation der prognostizierten Werte

Zusammenstellung einer DVA Prinzipien der Aufgabenauswahl 10 bis 20 Items pro Schwerpunktbereich (SPB) Items mit akzeptablen Lösungswahrscheinlichkeiten (zwischen 10 und 90 Prozent) und guter Modellpassung Items streuen über die gesamte Schwierigkeitsbandbreite (einige leichte, mehr mittlere und einige schwierige Items) Items ergeben durchschnittlich für jeden Schwerpunktbereich einen mittelschweren Test (durchschnittliche Lösungswahrscheinlichkeit ca. 50 Prozent)

Umgang mit den Ergebnisrückmeldungen DVA 2011

Nutzen für verschiedene Personengruppen teilnehmende Fachlehrkraft → eigener Unterricht Lehrerteams der Klasse → Förderung einzelner Schüler (-gruppen) des Faches → fachdidaktische Weiterentwicklung der Jahrgangsstufe → Förderung ganzer Klassen oder klassenübergreifender Schülergruppen Schulteams → schulische Grundsätze / Leitbild / Rahmenbedingungen / …

Umgang mit den Daten Ergebnisse werden analysiert Ergebnisse werden interpretiert Konsequenzen werden gezogen Auswertungsergebnisse werden in eigener Verantwortung für die interne Schulenwicklung genutzt

Ergebnisse analysieren Bedeutung von Zahlenwerten und Darstellungen klären Extrem hohe und extrem niedrige Werte ermitteln Vergleiche mit Bezugsgruppen ziehen (Parallelklassen, Schule, Land) Bedeutsame Unterschiede feststellen Inhaltliche Zuordnungen zum Bildungsplan vornehmen Vergleich mit eigenen Erwartungen herstellen Analyse schriftlich dokumentieren!

Auswertungsmappen Auswertungsmappe - Klasse für Lehrkräfte Lernstand der Klasse konzipiert für den klassenbezogenen Vergleich Auswertungsmappe - Schule für Schulleitung bzw. Schulteams Überblick über den Lernstand aller getesteten Klassen der Schule konzipiert für den klassenübergreifenden Vergleich

Auswertungsmappe – Klasse: Gesamttest

Auswertungsmappe – Klasse: Gesamttest

Auswertungsmappe – Klasse: Schwerpunktbereiche

Auswertungsmappe – Klasse: Schwerpunktbereiche

Auswertungsmappe – Klasse: Leistungsgruppen

Auswertungsmappe – Klasse: Einzelergebnisse

Auswertungsmappe – Schule: Gesamttest

Auswertungsmappe – Schule: Schwerpunktbereiche

Auswertungsmappe – Schule: Leistungsgruppen

Präsentation unter „Wir über uns/Veranstaltungen“ www.dva-bw.de Präsentation unter „Wir über uns/Veranstaltungen“ Ansprechpartner: Deutsch / Fremdsprachen guenther.scheefer@ls.kv.bwl.de Allgemeines zu Vergleichsarbeiten / Mathematik kristiane.reiber@ls.kv.bwl.de