Vergleichsarbeiten “DVA” Mathematik Konzeption Umgang mit den Ergebnissen im Rahmen der Selbstevaluation

Impressum Diese Materialien wurden von K. Reiber, Landesinstitut für Schulentwicklung erstellt. Sie sind für den Einsatz im Rahmen der Fortbildungs-veranstaltungen vorgesehen. Die Materialien dürfen von den Multiplikatoren für ihren eigenen Einsatz angepasst werden

Inhalt Konzeption der Vergleichsarbeiten ‘DVA’ - Ziele - Aufgabenkonstruktion - Unterschied Lernaufgaben – Testaufgaben - Aufgabenformate - Verfahrensschritte - Aufgabenauswahl Umgang mit deren Ergebnissen im Rahmen der Selbstevaluation - Analyse - Interpretation - Konsequenzen ziehen

DVA - Ziele Qualitätsentwicklung der Schule Die Vergleichsarbeiten überprüfen, inwieweit es den Schulen gelungen ist, die Erwartungen der baden-württembergischen Bildungsstandards zu erreichen und dienen damit der empirisch gesicherten, zielgerichteten und systematischen Qualitätsentwicklung vor Ort. Die Arbeiten liefern landesweite Vergleichswerte für die Selbst- evaluation der Schulen. Der Umgang der Schulen mit den Ergebnissen ist Gegenstand der Fremdevaluation. Individueller Lernstand der Schüler Die Vergleichsarbeiten vermitteln den Lehrkräften, den Schülerinnen und Schülern sowie deren Eltern in ausgewählten Fächern objektive Informationen über den jeweiligen individuellen Lernstand in Hinblick auf bestimmte in den Bildungsstandards ausgewiesene Kompetenzen.

DVA – Unterschied zu Klassenarbeiten Vergleichsarbeiten ‘DVA’ standardisierte Tests, die - unabhängig vom Unterricht und der Klassensituation - das Erreichen von Kompetenzen des Bildungsstandards messen. Sie zielen damit auf nachhaltige Lernergebnisse. Klassenarbeiten informelle Verfahren, die - abhängig vom Unterricht und der Klassensituation - den Lernerfolg aktueller Unterrichtseinheiten überprüfen. Sie zielen damit auf lernprozessnahe Überprüfung des Lernerfolgs. standardisierter wissenschaftlicher Test: Theorie liegt zugrunde (prob. Testtheorie). Verfahren zur Ermittlung einer definierten Merkmalsausprägung, muss Gütekriterien erfüllen. Wird empirisch überprüft. Unterschied zu Klassenarbeiten: Messqualität unterliegt pädogisch- didaktischem Expertenurteil des Lehrers. Wird nicht empirisch überprüft.

DVA - Anforderungen an Vergleichsarbeiten Vergleichsarbeiten sind standardisierte Tests, die nach sozialwissenschaftlichen Methoden entwickelt werden zielgerichtete und systematische Konstruktion von Aufgaben standardisierte Durchführung, Korrektur, Auswertung Erprobung der Aufgaben an einer repräsentativen Stichprobe Berechnung landesweiter Vergleichswerte Evaluation der Arbeiten und des Verfahrens standardisierter wissenschaftlicher Test: eine Theorie liegt zugrunde (prob. Testtheorie). Verfahren zur Ermittlung einer definierten Merkmalsausprägung, muss Gütekriterien erfüllen. Wird empirisch überprüft. Unterschied zu Klassenarbeiten. (Informelle Verfahren, orientieren sich am Verlauf zurückliegender Unterrichtseinheiten, Messqualität unterliegt pädogisch-didaktischem Expertenurteil des Lehrers. Wird nicht empirisch überprüft

DVA - Anforderungen an Vergleichsarbeiten Gütekriterien für Vergleichsarbeiten als standardisierte Tests Validität (Wie gut misst der Test, was er zu messen soll?) Reliabilität (Wie genau misst der Test, was er misst?) Objektivität (Wie unabhängig ist das Testergebnis von Einflüssen außerhalb der Testperson?) Dies bedingt eine sorgfältige Konstruktion von Aufgaben für diese Zielsetzung (vgl. auch large-scale-Tests, PISA, TIMMS, VERA 8) Dies bedingt, dass sich Aufgaben für Tests deutlich von Aufgaben unterscheiden, die im Unterricht verwendet werden. => Lernaufgaben

Zum Unterschied von Lernaufgaben und Testaufgaben Lernaufgaben - Lernprozesse initiieren und unterstützen häufig „komplexe“ Aufgaben mit diversen Lösungsmöglichkeiten Fehler als Lernmöglichkeit Testaufgaben - Lernstand ermitteln “produktorientierte Momentaufnahme“ erfassen möglichst abgrenzbare Teilkompetenzen standardisierte Bedingungen objektiv auswertbare Aufgaben mit eindeutigen Lösungen können nicht ohne Weiteres als Lernaufgaben im Unterricht eingesetzt werden

Zum Unterschied von Lernaufgaben und Testaufgaben

Zum Unterschied von Lernaufgaben und Testaufgaben Testaufgabe (DVA 2008, GY8M)

Konstruktion von Testaufgaben: zielgerichtet und systematisch Zieldefinition - Vor der Entwicklung der Aufgabe muss die zu überprüfende Kompetenz festliegen Validität - Die Aufgabenstellung muss das abprüfen, was sie vorgibt zu messen Objektivität - Die Aufgabenstellung und die Korrekturanweisung müssen eindeutig, das heißt klar und unmissverständlich sowie vollständig formuliert sein Die Einzelaufgaben sollten voneinander unabhängig sein Die verschiedenen Aufgabenformate – geschlossen, halboffen, offen– und ihre jeweiligen Besonderheiten sind zu beachten

DVA - Aufgabenformate

DVA - Aufgabenformate

DVA - Aufgabenformate

DVA - Aufgabenformate

DVA - 10 Verfahrensschritte Curriculare Analyse und Zieldefinition Aufgabenformulierung - Itemdefinition Zusammenstellung von Pilotierungsmodulen Herstellung der Materialien für die Pilotierung Pilotierung der Aufgaben Teststatistische Analysen Auswahl der Aufgaben für den Test (Vergleichsarbeit) Herstellung der Materialien für den Test Einsatz der Vergleichsarbeiten Auswertung der Erfahrungen (Evaluation) 1. Schuljahr 2. Schuljahr Etwa 100 Aufgaben werden konstruiert => etwa 30 Aufgaben für Test 3. Schulj.

DVA - Aufgabenentwicklung im LS Aufgabenfindungsgruppe Standardexperte Fachdidaktiker drei Schulpraktiker Gruppenleiter (LS) Prüflesung Externe Fachberater AFG konstruiert ca. 100 Items pro Entwicklungszyklus, die in der Pilotierung erprobt werden Prüflesung erfolgt vor der Pilotierung, um evtl. Änderungswünsche einarbeiten zu können bzw. Fehler zu korrigieren

DVA - Auswahl der Aufgaben Anhand statistischer Kennwerte, ermittelt in der Pilotierung Schwierigkeit (ermittelt aus Lösungshäufigkeit in Pilotierung) Trennschärfe (Item wird von fachlich starken Schülern deutlich häufiger als von fachlich schwächeren Schülern gelöst) Schwerpunktbereiche sind notwendig genügend Items („Messpunkte“) für zuverlässige Messung => nicht der gesamte Bildungsstandard kann überprüft werden

Auswahl der Aufgaben für den Test Aufgaben zu Schwerpunktbereich II x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x xxx x x x x x x x x mittlere Lösungshäufigkeit (Schüler mittlerer Fähigkeit löst ca. 50% der Items) 31 - Reiber x x x x x x x xx x xx x x x x x xx xxx x xx x x x x x x xxxx x xxx

DVA – Materialien: Schülerarbeitsblätter

DVA – Materialien: Testspezifische Hinweise

DVA – Materialien: Testspezifische Auswertungsmappe “Klasse”

DVA – Materialien: Testspezifische Auswertungsmappe “Klasse”

DVA – Materialien: Auswertungsmappe “Schule”

DVA – Materialien: Auswertungsmappe “Schule”

DVA - Vorgaben im Kontext der Schulentwicklung Selbstevaluation und Fremdevaluation im Schulgesetz verankert (1)Die Schulen führen zur Bewertung ihrer Schul- und Unterrichtsqualität regelmäßig Selbstevaluation durch…. Das LS führt in angemessenen zeitlichen Abständen Fremdevaluation durch…. (2) Das KM kann Schüler und Lehrer verpflichten, an Lernstandserhebungen von internationalen, nationalen und landesweiten Vergleichsuntersuchungen teilzunehmen….. (Gesetz zur Änderung des Schulgesetzes vom 18.12.2006) EvaluationsVO § 5 Verfahren, Methoden Die Ergebnisse von zentralen Leistungsfeststellungsverfahren sind bei der Selbstevaluation einzubeziehen. (Verordnung des Kultusministeriums vom 01.08.2008) Bildungsplan 2004 … empirisch gesicherte, zielgerichtete und systematische Qualitätsentwicklung vor Ort…. (Einführung in den Bildungsplan) Verwaltungsvorschrift des Kultusministerium zu den Vergleichsarbeiten vom 17.05.2009 ... In den Klassen 7, 9 und in der ersten Jahrgangsstufe des Gymnasium der Normalform ... werden jeweils zu Beginn des Schuljahres schriftliche Arbeiten angefertigt ... (Vergleichsarbeiten) ... Diese Arbeiten sind ein diagnostisches Instrument, das sich auf den Lernstand des jeweils vorangegangenen Schuljahres bezieht. Sie werden nicht benotet. (§5 der Notenbildungsverordnung entfällt)

DVA – Einbettung in Orientierungsrahmen und Schulportfolio Orientierungsrahmen zur Schulqualität Qualitätsbereich I Unterricht, Kriterium I 2: „Aufbereitung , Analyse und Interpretation der Ergebnisse der Schüler- und Klassenleistungen, zum Beispiel aus den Diagnose- und Vergleichsarbeiten“ Ergebnisse und Wirkungen, fachliche und überfachliche Lernergebnisse „Die Schule reflektiert ihre Arbeit an den von den Schüler/innen erbrachten fachlichen Leistungen…“ Beispiel: Diagnose- und Vergleichsarbeiten Qualitätssicherung und Qualitätsentwicklung: „Verpflichtende Instrumente der Selbstevaluation - 6.1. Diagnose- und Vergleichsarbeiten“ Handreichung Schulportfolio Ergebnisbezogene Angaben: Darzustellen sind Diagnose- und Vergleichsarbeiten auf Ebene der Klassenstufe

DVA - Umgang mit den Ergebnissen Die Nutzung der Daten sollte zielgerichtet und systematisch verlaufen. 1. Schritt: Analyse der Ergebnisse 2. Schritt: Interpretation der Ergebnisse 3. Schritt: Konsequenzen ziehen

1. Schritt: Analyse der Ergebnisse Ergebnisse analysieren: die in der Auswertungsmappe dargestellten Ergebnisse systematisch betrachten und Auffälligkeiten feststellen Bedeutungen von Zahlenwerten und Darstellungen klären extrem hohe und niedrige Werte erkennen (z.B. stark unter- oder überbesetzte Gruppen) Vergleiche ziehen und Abweichungen feststellen (z.B. zu landesweiten Vergleichswerten, zu eigenen Erwartungen) inhaltliche Zuordnungen vornehmen (z.B. zum Bildungsplan)

1. Schritt: Analyse der Ergebnisse (Klasse) Auswertungsmappe “Klasse” für die durchführenden Lehrkräfte zeigt den Lernstand der Klasse konzipiert für den klassenbezogenen Vergleich Auswertungsmappe “Schule” für die Schulleitung oder Schulteams Überblick über Leistungen der Schule insgesamt konzipiert für den klassenübergreifenden Vergleich

1. Schritt: Analyse der Ergebnisse (Klasse) übernehmende und angebende Fachlehrkraft zurück

1. Schritt: Analyse der Ergebnisse (Klasse) übernehmende und angebende Fachlehrkraft

1. Schritt: Analyse der Ergebnisse (Klasse) übernehmende und angebende Fachlehrkraft

1. Schritt: Analyse der Ergebnisse (Klasse) neue und alte Fachlehrkraft, Fachschaft

1. Schritt: Analyse der Ergebnisse (Klasse) neue und alte Fachlehrkraft, Lehrkräfte der Klasse

1. Schritt: Analyse der Ergebnisse (Klasse) übernehmende und angebende Fachlehrkraft Lehrkräfte der Klasse

1. Schritt: Analyse der Ergebnisse (Klasse) übernehmende und angebende Fachlehrkraft Lehrkräfte der Klasse

Schülermittung als Rückmeldemöglichkeit Kann optional eingesetzt werden

2. Schritt: Interpretation der Ergebnisse Ergebnisse interpretieren: erste Bewertungen vornehmen und Erklärungen suchen Auffälligkeiten und Abweichungen umfassend deuten mögliche Ursachen und Hintergründe suchen Vermutungen über Zusammenhänge formulieren Schulleistungen werden durch vielfältige Faktoren beeinflusst, die in einem komplexen Zusammenhang zueinander stehen und sich wechselseitig bedingen (Schule und Unterricht, Persönlichkeit des Kindes, Gleichaltrige, Familie und Erziehung, …) (Näheres vgl. Handreichung „Vergleichsarbeiten ‘DVA’ - Umgang mit den Ergebnissen im Rahmen der Selbstevaluation der Schulen“)

3. Schritt: Konsequenzen ziehen Konsequenzen ziehen: Ziele für das weitere Vorgehen formulieren, Maßnahmen planen und umsetzen für die Schule für eine bestimmten Fachbereich für eine gesamte Jahrgangsstufe für den eigenen Unterricht für bestimmte Klassen für die einzelne Schülerin/ den einzelnen Schüler (Näheres vgl. Handreichung „Vergleichsarbeiten DVA - Umgang mit den Ergebnissen im Rahmen der Selbstevaluation der Schulen“)

Umfang der Diagnose- und Vergleichsarbeiten Grundschule Klasse 3 VERA 3 (bundesweites Verfahren, Projektleitung Universität Koblenz-Landau) Hauptschule Klasse 7 (Bildungsstandard 6) Deutsch und Mathematik Realschule Klasse 7 (Bildungsstandard RS6) Deutsch und Mathematik Realschule Klasse 9 (Bildungsstandard RS8) Deutsch und Mathematik, Englisch oder Französisch Gymnasium Klasse 7 (Bildungsstandard GY6) Deutsch und Mathematik Gymnasium Klasse 9 (Bildungsstandard GY8) Deutsch und Mathematik, Englisch oder Französisch oder Latein Ab 2011: Gymnasium Klasse 11 (Bildungsstandard GY10) Deutsch und Mathematik, Biologie oder Chemie oder Physik

Aktuelle Informationen zu den Vergleichsarbeiten: www.dva-bw.de