Vergleichsarbeiten “DVA” Mathematik

Präsentation zum Thema: "Vergleichsarbeiten “DVA” Mathematik"—  Präsentation transkript:

1 Vergleichsarbeiten “DVA” Mathematik
Konzeption Umgang mit den Ergebnissen im Rahmen der Selbstevaluation

2 Impressum Diese Materialien wurden von K. Reiber, Landesinstitut für Schulentwicklung erstellt. Sie sind für den Einsatz im Rahmen der Fortbildungs-veranstaltungen vorgesehen. Die Materialien dürfen von den Multiplikatoren für ihren eigenen Einsatz angepasst werden

3 Inhalt Konzeption der Vergleichsarbeiten ‘DVA’
- Ziele - Aufgabenkonstruktion - Unterschied Lernaufgaben – Testaufgaben - Aufgabenformate - Verfahrensschritte - Aufgabenauswahl Umgang mit deren Ergebnissen im Rahmen der Selbstevaluation - Analyse - Interpretation - Konsequenzen ziehen

4 DVA - Ziele Qualitätsentwicklung der Schule Die Vergleichsarbeiten überprüfen, inwieweit es den Schulen gelungen ist, die Erwartungen der baden-württembergischen Bildungsstandards zu erreichen und dienen damit der empirisch gesicherten, zielgerichteten und systematischen Qualitätsentwicklung vor Ort. Die Arbeiten liefern landesweite Vergleichswerte für die Selbst- evaluation der Schulen. Der Umgang der Schulen mit den Ergebnissen ist Gegenstand der Fremdevaluation. Individueller Lernstand der Schüler Die Vergleichsarbeiten vermitteln den Lehrkräften, den Schülerinnen und Schülern sowie deren Eltern in ausgewählten Fächern objektive Informationen über den jeweiligen individuellen Lernstand in Hinblick auf bestimmte in den Bildungsstandards ausgewiesene Kompetenzen.

5 DVA – Unterschied zu Klassenarbeiten
Vergleichsarbeiten ‘DVA’ standardisierte Tests, die - unabhängig vom Unterricht und der Klassensituation - das Erreichen von Kompetenzen des Bildungsstandards messen. Sie zielen damit auf nachhaltige Lernergebnisse. Klassenarbeiten informelle Verfahren, die - abhängig vom Unterricht und der Klassensituation - den Lernerfolg aktueller Unterrichtseinheiten überprüfen. Sie zielen damit auf lernprozessnahe Überprüfung des Lernerfolgs. standardisierter wissenschaftlicher Test: Theorie liegt zugrunde (prob. Testtheorie). Verfahren zur Ermittlung einer definierten Merkmalsausprägung, muss Gütekriterien erfüllen. Wird empirisch überprüft. Unterschied zu Klassenarbeiten: Messqualität unterliegt pädogisch- didaktischem Expertenurteil des Lehrers. Wird nicht empirisch überprüft.

6 DVA - Anforderungen an Vergleichsarbeiten
Vergleichsarbeiten sind standardisierte Tests, die nach sozialwissenschaftlichen Methoden entwickelt werden zielgerichtete und systematische Konstruktion von Aufgaben standardisierte Durchführung, Korrektur, Auswertung Erprobung der Aufgaben an einer repräsentativen Stichprobe Berechnung landesweiter Vergleichswerte Evaluation der Arbeiten und des Verfahrens standardisierter wissenschaftlicher Test: eine Theorie liegt zugrunde (prob. Testtheorie). Verfahren zur Ermittlung einer definierten Merkmalsausprägung, muss Gütekriterien erfüllen. Wird empirisch überprüft. Unterschied zu Klassenarbeiten. (Informelle Verfahren, orientieren sich am Verlauf zurückliegender Unterrichtseinheiten, Messqualität unterliegt pädogisch-didaktischem Expertenurteil des Lehrers. Wird nicht empirisch überprüft

7 DVA - Anforderungen an Vergleichsarbeiten
Gütekriterien für Vergleichsarbeiten als standardisierte Tests Validität (Wie gut misst der Test, was er zu messen soll?) Reliabilität (Wie genau misst der Test, was er misst?) Objektivität (Wie unabhängig ist das Testergebnis von Einflüssen außerhalb der Testperson?) Dies bedingt eine sorgfältige Konstruktion von Aufgaben für diese Zielsetzung (vgl. auch large-scale-Tests, PISA, TIMMS, VERA 8) Dies bedingt, dass sich Aufgaben für Tests deutlich von Aufgaben unterscheiden, die im Unterricht verwendet werden. => Lernaufgaben

8 Zum Unterschied von Lernaufgaben und Testaufgaben
Lernaufgaben - Lernprozesse initiieren und unterstützen häufig „komplexe“ Aufgaben mit diversen Lösungsmöglichkeiten Fehler als Lernmöglichkeit Testaufgaben - Lernstand ermitteln “produktorientierte Momentaufnahme“ erfassen möglichst abgrenzbare Teilkompetenzen standardisierte Bedingungen objektiv auswertbare Aufgaben mit eindeutigen Lösungen können nicht ohne Weiteres als Lernaufgaben im Unterricht eingesetzt werden

9 Zum Unterschied von Lernaufgaben und Testaufgaben

10 Zum Unterschied von Lernaufgaben und Testaufgaben
Testaufgabe (DVA 2008, GY8M)

11 Konstruktion von Testaufgaben: zielgerichtet und systematisch
Zieldefinition - Vor der Entwicklung der Aufgabe muss die zu überprüfende Kompetenz festliegen Validität - Die Aufgabenstellung muss das abprüfen, was sie vorgibt zu messen Objektivität - Die Aufgabenstellung und die Korrekturanweisung müssen eindeutig, das heißt klar und unmissverständlich sowie vollständig formuliert sein Die Einzelaufgaben sollten voneinander unabhängig sein Die verschiedenen Aufgabenformate – geschlossen, halboffen, offen– und ihre jeweiligen Besonderheiten sind zu beachten

12 DVA - Aufgabenformate

13 DVA - Aufgabenformate

14 DVA - Aufgabenformate

15 DVA - Aufgabenformate

16 DVA - 10 Verfahrensschritte
Curriculare Analyse und Zieldefinition Aufgabenformulierung - Itemdefinition Zusammenstellung von Pilotierungsmodulen Herstellung der Materialien für die Pilotierung Pilotierung der Aufgaben Teststatistische Analysen Auswahl der Aufgaben für den Test (Vergleichsarbeit) Herstellung der Materialien für den Test Einsatz der Vergleichsarbeiten Auswertung der Erfahrungen (Evaluation) 1. Schuljahr 2. Schuljahr Etwa 100 Aufgaben werden konstruiert => etwa 30 Aufgaben für Test 3. Schulj.

17 DVA - Aufgabenentwicklung im LS
Aufgabenfindungsgruppe Standardexperte Fachdidaktiker drei Schulpraktiker Gruppenleiter (LS) Prüflesung Externe Fachberater AFG konstruiert ca. 100 Items pro Entwicklungszyklus, die in der Pilotierung erprobt werden Prüflesung erfolgt vor der Pilotierung, um evtl. Änderungswünsche einarbeiten zu können bzw. Fehler zu korrigieren

18 DVA - Auswahl der Aufgaben
Anhand statistischer Kennwerte, ermittelt in der Pilotierung Schwierigkeit (ermittelt aus Lösungshäufigkeit in Pilotierung) Trennschärfe (Item wird von fachlich starken Schülern deutlich häufiger als von fachlich schwächeren Schülern gelöst) Schwerpunktbereiche sind notwendig genügend Items („Messpunkte“) für zuverlässige Messung => nicht der gesamte Bildungsstandard kann überprüft werden

19 Auswahl der Aufgaben für den Test
Aufgaben zu Schwerpunktbereich II x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x xxx x x x x x x x x mittlere Lösungshäufigkeit (Schüler mittlerer Fähigkeit löst ca. 50% der Items) 31 - Reiber x x x x x x x xx x xx x x x x x xx xxx x xx x x x x x x xxxx x xxx

20 DVA – Materialien: Schülerarbeitsblätter

21 DVA – Materialien: Testspezifische Hinweise

22 DVA – Materialien: Testspezifische Auswertungsmappe “Klasse”

23 DVA – Materialien: Testspezifische Auswertungsmappe “Klasse”

24 DVA – Materialien: Auswertungsmappe “Schule”

25 DVA – Materialien: Auswertungsmappe “Schule”

26 DVA - Vorgaben im Kontext der Schulentwicklung
Selbstevaluation und Fremdevaluation im Schulgesetz verankert (1)Die Schulen führen zur Bewertung ihrer Schul- und Unterrichtsqualität regelmäßig Selbstevaluation durch…. Das LS führt in angemessenen zeitlichen Abständen Fremdevaluation durch…. (2) Das KM kann Schüler und Lehrer verpflichten, an Lernstandserhebungen von internationalen, nationalen und landesweiten Vergleichsuntersuchungen teilzunehmen….. (Gesetz zur Änderung des Schulgesetzes vom ) EvaluationsVO § 5 Verfahren, Methoden Die Ergebnisse von zentralen Leistungsfeststellungsverfahren sind bei der Selbstevaluation einzubeziehen. (Verordnung des Kultusministeriums vom ) Bildungsplan 2004 … empirisch gesicherte, zielgerichtete und systematische Qualitätsentwicklung vor Ort…. (Einführung in den Bildungsplan) Verwaltungsvorschrift des Kultusministerium zu den Vergleichsarbeiten vom In den Klassen 7, 9 und in der ersten Jahrgangsstufe des Gymnasium der Normalform ... werden jeweils zu Beginn des Schuljahres schriftliche Arbeiten angefertigt ... (Vergleichsarbeiten) ... Diese Arbeiten sind ein diagnostisches Instrument, das sich auf den Lernstand des jeweils vorangegangenen Schuljahres bezieht. Sie werden nicht benotet. (§5 der Notenbildungsverordnung entfällt)

27 DVA – Einbettung in Orientierungsrahmen und Schulportfolio
Orientierungsrahmen zur Schulqualität Qualitätsbereich I Unterricht, Kriterium I 2: „Aufbereitung , Analyse und Interpretation der Ergebnisse der Schüler- und Klassenleistungen, zum Beispiel aus den Diagnose- und Vergleichsarbeiten“ Ergebnisse und Wirkungen, fachliche und überfachliche Lernergebnisse „Die Schule reflektiert ihre Arbeit an den von den Schüler/innen erbrachten fachlichen Leistungen…“ Beispiel: Diagnose- und Vergleichsarbeiten Qualitätssicherung und Qualitätsentwicklung: „Verpflichtende Instrumente der Selbstevaluation Diagnose- und Vergleichsarbeiten“ Handreichung Schulportfolio Ergebnisbezogene Angaben: Darzustellen sind Diagnose- und Vergleichsarbeiten auf Ebene der Klassenstufe

28 DVA - Umgang mit den Ergebnissen
Die Nutzung der Daten sollte zielgerichtet und systematisch verlaufen. 1. Schritt: Analyse der Ergebnisse 2. Schritt: Interpretation der Ergebnisse 3. Schritt: Konsequenzen ziehen

29 1. Schritt: Analyse der Ergebnisse
Ergebnisse analysieren: die in der Auswertungsmappe dargestellten Ergebnisse systematisch betrachten und Auffälligkeiten feststellen Bedeutungen von Zahlenwerten und Darstellungen klären extrem hohe und niedrige Werte erkennen (z.B. stark unter- oder überbesetzte Gruppen) Vergleiche ziehen und Abweichungen feststellen (z.B. zu landesweiten Vergleichswerten, zu eigenen Erwartungen) inhaltliche Zuordnungen vornehmen (z.B. zum Bildungsplan)

30 1. Schritt: Analyse der Ergebnisse (Klasse)
Auswertungsmappe “Klasse” für die durchführenden Lehrkräfte zeigt den Lernstand der Klasse konzipiert für den klassenbezogenen Vergleich Auswertungsmappe “Schule” für die Schulleitung oder Schulteams Überblick über Leistungen der Schule insgesamt konzipiert für den klassenübergreifenden Vergleich

31 1. Schritt: Analyse der Ergebnisse (Klasse)
übernehmende und angebende Fachlehrkraft zurück

32 1. Schritt: Analyse der Ergebnisse (Klasse)
übernehmende und angebende Fachlehrkraft

33 1. Schritt: Analyse der Ergebnisse (Klasse)
übernehmende und angebende Fachlehrkraft

34 1. Schritt: Analyse der Ergebnisse (Klasse)
neue und alte Fachlehrkraft, Fachschaft

35 1. Schritt: Analyse der Ergebnisse (Klasse)
neue und alte Fachlehrkraft, Lehrkräfte der Klasse

36 1. Schritt: Analyse der Ergebnisse (Klasse)
übernehmende und angebende Fachlehrkraft Lehrkräfte der Klasse

37 1. Schritt: Analyse der Ergebnisse (Klasse)
übernehmende und angebende Fachlehrkraft Lehrkräfte der Klasse

38 Schülermittung als Rückmeldemöglichkeit
Kann optional eingesetzt werden

39 2. Schritt: Interpretation der Ergebnisse
Ergebnisse interpretieren: erste Bewertungen vornehmen und Erklärungen suchen Auffälligkeiten und Abweichungen umfassend deuten mögliche Ursachen und Hintergründe suchen Vermutungen über Zusammenhänge formulieren Schulleistungen werden durch vielfältige Faktoren beeinflusst, die in einem komplexen Zusammenhang zueinander stehen und sich wechselseitig bedingen (Schule und Unterricht, Persönlichkeit des Kindes, Gleichaltrige, Familie und Erziehung, …) (Näheres vgl. Handreichung „Vergleichsarbeiten ‘DVA’ - Umgang mit den Ergebnissen im Rahmen der Selbstevaluation der Schulen“)

40 3. Schritt: Konsequenzen ziehen
Konsequenzen ziehen: Ziele für das weitere Vorgehen formulieren, Maßnahmen planen und umsetzen für die Schule für eine bestimmten Fachbereich für eine gesamte Jahrgangsstufe für den eigenen Unterricht für bestimmte Klassen für die einzelne Schülerin/ den einzelnen Schüler (Näheres vgl. Handreichung „Vergleichsarbeiten DVA - Umgang mit den Ergebnissen im Rahmen der Selbstevaluation der Schulen“)

41 Umfang der Diagnose- und Vergleichsarbeiten
Grundschule Klasse 3 VERA 3 (bundesweites Verfahren, Projektleitung Universität Koblenz-Landau) Hauptschule Klasse 7 (Bildungsstandard 6) Deutsch und Mathematik Realschule Klasse 7 (Bildungsstandard RS6) Deutsch und Mathematik Realschule Klasse 9 (Bildungsstandard RS8) Deutsch und Mathematik, Englisch oder Französisch Gymnasium Klasse 7 (Bildungsstandard GY6) Deutsch und Mathematik Gymnasium Klasse 9 (Bildungsstandard GY8) Deutsch und Mathematik, Englisch oder Französisch oder Latein Ab 2011: Gymnasium Klasse 11 (Bildungsstandard GY10) Deutsch und Mathematik, Biologie oder Chemie oder Physik

42 Aktuelle Informationen zu den Vergleichsarbeiten: