Landesakademie Esslingen Lehrgang vom –

Präsentation zum Thema: "Landesakademie Esslingen Lehrgang vom –"—  Präsentation transkript:

1 Landesakademie Esslingen Lehrgang vom 09.01. – 11.01. 2012
Die Konzeption der Vergleichsarbeiten DVA als standardisierte Lernstandserhebung Landesakademie Esslingen Lehrgang vom –

2 Konzeption und Ziele der Vergleichsarbeiten DVA

3 Lernstandserhebungen als Instrumente der Evaluation
Selbstevaluation Fremdevaluation Informelle, frei wählbare Verfahren (Beobachtungsbogen, Fragebogen, Interviews etc.) Standardisierte, verpflichtend einzusetzende Lernstandserhebungen VERA / DVA Gegenstand ist der Umgang mit den Lernstandserhebungen VERA / DVA

4 EvaluationsVO (Verordnung des Kultusministeriums vom 01.08.2008)
Vorgaben für Lernstandserhebungen im Kontext der Schulentwicklung in BW Bildungsplan … empirisch gesicherte, zielgerichtete und systematische Qualitätsentwicklung vor Ort. … (Einführung in den Bildungsplan) Selbstevaluation und Fremdevaluation im Schulgesetz verankert (Gesetz zur Änderung des Schulgesetzes vom ) EvaluationsVO (Verordnung des Kultusministeriums vom ) Verwaltungsvorschrift des Kultusministerium zu den Vergleichsarbeiten (Verwaltungsvorschrift vom 22. September 2011)

5 Vergleichsarbeiten DVA - Ziele
Qualitätsentwicklung in der Schule Feststellung des Lernstands der Schüler/-innen Vortragsnotiz: Feststellung des Lernstands der Schüler/-innen: Die Arbeiten sollen den Lehrkräften, den Schülern und deren Eltern objektive Informationen über den relativen Leistungsstand der Schüler vermitteln: Auskunft geben, wo ein Schüler im Vergleich zu anderen Schülern, eine Klasse im Vergleich zu anderen Klassen steht. Qualitätsentwicklung in der Schule Die Vergleichsarbeiten helfen zu überprüfen, inwieweit es gelungen ist, die Erwartungen der baden-württembergischen Bildungsstandards zu erreichen und dienen damit der empirisch gesicherten, zielgerichteten und systematischen Qualitätsentwicklung. Die Arbeiten liefern landesweite Vergleichswerte für die Selbstevaluation der Schulen. Der Umgang der Schulen mit den Ergebnissen ist Gegenstand der Fremdevaluation.

6 SEV in BW - Qualitätshaus der Schule
Prozesse Voraussetzungen und Bedingungen Ergebnisse und Wirkungen I Unterricht II Professionalität der Lehrkräfte III Schulführung und Schulmanagement IV Schul- und Klassenklima V Inner- und außerschulische Partnerschaften Rahmen-vorgaben Sächliche und personelle Ressourcen Schüler/-innen sowie deren Lebensumfeld Fachliche und überfachliche Lernergebnisse Schul-/ Laufbahnerfolg Bewertung schulischer Arbeit Qualitätssicherung und Qualitätsentwicklung

7 SEV in BW - Vergleichsarbeiten
Prozesse – Qualitätsbereich I, Unterricht, Kriterium I 2: Gestaltung der Lehr- und Lernprozesse Aufbereitung, Analyse und Interpretation der Ergebnisse der Schüler- und Klassenleistungen, zum Beispiel aus den Vergleichsarbeiten Ergebnisse und Wirkungen – fachliche Lernergebnisse Die Schule reflektiert ihre Arbeit an den von den SuS erbrachten fachlichen Leistungen ..., Beispiele: Vergleichsarbeiten Qualitätssicherung und Qualitätsentwicklung Kriterium Q2: Strukturen der schulischen Qualitätsentwicklung Kriterium Q3: Durchführung der Selbstevaluation

8 Vergleichsarbeiten DVA – standardisierte Testverfahren
Anforderungen zielgerichtete und systematische standardisierte Durchführung, Korrektur, Auswertung Pilotierung der Aufgaben an einer repräsentativen Stichprobe Berechnung landesweiter Vergleichswerte Mehrwert objektive Feststellung des Leistungsstands / Vergleich mit Referenzwerten Entwicklung von Aufgaben

9 Mehrwert von Vergleichsarbeiten
Anzahl Items Mittelwert Kl. A Landes- mittel Mittelwert Kl. B Beide Verfahren ergänzen sich und haben mit ihren unterschiedlichen Zielsetzungen einen wichtigen Stellenwert in der Schule Klasse A (Notenschnitt 3,0) Klasse B (Notenschnitt 3,0)

10 Unterschied Vergleichsarbeiten - Klassenarbeiten
Vergleichsarbeiten DVA messen unabhängig vom Unterricht und der Klassensituation das Erreichen von Kompetenzen zielen auf nachhaltige Lernergebnisse haben empirisch ermittelte Bewertungsmaßstäbe Klassenarbeiten überprüfen abhängig vom Unterricht und der Klassensituation den Lernerfolg aktueller Unterrichtseinheiten zielen auf lernprozessnahe Überprüfung des Lernerfolgs haben durch pädagogisch-didaktische Erfahrung der Lehrkräfte ermittelte Bewertungsmaßstäbe Die Verfahren ergänzen sich, beide haben einen wichtigen Stellenwert in der Schule Beide Verfahren ergänzen sich und haben mit ihren unterschiedlichen Zielsetzungen einen wichtigen Stellenwert in der Schule

11 Lernaufgaben - Testaufgaben
Lernaufgaben: Lernprozesse initiieren und unterstützen sind häufig „komplexe“ Aufgaben mit diversen Lösungsmöglichkeiten ermöglichen Lernen anhand von Fehlern Testaufgaben: Lernstand ermitteln erfassen möglichst abgrenzbare Teilkompetenzen erfordern standardisierte Bedingungen sind objektiv auswertbare Aufgaben mit eindeutigen Lösungen => können nicht ohne Weiteres als Lernaufgaben im Unterricht eingesetzt werden Entscheidender Unterschied ist, wie Fehler behandelt werden. Der Zweck bestimmt die Aufgabenentwicklung: Standardisierte Tests erfordern bestimmte Aufgabenformate. Wir wissen um die Grenzen, die den Aufgaben dadurch gesetzt werden. Testaufgaben einfach zum Lernen einzusetzen, ist problematisch. Dazu bedarf es eines gezielten Vorgehens (Öffnen von Aufgaben), ansonsten wieder das alte Übel: Pauken von Prüfungsaufgaben. Häufig kommen unsere Aufgabenentwickler erst einmal mit schönen offenen Lernaufgaben. Diese sind als Testaufgaben aber oft nicht geeignet, da sie zu offen sind und darum eine Lösungsdefinition schwierig ist. Diese Aufgaben brauchen zudem zuviel Zeit bei der Bearbeitung. Es kostet viel hartes Ringen, diese Aufgaben in geeignete Testaufgaben umzuwandeln. Es muss möglichst eindeutig sein bei Nichtlösung der Aufgabe, welche Kompetenz nicht erreicht ist. Zwei Beispiele aus der Mathematik sollen den Unterschied zwischen Lernaufgaben und Testaufgaben verdeutlichen.

12 Beispiel für eine Lernaufgabe
Viele Kompetenzen können mit dieser Lernaufgabe angeregt werden, Fehler können Aufschluss darüber geben, was verbessert werden müsste. Die vorliegende Aufgabe wäre als Testaufgabe in dieser Form nicht geeignet, könnte beispielsweise aber zu einer Testaufgabe umgearbeitet werden (siehe nächste Folie).

13 Beispiel für eine Testaufgabe
Teil einer Aufgabe aus einer früheren Vergleichsarbeit im Fach Mathematik Fokussierung auf eine Kompetenz (aus Blick BS GY8M könnte hier die Kompetenz „ inner- und außermathematische Sachverhalte mithilfe von Tabellen, Termen und Graphen beschreiben und umgekehrt Tabellen, Terme und Graphen in Bezug auf einen Sachverhalt interpretieren „ (Modellieren) Mehrwert: Wenn ein Schüler die Aufgabe nicht korrekt löst, bekommt die Lehrkraft einen ersten Hinweis darauf, was er evtl. nicht kann. Weitere Hinweise lassen sich erhalten, wenn man z.B. in einem diagnostischen Gespräch nachhakt, was sich der Schüler beim Setzen der Kreuze gedacht hat. Warum gibt es erst bei drei korrekten Kreuzen einen Punkt?

14 Gewinnung der landesweiten Vergleichswerte
Landesweite Vergleichswerte aus dem Pilotierungsverfahren Erprobung etwa doppelt so vieler Aufgaben wie benötigt Repräsentative Stichprobe Rückmeldung der Pilotierungsergebnisse an das LS Berechnung der Vergleichswerte Auswahl geeigneter Aufgaben für die DVA Rückmeldung der Ergebnisse der DVA an das LS Evaluation der prognostizierten Werte

15 Zusammenstellung einer DVA
Prinzipien der Aufgabenauswahl 10 bis 20 Items pro Schwerpunktbereich (SPB) Items mit akzeptablen Lösungswahrscheinlichkeiten (zwischen 10 und 90 Prozent) und guter Modellpassung Items streuen über die gesamte Schwierigkeitsbandbreite (einige leichte, mehr mittlere und einige schwierige Items) Items ergeben durchschnittlich für jeden Schwerpunktbereich einen mittelschweren Test (durchschnittliche Lösungswahrscheinlichkeit ca. 50 Prozent)

16 Umgang mit den Ergebnisrückmeldungen der DVA 2011

17 Nutzen für verschiedene Personengruppen
Fachlehrkraft → eigener Unterricht Lehrerteams - der Klasse → Förderung einzelner Schüler (-gruppen) - des Faches → Weiterentwicklung des Unterrichts und der - der Jahrgangsstufe → Förderung ganzer Klassen bzw klassenübergreifender Schülergruppen Schulteams → schulische Grundsätze / Leitbild / Rahmenbedingungen / … Fachlehrkraft → eigener Unterricht Lehrerteams - der Klasse → Förderung einzelner Schüler (-gruppen) - des Faches → Weiterentwicklung des Unterrichts und der Fachgruppe - der Jahrgangsstufe → Förderung ganzer Klassen bzw klassenübergreifender Schülergruppen Schulteams → schulische Grundsätze / Leitbild / Rahmenbedingungen / …

18 Nutzung der Daten Ergebnisse werden analysiert Ergebnisse werden interpretiert Konsequenzen werden gezogen Auswertungsergebnisse werden in eigener Verantwortung für die interne Schulentwicklung genutzt

19 Ergebnisse analysieren
Bedeutung von Zahlenwerten und Darstellungen klären Extrem hohe und extrem niedrige Werte ermitteln Vergleiche mit Bezugsgruppen ziehen (Parallelklassen, Schule, Land) Bedeutsame Unterschiede feststellen Inhaltliche Zuordnungen zum Bildungsplan vornehmen Vergleich mit eigenen Erwartungen (…) herstellen Ergebnisse analysieren heißt, die in der Ergebnisrückmeldung ausgewiesenen Zahlenwerte systematisch zu betrachten und gegebenenfalls Auffälligkeiten festzustellen Analyse schriftlich dokumentieren!

20 Auswertungsmappen Auswertungsmappe - Klasse für Lehrkräfte Lernstand der Klasse konzipiert für den klassenbezogenen Vergleich Auswertungsmappe - Schule für Schulleitung bzw. Schulteams Überblick über den Lernstand aller getesteten Klassen der Schule konzipiert für den klassenübergreifenden Vergleich

21 Auswertungsmappe – Klasse: Gesamttest

22 Auswertungsmappe – Klasse: Gesamttest

23 Auswertungsmappe – Klasse: Schwerpunktbereiche

24 Auswertungsmappe – Klasse: Schwerpunktbereiche

25 Auswertungsmappe – Klasse: Leistungsgruppen

26 Auswertungsmappe – Klasse: Einzelergebnisse

27 Auswertungsmappe – Schule: Gesamttest

28 Auswertungsmappe – Schule: Schwerpunktbereiche

29 Auswertungsmappe – Schule: Leistungsgruppen

30 Präsentation unter „Wir über uns/Veranstaltungen“
Präsentation unter „Wir über uns/Veranstaltungen“ Ansprechpartner: Deutsch / Fremdsprachen Allgemeines zu Vergleichsarbeiten / Mathematik