Vergleichsarbeiten „DVA“ im Kontext der Qualitätsentwicklung – Umgang mit den Ergebnissen Gastvortrag für Lehramtsstudierende Universität Tübingen, 20.Januar 2011

„DVA“ im Kontext der Schulentwicklung Umgang mit den Ergebnissen Kritikanalyse

Paradigmenwechsel bei der Steuerung der Schulen … ... als Reaktion auf das schlechte Abschneiden in internationalen den Schulleitungsstudien Rücknahme von staatlichen Vorgaben Stärkung der Eigenverantwortung der Einzelschule Vorgabe von Zielen Rechenschaftslegung der Erreichung von Zielvorgaben

Kernpunkte der aktuellen Schulentwicklung zwischen Freiheit und Bindung Schulentwicklungspläne: Schulprogramm, Leitbild, Schulkonzept … Kerncurriculum und Schulcurriculum Bildungsstandards Kontingentstundentafel Qualitätssicherung und Qualitätsentwicklung: Evaluation Zentrale, systematische Lernstandserhebungen „DVA/VERA“

„DVA“ - Vergleichsarbeiten als Instrument der Evaluation Selbstevaluation Fremdevaluation Informelle, frei wählbare Verfahren (Beobachtungsbogen, Fragebogen, Interviews etc.) Standardisierte, verpflichtend einzusetzende Lernstandserhebungen „VERA/DVA“ Gegenstand ist der Umgang mit den Lernstandserhebungen „VERA/DVA“ 5

„DVA“ - Standardisierte Testverfahren Die Vergleichsarbeiten „DVA“ sind standardisierte Lernstandserhebungen, die von Lehrkräften und Fachdidaktikern in Zusammenarbeit mit Empirikern nach sozialwissenschaftlichen Methoden entwickelt werden. An Verfahren dieser Art werden folgende Anforderungen gestellt: zielgerichtete und systematische Konstruktion von Aufgaben standardisierte Durchführung, Korrektur, Auswertung Erprobung der Aufgaben an einer repräsentativen Stichprobe Berechnung landesweiter/bundesweiter Vergleichswerte Evaluation der Arbeiten und des Verfahrens In Baden-Württemberg werden Vergleichsarbeiten „DVA“ für die weiterführenden Schularten (HS, RS, GY) im Lande selbst entwickelt, in der Grundschule wird das bundesweite Verfahren „VERA“ eingesetzt. 6

Unterschied Vergleichsarbeiten zu Klassenarbeiten Vergleichsarbeiten „DVA“ sind standardisierte Tests, die – unabhängig vom Unterricht und der Klassensituation – das Erreichen von Kompetenzen des Bildungsstandards messen. Sie zielen damit auf nachhaltige Lernergebnisse. Die Bewertungsmaßstäbe werden empirisch ermittelt. Klassenarbeiten sind informelle Verfahren, die – abhängig vom Unterricht und der Klassensituation – den Lernerfolg aktueller Unterrichtseinheiten überprüfen. Sie zielen damit auf lernprozessnahe Überprüfung des Lernerfolgs. Die Bewertung unterliegt dem pädagogisch-didaktischen Expertenurteil der Lehrkräfte. Beide Verfahren ergänzen sich und haben mit ihren unterschiedlichen Zielsetzungen einen wichtigen Stellenwert in der Schule! 7

SEV in BW: Qualitätshaus jeder einzelnen Schule Prozesse Voraussetzungen und Bedingungen Ergebnisse und Wirkungen I Unterricht II Professionalit ä t der Lehrkr fte III Schulf ü hrung und Schulmanagement IV Schul - und Klassenklima V Inner au ß erschulische Partnerschaften § Rahmenvorgaben S chliche und personelle Ressourcen Sch ler/ innen sowie deren Lebensumfeld Fachliche und berfachliche Lernergebnisse /Laufbahn erfolg Bewertung schulischer Arbeit Qualit tssicherung und Qualit tsentwicklung

„DVA” – Einbettung in den Orientierungsrahmen Orientierungsrahmen zur Schulqualität „Prozesse“ – „Qualitätsbereich I, Unterricht“ Bei der „Gestaltung der Lehr- und Lernprozesse“ wird die Aufbereitung, Analyse und Interpretation der Ergebnisse der Schüler- und Klassenleistungen, zum Beispiel aus den Vergleichsarbeiten, in den Blick genommen. „Ergebnisse und Wirkungen“ – „fachliche Lernergebnisse“ Die Rückmeldungen dienen dazu, dass die Schule ihre Arbeit an den von den Schülerinnen und Schülern erbrachten fachlichen Leistungen, zum Beispiel aus den Vergleichsarbeiten, reflektiert. „Qualitätssicherung und Qualitätsentwicklung“ Der Blick wird auf die systematische Weiterentwicklung von Schule und Unterricht gerichtet. Dementsprechend wird gefragt, wie die Schule Selbstevaluation durchführt, ob sie sich beispielsweise an einer systematischen Abfolge von einzelnen Schritten orientiert.

Zielsetzungen der Vergleichsarbeiten „DVA“ Qualitätsentwicklung der Schule Die Vergleichsarbeiten überprüfen, inwieweit es den Schulen gelungen ist, die Erwartungen der baden-württembergischen Bildungsstandards zu erreichen und dienen damit der empirisch gesicherten, zielgerichteten und systematischen Qualitätsentwicklung vor Ort. Die Arbeiten liefern landesweite Vergleichswerte für die Selbstevaluation der Schulen. Der Umgang der Schulen mit den Ergebnissen ist Gegenstand der Fremdevaluation. Feststellung des Lernstands der Schülerinnen und Schüler Die Vergleichsarbeiten vermitteln den Lehrkräften, den Schülerinnen und Schülern sowie deren Eltern in bestimmten Fächern objektive Informationen über den individuellen Lernstand in Hinblick auf ausgewählte Schwerpunktbereiche des Bildungsstandards. Die Informationen zu den Lernvoraussetzungen der Klasse und einzelner Schülerinnen und Schüler, die zu Beginn eines neuen Bildungsabschnittes festgestellt werden, können bei der gezielten Planung des weiteren Unterrichts helfen. 10

„DVA“ im Kontext der Schulentwicklung Umgang mit den Ergebnissen Kritikanalyse

Nutzung durch verschiedene Gruppen Vergleichsarbeiten ermöglichen eine objektive Feststellung des Leistungsstands und einen Vergleich mit Referenzwerten. Der Erfahrungshorizont der Lehrkräfte, der in der Regel auf die Klasse und die Schule beschränkt ist, wird dadurch erweitert. Die Daten können von verschiedenen Personengruppen unterschiedlich genutzt werden: in erster Linie von der einzelnen teilnehmenden Fachlehrkraft hinsichtlich des eigenen Unterrichts von Lehrerteams - einer Klasse, hinsichtlich der Förderung von Einzelschüler/innen oder Schülergruppen - eines Faches, hinsichtlich der fachdidaktischen Weiterentwicklung - der Jahrgangsstufe, hinsichtlich der Förderung ganzer Klassen oder klassenübergreifender Schülergruppen von benannten und befugten Schulteams hinsichtlich der schulischen Grundsätze, des Leitbilds, der Rahmenbedingungen, ….

Umgang mit den Ergebnissen Die Nutzung der Daten sollte zielgerichtet und systematisch verlaufen. Ergebnisse werden analysiert Ergebnisse werden interpretiert Konsequenzen werden gezogen (Ziele werden formuliert, Maßnahmen geplant und umgesetzt) Die Auswertungsergebnisse werden in eigener Verantwortung für die interne Schulentwicklung genutzt. 13

1. Schritt: Analyse der Ergebnisse (1) Ergebnisse analysieren heißt, die in der Auswertungsmappe dargestellten Ergebnisse systematisch betrachten und Auffälligkeiten feststellen: Bedeutung von Zahlenwerten und Darstellungen klären extrem hohe und extrem niedrige Werte ermitteln Vergleiche mit Bezugsgruppen ziehen (Parallelklassen, Schule, Land, Gesamtheit) bedeutsame Unterschiede feststellen inhaltliche Zuordnungen zum Bildungsplan vornehmen Vergleich mit eigenen Erwartungen herstellen Dies geschieht jeweils auf der Ebene einzelner Schüler/innen, der Klasse, der Parallelklassen, der Schule.

Analyse der Ergebnisse (2) Auswertungsmappe “Klasse” für die durchführenden Lehrkräfte zeigt den Lernstand der Klasse konzipiert für den klassenbezogenen Vergleich Auswertungsmappe “Schule” für die Schulleitung oder Schulteams Überblick über Leistungen der Schule insgesamt konzipiert für den klassenübergreifenden Vergleich

Auswertungsmappe “Klasse” - Gesamttest zurück

Auswertungsmappe “Klasse” – Lösungshäufigkeiten Items

Auswertungsmappe “Klasse” - Schwerpunktbereiche

Auswertungsmappe “Klasse” - Leistungsgruppen

Auswertungsmappe “Klasse” - Einzelergebnisse

Auswertungsmappe „Schule“ - Gesamttest Wie viel Prozent wurden im Mittel insgesamt von den Schülerinnen und Schülern gelöst? Inwieweit weichen die jeweiligen Klassenergebnisse von der Vergleichsstichprobe ab? Parallelklassenvergleich Referenzbereich jeweils10% und mehr Klasse 9 b: weicht insgesamt deutlich von den anderen Klassen ab und liegt unterhalb des Referenzrahmens 21

Auswertungsmappe „Schule“ - Schwerpunktbereiche Wie viel Prozent der Items in den einzelnen Schwerpunktbereichen wurden im Mittel von den Schülerinnen und Schülern der jeweiligen Klassen gelöst? Inwieweit weichen die Klassen von der Vergleichsstichprobe ab? Parallelklassenvergleich Referenzbereich jeweils10% und mehr Klasse 9b: weicht im SPB II deutlich nach unten vom Referenzbereich und von den anderen Klassen ab Klasse 9d: weicht im SPB II deutlich nach oben vom Referenzbereich und von den anderen Klassen ab 22

Auswertungsmappe „Schule“ - Leistungsgruppen Wie verteilen sich die Schülerinnen und Schüler der jeweiligen Klassen (Kurse, Gruppen) in den einzelnen Schwerpunktbereichen auf die Leistungsgruppen? Inwieweit weichen die Verteilungen von der Vergleichsstichprobe ab? Parallelklassenvergleich bezüglich der Verteilung in den LG: Klasse 9b stark besetzte untere LG, dafür schwach besetzte mittleren LG Klasse 9c schwach besetzte mittlere LG, dafür stark besetzte Randgruppen Klasse 9d stark besetzte obere LG, dafür schwach besetzte mittlere LG 23

2. Schritt: Interpretation der Ergebnisse Ergebnisse interpretieren heißt, die aus der Analyse gezogenen Erkenntnisse systematisch und umfassend deuten: erste Bewertungen vornehmen und Erklärungen suchen Auffälligkeiten und Abweichungen umfassend deuten mögliche Ursachen und Hintergründe suchen Vermutungen über Zusammenhänge formulieren Bei den Rückmeldungen handelt es sich um Momentaufnahmen. Zur Absicherung und Stützung der Erklärungsansätze sollten daher weitere relevante Kriterien und Erkenntnisse herangezogen werden.

Schulleistungsmodell Schulleistungen werden durch vielfältige Faktoren beeinflusst, die in einem komplexen Zusammenhang zueinander stehen und sich wechselseitig bedingen. Bedingungsfaktoren finden sich in mehreren Bereichen: Persönlichkeit der einzelnen Schülerin/des einzelnen Schülers Klasse Unterricht/Fach Schule Einer systematischen Interpretation sollte daher ein Schulleistungsmodell zugrunde gelegt werden.

Störende Einflussfaktoren bei der Interpretation Subjektive Persönlichkeitstheorien können die Erklärungsansätze verfälschen. Halo-Effekt (Gesamteindruck aufgrund von Sympathie/Antipathie wird auf einzelne Eigenschaften übertragen) Logische Fehler (von einer Eigenschaft wird auf eine andere geschlossen) Milde- oder Strengeeffekt (als „gut“ eingeschätzte Schüler/innen werden milder bewertet, als „schlecht“ eingeschätzte Schüler/innen werden strenger bewertet) Ähnlichkeitsfehler / Kontrastfehler (Beurteiler schreibt der zu beurteilenden Person ähnliche oder gegensätzliche Merkmale wie sich selbst zu)

3. Schritt: Konsequenzen ziehen Konsequenzen ziehen heißt, Ziele für das weitere Vorgehen formulieren, Maßnahmen planen und umsetzen: für die Schule für einen bestimmten Fachbereich für eine gesamte Jahrgangsstufe für den eigenen Unterricht für bestimmte Klassen für die einzelne Schülerin / den einzelnen Schüler Die Erreichung der Ziele und Durchführung der Maßnahmen sollte immer wieder reflektiert werden.

Bereiche für Zielformulierungen und Maßnahmenplanungen Mögliche Bereiche, die für Zielformulierungen und Maßnahmenplanungen genutzt werden können – unter Beachtung der jeweils gegebenen sächlichen und personellen Ressourcen: Unterrichtsqualität Diagnose und Förderung Kooperations- und Teamstrukturen Reflexion Der Umgang mit den Daten – die drei Schritte Analyse, Interpretation, Konsequenzen ziehen – sollte dokumentiert werden.

„DVA“ im Kontext der Schulentwicklung Umgang mit den Ergebnissen Kritikanalyse

Kritisierte Aspekte : Akzeptanz durch Lehrkräfte Lehrkräfte haben ein geringes Interesse an empirisch ermittelten Daten. Sie können diese nicht ohne weitere Hilfe für die Unterrichts- und Schulentwicklung nutzen. Es wird befürchtet, dass die Daten als Kontrollinstrument dienen. Der Umgang mit empirischen Daten war früher kein bzw. selten Inhalt der Lehrerausbildung. Die datengestützte Unterrichtsentwicklung erfordert Veränderungen in der Tätigkeit und Selbstwahrnehmung der Lehrkräfte. Zur Implementation der DVA wurde eine „Handreichung zum Umgang mit den Ergebnissen“ entwickelt, ebenso werden Fortbildungen an der Landesakademie angeboten. Die Daten der „DVA“ verbleiben an der Schule und werden nur intern genutzt. Sie werden nicht an das LS zurückgemeldet und haben keine Kontrollfunktion.

Kritisierte Aspekte: Lernmotivation Nichtwissen/Nichtkönnen erzeugt bei Schülerinnen und Schülern Versagensängste mit negativen Auswirkungen auf die Lernmotivation. Dies gilt nicht isoliert für Vergleichsarbeiten, sondern für alle Beurteilungssituationen. Schule und Lehrkräfte sollten durch Informationen über Sinn und Zweck der Tests sowie durch eine motivierende, leistungsfördernde Haltung eventuell bestehende Ängste abbauen und die Schüler/-innen unterstützen. Wenn Schüler/-innen und auch deren Eltern bewusst wird, dass mit den Ergebnissen der Vergleichsarbeiten ein fundierter landesweiter Bezugsrahmen geliefert wird, der auch der eigenen Lernbiographie zugute kommt, wird dies eher Anreiz als Abschreckung sein.

Kritisierte Aspekte: Lernprozessdiagnose Die Lernprozesse und Denkvorgänge der Schüler/innen werden nicht erfasst, wodurch keine Aussage über die detaillierten Leistungsschritte („tatsächliche Leistung“) getroffen werden kann. Lernstandserhebungen sind Momentaufnahmen, die den Leistungsstand objektiv zurückmelden und eine Einordnung aufgrund des Referenzrahmens ermöglichen. Sie sind damit ein Mosaikstein in der Beurteilung von Schülerleistungen. Bei Auffälligkeiten sind weitere Verfahren einzusetzen formelle Verfahren, wie Tests zur Prozessdiagnose oder Schulleistungstests und informelle Verfahren, wie systematische Beobachtung, diagnostische Gespräche führen oder Fehleranalysen.

Kritisierte Aspekte: Fairer Vergleich Lehrkräfte können für erreichte Klassenleistungen nur bedingt verantwortlich gemacht werden, da Klassen unterschiedlichen Rahmenbedingungen unterliegen. Bei der Interpretation der Daten sind die sozialen Kontextfaktoren einer Klasse mitzubedenken. Für einen eindeutigen fairen Vergleich müssten Sozialfaktoren erhoben werden, die datenschutzrechtlich meist problematisch sind. Bei VERA 3 wird derzeitig ein Verfahren zu einem fairen Vergleich angeboten, das auf der Einschätzung der Lehrkräfte basiert. Hierbei können Lehrkräfte ihre Klasse mit einer Gruppe von Klassen vergleichen, die in der Zusammensetzung des sozialen Kontextes ähnlich sind.

Informationen zu den Diagnose- und Vergleichsarbeiten: www.dva-bw.de