Förderliche Leistungsbewertung Thomas Stern, IUS-IFF Wien, IMST Innsbruck, April 2010

Funktionen der Leistungsbewertung Dilemma n Spannungsfelder A. Dilemma der Leistungsbewertung Wie stellt man, ohne das Lernen zu behindern, fest, was jemand kann? Forschungsergebnisse Funktionen der Leistungsbewertung Dilemma n Spannungsfelder

Welche Leistungen zählen?

„Neues Lernen“ – alte Prüfungsformen (www.qis.at)

Leistungsbewertung kann kontraproduktiv sein und das Lernen behindern Wofür gibt es Prüfungen und Noten? (Perrin 1991) Schülerbefragung an Genfer Elementarschulen: - Gute Schüler/innen: Lehrer/innen und Eltern brauchen Zeugnisse. - Schwache Schüler/innen: Schlechte Noten machen Druck, mehr zu lernen, aber auch Angst zu versagen. " Entscheidung im Kanton Genf: Weniger summative Tests, mehr formative Bewertungen Welches Verhalten rufen Prüfungen hervor? (Broadfoot et.al. 1990) - Erraten, was die Prüfer/innen hören wollen, - Vergleich mit anderen Prüflingen, - Lernen für den Prüfungserfolg (statt für besseres Verständnis)

Forschungen zeigen: Lernqualität hängt stark von der Bewertungspraxis ab Prüfungen (summative Bewertungen) haben schwerwiegende Rückwirkungen auf das Lernen, u.a. „learning and teaching to the test“, geringere intrinsische Lernmotivation, minimalistische Lernstrategien, Prüfungsangst, kleineres Selbstwertgefühl v.a. bei lernschwachen S/S (Harlan/Deakin Crick 2002) Lerndiagnose (formative Bewertung) und kontinuierliches Feedback führen zu Lernerfolgen - auch bei lernschwachen Schüler/innen (Black/Wiliam 1998) Partner- und Selbstbewertung wirkt sich positiv auf Lernbereitschaft und -effektivität aus (Black/Wiliam 1998)

Drei Ebenen der Lernerfolgsmessung Leistungsfeststellung (Test) liefert Informationen über den Wissens- und Kenntnisstand Aufgaben + Kriterien Bewertung evaluiert das Testergebnis („Durchschnittliche Leistung“ oder „16 von max. 24 Punkten“ oder „3“) Beurteilung zieht Konsequenzen aus der Bewertung Erfolg/Misserfolg à Lob/Tadel, Belohnung/Bestrafung, (Nicht-)Berechtigung bzw. (Dis-)Qualifikation

Drei Bezugsnormen der Leistungsbewertung Sozial- oder Kollektivnorm (gruppenorientiert) Vergleich mit der Durchschnittsleistung einer Bezugsgruppe (Normalverteilung? Nachteil: wiederholter Misserfolg für schwache S/S) Sachnorm (kriterienorientiert) Vergleich mit den Lernzielen (absoluter Maßstab) (Misserfolge für viele bei zu schwierigen Aufgaben; Erfolgserlebnisse für alle bei gestuften Aufgaben) Individualnorm (personenbezogen) Vergleich mit einer früheren Leistung derselben Person (Dokumentation persönlicher Lernfortschritte)

Funktionen von Leistungsbewertung (Kleber 1992, Häußler u.a. 1996) • Rückmeldungen für Schüler/innen Lernziele erreicht? • Rückmeldungen für die Lehrperson Unterrichtsqualität? Förderungsbedarf? • Lernsituation / Sozialisation Lernen aus Fehlern? Gelegenheit zur Bewährung? • Selektion Berechtigungen, Chancen für Karriere und sozialen Aufstieg • Disziplinierung „Leistungsdruck“

Dilemma der Leistungsbewertung (Ingenkamp 1997) Zwei konträre Aufgaben: Erteilung von Qualifikationen und/oder Verbesserung des Lernens. „ ... verhängnisvoll ... , dass die Erteilung von Qualifikationen und Berechtigungen überwiegend der Schule übertragen wurde und dort alle anderen diagnostischen Aufgaben überlagert hat.“ Gibt es Auswege aus diesem Dilemma?? „Trennung von Lern- und Leistungssituationen“ (Externalisierung?) Weniger summative, mehr formative Bewertungen Assessment Standards NCTM 1995: „Leistungsbewertung sollte das Lernen unterstützen und Lehrer/innen wie Schüler/innen brauchbare Informationen liefern“

Formative und summative Bewertungen Lern- und Leistungsdiagnosen Am Ende der Lernphase Ergebnisorientiert Endgültig Neutral Fehler unerwünscht Z.B. verbunden mit Berechtigung Fehldiagnose ("False alarm"): Negative Beurteilung trotz guter Kenntnisse: Lebenschancen werden verbaut. FORMATIVE BEWERTUNG LERNDIAGNOSE Während der Lernphase Prozessorientiert Möglichkeiten zum Nachbessern Anerkennend, anspornend Fehler willkommen Z.B. verbunden mit Förderangebot Fehldiagnose ("Missing“): Leistungsschwäche bleibt unerkannt: Lernförderung unterbleibt.

Drei „klassische“ Gütekriterien für die Leistungsbewertung Objektivität Unabhängigkeit von der bewertenden Person Verlässlichkeit Präzision, Trennschärfe, minimaler Messfehler Validität Gemessen wird das, was gemessen werden soll

B. Förderliche Prüfungskultur Wie kann Leistungsbewertung das Lernen unterstützen? B1. Innovative Ansätze bei der Leistungsfeststellung B2. Einbeziehung von Elementen der Selbsteinschätzung B1. Innovative Ansätze bei der Leistungsbewertung

B1. Beispiele für innovative Ansätze bei der Leistungsfeststellung Blitzfeedback mit ABCD-Kärtchen (Multiple-Choice-Frage) „Minute paper“ / Blitzumfrage / „Exit pass“ Tests mit versch. Aufgabentypen (z.B. MC, freie Antworten, Begriffszuordnungen, Zeichnungen, „umgekehrte Fragen“ ... ) Aufsatz oder Referat (mit persönlicher Stellungnahme) Zweiphasenarbeit (Möglichkeit zur Überarbeitung) Protokolle (Beobachtungsnotizen, Fotos, Ausschnitte, Zusatzinfos ... ) Themenmappe / Dossier (zu einem selbst gewählten Spezialgebiet) Begriffsnetz (Concept Map) „Performance Task“ (Experimentier-, Problemlöseaufgabe) Partnerarbeit, Gruppenpräsentation Bearbeiten und Kommentieren von PISA-, Standards-Aufgaben

Blitzfeedback mit ABCD-Kärtchen (Wiliam, 2006) MC-„Verständnisfrage“ (hinge question) Was können wir tun, um die OZONSCHICHT zu erhalten? Die Kohlendioxidausstoß von Verkehr und Industrie senken. Die Abholzung der Regenwälder einstellen. Fahrverbot für Autos an Tagen mit hohen Ozonwerten Sorgfältige Entsorgung von Kühl- schränken und Airconditionern ©Wiliam

Minute paper / Blitzfeedback / “Exit Pass“ (Angelo, T.A. & Cross, K.P. (1993): Classroom Assessment Techniques) Schüler/innen schreiben am Ende der Stunde auf Kärtchen: (a) „Was war das Wichtigste, was ich heute gelernt habe?“ (b) „Welche Fragen sind für mich offen geblieben?“ Die Lehrperson wertet die Antworten bis zur nächsten Stunde aus, gibt Schüler/innen Feedback, greift Anregungen auf. Vorteile: Feedback auch für die Lehrperson; Meinungsspektrum der ganzen Klasse; Informationen für die weitere Unterrichtsplanung.

Begriffsnetz 1 („concept map“) (Häußler u.a. 1996) Notiere die Begriffe: Atome, elektrischer Strom, Elektronen, Metall, Plastik, statische Elektrizität. Stelle möglichst viele Verbindungen zwischen ihnen her, markiere sie mit einem Pfeil und beschreibe in wenigen Worten, welchen Zusammenhang du erkennst. Aufgabenlösung durch einen Schüler der 8. Schulstufe.

Begriffsnetz 2 („concept map“) (Häußler u.a. 1996) Aufgabenlösung durch eine Schülerin derselben Klasse. Rückschlüsse aus den verwendeten Begriffen auf Präkonzepte und aus der Zahl der Verbindungslinien auf das Verständnis von Zusammenhängen.

Experimentieraufgabe („Performance Task“) (TIMSS II 1998 Natwiss) Du hast: 6 Stahlkugeln, 10 Büroklammern oder Haarnadeln, 6 Beilagscheiben, 2 Eisen-stifte, 2 Magneten A & B, ein 30cm-Lineal. Deine Aufgabe: Benütze diese Dinge, um herauszufinden, welcher der beiden Magneten A oder B stärker ist! 1. Experimentiere, dann vervollständige diesen Satz: Ich habe heraus gefunden, dass der Magnet ..... stärker ist. 2. Beschreibe alle Schritte, wie du darauf gekommen bist, welcher Magnet stärker ist. Zeichne Skizzen und Diagramme als Teil deiner Antwort, wenn dir das beim Erklären hilft. MAGNETEN

B2. Beispiele für die Einbeziehung von Ele-menten der Selbst- und Partnereinschätzung Lernzielreflexion (Auswahl von individuellen Interessensschwer- punkten, Selbstverpflichtung zu eigenverantwortlichem Lernen) Lernfortschrittsreflexion (anhand von Schlüsselbegriffen) Lernjournal (inkl. Zusammenfassung & Reflexion) Kraftfeldanalyse: Reflexion über Motivationsfaktoren Wochenrückblick (z.B. für Freiarbeit, Projektwochen, …) Portfolio (inkl. Inhaltsverzeichnis und Kommentar) „Lernkontrakt“ (Eigenleistungen nach Vereinbarung  Verpflichtung zu selbstständigem Lernen) “Two Stars and a Wish“ (Partnerfeedback)

Lernzielreflexion Was möchte ich in Physik lernen? Was interessiert mich am meisten? Meine persönliche Reihung für die 6. Schulstufe: Informationen über ein Spezialthema sammeln, nämlich: ….. Lerntechnik (Text-zusammenfassung, Lernkartei, Mindmap) Umwelt-bewusstsein & Technikfolgen Mehr Wissen über Fliegen & Schwimmen Teamarbeit & Präsen-tation (Plakat, Referat, Versuchsvorführung) Heftführung (Inhaltsverzeichnis, Bilder, Protokolle) Verständnis für Vorgänge in Natur & Technik Mehr Wissen über Energie & Maschinen Experimentieren (Beobachten / Beschrei-ben / Begründen) Mehr Wissen über Forscher/innen und Entdeckungen Mehr Wissen über Wärme & Strahlung Mehr Wissen über Schall & Ultraschall Bei meinen beiden erstgereihten Lernzielen möchte ich am Ende des Schuljahres mehr können als jetzt!

gut teilweise schlecht Lernfortschrittsreflexion „Vorher-Nachher“-Vergleich (Stern 2001, www.qis.at) VORHER: Markiere mit einem blauen Kreuz x, wie viel du schon weißt! Tonhöhe (Hertz) & Lautstärke (Dezibel) Ultraschall (in Tierreich & Medizin) Lärmschutz Musikinstrumente: Saiten & Membrane Töne & Geräusche, Musik & Lärm Überschall-Knall Luftwellen: Echo & Schallgeschwindigkeit Ich kenne mich aus gut teilweise schlecht Begriffe zum Thema SCHALL NACHHER: Markiere mit einem roten Kreis o, wie gut du dich jetzt auskennst. Wie viele Verbesserungssprünge hast du gemacht? Wo hast du nichts dazu gelernt ?

Nach jeder Lerneinheit eine Seite für deine persönlichen Gedanken! Lernjournal (Stern, 2001) Nach jeder Lerneinheit eine Seite für deine persönlichen Gedanken! Datum: Thema: Wie war‘s? ++/+/-/-- Wofür wir uns mehr Zeit nehmen sollten: Überflüssig fand ich: Dazugelernt habe ich: Interessant war für mich: Das Lernjournal gehört dir. Deine Lehrerin darf es ohne deine Erlaubnis nicht einsehen. Wenn du willst und danach gefragt wirst, kannst du am Ende der Stunde daraus vorlesen. Am Semesterende wirst du es brauchen, um zusammenzufassen, welche Stunden für dich die besten waren, und was du Neues gelernt hast.

Wochenrückblick (www.qis.at) Diese Woche hatte ich mir vorgenommen, zu lernen ... Ich habe gelernt ... Am meisten hat mir gefallen ... Ich hätte gerne ... Ich brauche jetzt ... Als nächstes werde ich ... Ähnlich (inhaltlich identisch) Schratz/Iby/Radnitzky 2000: 134

Eigene Fragen erfinden Stelle am Ende eines Kapitels zwei wirklich gute „Warum“-Fragen und schreibe sie in dein Heft: - Eine Frage, die du jetzt beantworten kannst, - und eine, über die du gerne mehr wüsstest. Wir werden in einer Klassenstunde die interessantesten Fragen heraussuchen und über sie diskutieren! Stelle zu dem Thema zwei gute Fragen mit einem Lösungswort. Aus diesen Fragen können wir dann gemeinsam ein Kreuzworträtsel bauen!

Portfolio (z.B. Mathematik, 10. Schulstufe) (Fertl 2004) Je ein geometrisches, trigonometrisches, mathematikgeschichtliches und fächerübergreifendes Thema ist auszuwählen und zu bearbeiten. Das Portfolio enthält: - Originell gestaltetes Deckblatt und Inhaltsverzeichnis - Einleitung: Begründung der Themenwahl - Vier Themenausarbeitungen (mit Quellenangaben) - Prozessdokumentation (Entwürfe mit Datumsangaben) - Zusammenfassender Kommentar und Feedback der Lehrerin. Vereinbarung über die Einbeziehung des Portfolios in die Leistungsbewertung. Bewertung der Qualität der Ausführung (z.B.: Verständnis, Kreativität, Eigenständigkeit) und der Rolle für die Gesamtnote (z.B. 30%) im Vergleich zu anderen Leistungen.

B3. Beispiele für innovative Ansätze bei der Leistungsbewertung Verbale Bewertung Lernfortschrittsberich, Entwicklungsbericht („records of achievement“) Pensenbuch, Lernzielorientierte Bewertung („L.O.B.“) „Schülersprechtag“ (Sammeln, Zusammenfassen, Kommentieren von Lehrerrückmeldungen durch die Schüler/innen) Kommentierte direkte Leistungsvorlage Selbsteinschätzungs-„Mandala“ / Persönliches Lernprofil „Notenvertrag“, „Leistungsblatt“

L.O.B. - Lernzielorientierte Beurteilung (http://www.modellschule.at)

(Selbsteinschätzungs-)„Mandala“ (oder „Kompetenzen-Zielscheibe“) (HS)

„Schülersprechtag“ Terminvereinbarungen mit Lehrer/innen des Klassenteams. Lehrerbefragungen: Anerkennendes & Kritik & Ratschläge. Zuhören. Mitschreiben. Zusammenfassung: „Bewertungen meiner Lehrer/innen“ (1) Wie werden meine bisherigen Leistungen eingeschätzt? (Meine Stärken und meine Schwächen) (2) Wie wird mein bisheriges Lernverhalten gesehen? (3) Welche Tipps bekomme ich? (4) Meine Meinung dazu. (5) Meine Vorsätze, wie ich mich verbessern will. Abgabe an das Lehrerteam: Schriftliche Stellungnahme (g Portfolio)

Beispiel für einen „Notenvertrag“ Abmachungen für die Leistungsbewertung im Fach ……… (Gültig erst dann, wenn Schüler/in und Lehrer/in einverstanden sind und unterschrieben haben.) 1. Vier Mindestanforderungen sind ausreichend für die Note „Genügend“: (a) Heftführung (Mitschriften, Arbeitsblätter, Hausübungen vollständig); (b) Mitarbeit (produktive Beteiligung an Einzel-, Partner- und Gruppenarbeit); (c) Tests positiv oder gründlich ausgebessert; (d) Lernfortschritte bei mindestens einem selbst gewählten Lernziel: ………………………. 2. Leistungen, um eine bessere Note zu erreichen:  „Befriedigend“: Arbeitsbucheintragungen; Fragenausarbeitung; Stundenwiederholung.  „Gut“: zusätzlich Referat, Protokoll einer Schulexkursion.  „Sehr gut“: zusätzlich: exzellente Qualität aller Leistungen, Mitgestaltung einer Stunde. 3. In der Mappe werden Pflichtaufgaben und selbst gewählte Zusatzaufgaben eingetragen. Dem Lehrer oder der Lehrerin muss die Selbsteinschätzung bzw. die angestrebte Note mitgeteilt werden, mit Begründung und Belegen, er braucht diese nur zu bestätigen. Falls er/sie anders bewertet, findet eine mündliche Prüfung statt, auf Wunsch mit Beisitzer/in. Einverstanden. Datum: Unterschriften: Schüler/in: Lehrer/in:

„Leistungsblatt“ (z. B. Mathematik, 6 „Leistungsblatt“ (z.B. Mathematik, 6.Schulstufe) (Aistleitner-Kunze-Stern, Lernende Schule 4/2004, 46-47) In diese Tabelle kannst du selbst eintragen, was du im Mathematikunterricht geschafft hast: Klassenarbeiten/Tests, Schul- und Hausübungen und Mitarbeit. Für eine positive Bewertung (4) im Semesterzeugnis genügen die Leistungen in der ersten Tabelle. 1 Stundenwiederholung (vorher vereinbart). 1 selbstständige Ausarbeitung (mit Lehrbuch oder Computer). 1 Gruppenarbeit (Plakat, Präsentation, ... ). Mitarbeit, Eigenverantwortlichkeit, Teamfähigkeit Alle Klassenarbeiten/Tests gemacht und verbessert. Schul- und Hausübungen ergänzt und Fehler ausgebessert. (Bei Verständnisproblemen nachgefragt.) Rechnen, Konstruieren - Mathematik verstehen Mappe/Hefte in Ordnung. Arbeitsgeräte immer mitgebracht. Arbeitsaufträge und Hausübungen zeitgerecht ausgeführt. Schriftliche Arbeiten, Heftführung, Arbeitshaltung Lehrerkommentar Bis 9.6 Bis 25.5. Bis 30.3.

Trage in die zweite Tabelle ein, was du darüber hinaus geleistet hast Trage in die zweite Tabelle ein, was du darüber hinaus geleistet hast. Du entscheidest selbst, welche Leistungsstufe du dir zutraust, und wie viel du bereit bist, dafür zu tun! 1 Selbstständige Sonderleistung, z.B. Präsentation/Referat über 1 mathematisches Thema oder 1 Mathematiker/innenbiographie 8 Eine andere selbstständige Leistung (statt 5,6 oder 7) 1 Formelherleitung (z.B. Flächeninhalt) mit Beweisschritten 7 1 Aufsatz über 1 interessantes mathematisches Thema, nämlich .... 6 2 Noch 3 ausgewählte mathematische Rätsel samt Lösung 5 1 andere selbstständige Leistung (statt 1,2,3 oder 4) nämlich .... 1 Protokoll einer Messreihe (z.B. Tageshöchsttemperaturen, Preisvergleich, … ) samt mathematischer Darstellung 4 3 Zeitungsausschnitte mit mathematischen Tabellen, Diagrammen oder Rechnungen samt meinen Kommentaren dazu 3 6 freiwillig ausgeführte Zusatzaufgaben aus dem Lehrbuch 3 ausgewählte (gute!) mathematische Rätsel samt Lösung Stufe Lehrerkommentar ART DER LEISTUNG Datum Lasse deine/n Lehrer/in zu allen drei Terminen dein Leistungsblatt samt Unterlagen sehen. Lasse ihn wissen, welche Leistungsstufe du anstrebst, damit er sich überlegen kann, wie er dich dabei am besten unterstützt!

C. Qualitätskriterien für die Leistungsbewertung Was macht eine gute Leistungsbewertung aus? Gibt es Kriterien und Standards, die eine gute Leistungsbewertung erfüllen muss?

Folgenreiche Fehldiagnosen PISA-2000-Deutschland: Anteil der 15-Jährigen mit schwachen oder sehr schwachen Lesefähigkeiten 23% (!!) (Finnland: 7%) Zusatzstudie MPI-Berlin (Baumert 2001): Befragung der Lehrer/innen dieser Schüler/innen: 90% der Leseschwächen blieben unerkannt KESS4-Studie Hamburg (Bos & Pietsch 2004): Untersuchung an Grundschulen der „Kompetenzen und Einstellungen von Schüler/innen – Jahrgangsstufe 4“ mit Leistungstests und Kontextfragebögen und Vergleich mit Lehrerurteilen. Ergebnis: Schullaufbahnempfehlung Gymnasium für ein Kind aus oberen Schichten 3-mal so groß wie für ein Kind aus einer Arbeiterfamilie bei gleichen kognitiven Grundfähigkeiten.

Mathematik-Kompetenz und Schulnoten (Haider & Schreiner 2006) PISA-2003-Mathematik-Kompetenz und Noten nach Leistungsgruppen in 8. Schulstufe 1: AHS oder HS 1. LG mit „Sehr Gut“ 2: AHS oder HS 1. LG mit „Gut“ 3: AHS oder HS 1. LG mit „Befriedigend“ oder HS 2. LG mit „Sehr Gut“ 4: AHS oder HS 1. LG mit „Genügend“ oder HS 2. LG mit „Gut“ 5: AHS oder HS 1. LG mit „Nicht Genügend“ oder HS 2. LG mit „Befriedigend“ oder HS 3. LG mit „Sehr Gut“ 6: HS 2. LG mit „Genügend“ oder HS 3. LG mit „Gut“ 7: HS 2. LG mit „Nicht Genügend“ oder HS 3. LG mit „Befriedigend“, „Genügend“ oder „Nicht Genügend“

Was ist eine faire Leistungsbewertung? (NCTM 1995, NSES 1996) • macht deutlich, was wichtig ist • fördert das Lernen • trägt zur Chancen- gerechtigkeit bei ist schlüssig • ist ein offener Prozess • ist kohärent (auf lang- fristige Bildungsziele abgestimmt) „Measure what you value rather than value what you can easily measure“

"Haben Sie auch mal daran gedacht, dass dieses Zeugnis ein denkbar schlechtes Licht auf Ihre pädagogische Qualifikation wirft?" (Uli Stein, 1999)

Literaturhinweise Black, P.J. & Wiliam, D. (1998): Inside the Blackbox - Raising standards through class-room assessment. King’s College: London. http://www.pdkintl.org/kappan/kbla9810.htm Ingenkamp, H. (1997): Lehrbuch der Pädagogischen Diagnostik, Beltz: Weinheim-Basel NCTM (1995): „Assessment Standards for School Mathematics“. National Council of Teachers of Mathematics: Reston, VA, USA. NSES (1996): „National Standards for Educational Science“ http://books.nap.edu/html/nses Sirotnik K.A., Kimball K. (1999): „Standards for Standards-Based Accountability Systems“, in fdk Nov. 99, p 209. http://www.pdkintl.org/kappan/ksir9911.htm Kleber E.W. (1992): Diagnostik in pädagogischen Handlungsfeldern. Juventa: Weinheim-München Häußler P. u.a. (1998): Naturwissenschaftsdidaktische Forschung: Perspektiven für die Unterrichtspraxis, IPN: Kiel Harlen, W. & Deakin Crick, R. (2003): Testing and motivation for learning. In: Assessment in Education, 10 (2) 169-208. Stern, T. (2004): Neue Wege zu einer förderlichen Leistungsbewertung. In: Lernende Schule 4/2004: Mathe ist mehr. Friedrich: Seelze, 16-21 Stern, T. (2001): (a) Was hältst du davon? Selbsteinschätzung von Lernerfolgen. (b) Beurteilungsmaßstäbe aushandeln? Erfahrungen mit einem Notenvertrag. Beide Artikel in: Friedrichs Jahresheft 2001 Qualität entwickeln: Evaluieren. Friedrich-Klett: Seelze, 2001,10-14, 40-43

Bloom's Lernzieltaxonomie rev Bloom's Lernzieltaxonomie rev. (Anderson & Krathwohl 2001: A Taxonomy for Learning, Teaching & Assessing: A Revision of Bloom's Taxonomy of Educational Objectives. NY: Longman) Komplexität von Lernleistungen, Gestufte Lernzielansprüche, (keine Intelligenzniveaus!) KREATIVITÄT EVALUATION ANALYSE ANWENDUNG VERSTÄNDNIS MERKWISSEN