The What, Why and How of Assessment

Präsentation zum Thema: "The What, Why and How of Assessment"—  Präsentation transkript:

1 The What, Why and How of Assessment
Tanja Westfall-Greiter, M.A.

2 Von „Osterhasenpädagogik“ hin zu Transparenz
“We need to let students into the secret, allowing them to become insiders of the assessment process. We need to make provision for them to become members of the guild of people who can make consistently sound judgments and know why those judgments are justifiable.” - Royce Sadler, University of Queensland Sadler, R. (1998). Letting students into the secret: Further steps in making criteria and standards work to improve learning. Paper, Annual Conference for State Review Panels and District Review Panel Chairs, July 1998.

3 „Vom Ende her“ „Learning starts with ‚backward design‘ […] with the teacher (and preferably also the student) knowing the desired results (expressed as success criteria related to learning intentions) and then working backwards to where the student starts the lesson(s) – both in terms of his or her prior knowledge and where he or she is in the learning process. The purpose is to reduce the gap between where the student starts and the success criteria ….“ - John Hattie Hattie, J. (2012). Visible Learning for Teachers: Maximizing Impact on Learning. S. 93.

4 The plea for reform in assessment
Paul Black & Dylan Wiliam: Out of the „Black Box“ to formative assessment Rick Stiggins: From selection to achievement John Hattie: From arbitrary to effective Lorna Earl: From assessment of learning to assessment as learning W. James Popham: „Transformative Assessment“ Grant Wiggins: „Educative Assessment“ Carol Ann Tomlinson: „Informative Assessment“ Bandura, A. (1994) Self-efficacy. In V.S. Ramachaudran (ed.) Encyclopedia of human behavior . Volume 4, New York: Academic Press. Black, P. and Wiliam, D. (1998). Assessment and classroom learning. Educational Assessment: Principles, Policy and Practice , (1), Also summarized in an article entitled, Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan , 80(2), Crooks, T.J. (1988). The impact of classroom evaluation practices on students. Review of Educational Research 8(4), Hattie, J. and Timperley, H. (2007). The power of feedback. Review of Educational Research , 77(1), Heritage, M. (no date). Learning progressions: Supporting instruction and formative assessment. Washington, DC: A paper published by the Council of Chief School Officers. 30 pp. Popham, W.J. (2008). Transformative Assessment . Alexandria, VA: Association for Supervision and Curriculum Development. Shepard, L., Hammerness, K., Darling-Hammond, L., Rust, F., Snowden, J. B., Gordon, E., Gutierrez, C., and Pacheco, J. (200 ). Chapter 8 in Darling-Hammond, L. and Bransford, J. (Eds) Preparing teachers for a changing world: What teachers should know and be able to do . San Francisco, CA: Jossey-Bass (note particularly pp ). Stiggins, R.J. (1999). Evaluating classroom assessment training in teacher education. Educational Measurement: Issues and Practice , 18 (1), Stiggins, R.J., Arter , J., Chappuis, J. and Chappuis, S. (200 ). Classroom Assessment for Student Learning: Doing It Right—Using It Well . Portland, OR: ETS Assessment Training Institute. Stiggins, R.J. (2007). Assessment for learning: A key to student motivation and learning. Phi Delta Kappa EDGE , 2(2), 19 pp. Wiggins, G. (1998). Educative Assessment. Jossey-Bass. Wiliam, D. (2007). Changing classroom practice. Educational Leadership. (4), 3 -42.

5 Why Assessment? “We assess for two reasons: (1) to gather evidence to inform instructional decisions and (2) to encourage students to try to learn. Both purposes must be well served for schools to be effective.” - Rick Stiggins Stiggins, R. (2008). Assessment Manifesto: A Call for the Development of Balanced Assessment Systems. Portland: ETS Assessment Training Institute S. 3.

6 The Assessment Experience
“For the student, regardless of the level of achievement demonstrated, a productive reaction leaves them confident and willing to keep trying. A counterproductive response leaves the student confused, frustrated, and ready to give up in hopelessness. For the teacher, the assessment is helpful if it reveals what comes next in the learning; the assessment is counterproductive when it leaves them with no idea what to do next.” - Rick Stiggins (2008)

7 Vignette 35 „Einige von euch haben brav geübt, andere haben jedoch noch etwas Übungsbedarf“, verkündet Herr Oppitz, wie zu sich selbst, und teilt die Diktathefte aus. Rasch wird auf die Ergebnisseite geblättert, die Erfolgreiches und weniger Gelungenes aufzeigt. Hefte werden geöffnet und geschlossen. Einige verschwinden nach kurzem, prüfendenden Blick in den Schultaschen. Blicke, die „Wie viele Fehler hast du?“ wortlos zum Ausdruck bringen, werden ausgetauscht. „JA!“, platzt es erleichtert aus Othmar heraus. 7F! steht dort in grüner Farbe. Er starrt auf sein Ergebnis und zieht ruckartig seine zu Fäusten geballten Hände zu sich heran. „Bist du zufrieden?“, fragt Frau Ostermann, die Teamlehrerin. Othmar blickt überrascht, beinahe ertappt, auf, schließt sein Heft mit einem knappen „Es geht!“ und beginnt seinen Bleistift zu spitzen.

8 Vignette 72 „Im Großen und Ganzen habt ihr recht brav gearbeitet. Ich bin zufrieden mit euren Leistungen!“, betont Frau Ostermann, die Englischlehrerin, einen Stapel Schularbeitenhefte in ihren Händen haltend. Wie magnetisch angezogen, starren 34 Augenpaare auf den Stapel Hefte. Die Zeitspanne, bis sie ihren Besitzern zurückgegeben werden, scheint endlos: Sekunden werden zu Minuten, Minuten zu Stunden. Nervosität und Anspannung beherrschen den Raum. Olivera kaut auf ihrer Unterlippe. Otto kann sich kaum ruhig auf seinem Stuhl halten dreht seinen Körper im Sekundentempo ruckartig nach rechts, links, rechts, links. Othmar schlurft mit seinen Hausschuhen über den Boden. „Was hab ich, Frau Fachlehrer?“, sprudelt es fast flehend aus Oskars Mund. Frau Ostermann lässt seine Frage unbeantwortet. Stattdessen erinnert sie in ihrer Staccato ähnlichen Abfolge von Worten an die Eigenverantwortung eines jeden einzelnen bei der Auswahl von Aufgabenteilen der Schularbeit und deren Auswirkung auf die Benotung. „Wenn ihr zum B Teil den A Teil gewählt habt, und diese halbwegs fehlerfrei gemeistert habt, dann gibt es ein Befriedigend, das war die Sicherheitsvariante. Wenn ihr zum B Teil den C Teil gewählt habt, dann ist ein Sehr gut und Gut möglich, das war die risikoreichere Variante. Einige von euch werden sich vielleicht ärgern, dass sie nicht die herausfordernde Variante gewählt haben. Ich weiß, dass ihr diese hättet schaffen können.“ Endlich, die Erlösung. Frau Ostermann teilt die Hefte aus. „Ich könnte mich ohrfeigen! Warum hab ich nicht Teil C gewählt? Ich hätte das alles können!“, ärgert sich Oskar lautstark über sich selbst. Selbst die Beschwichtigungsversuche der Fachlehrerin, dass er aus seiner Fehlentscheidung lernen und es beim nächsten Mal besser machen werde, prallen an ihm ab. Oskar kann und will sich nicht beruhigen. Er beschimpft sich selbst und wendet sich verzweifelten Blickes an Frau Ostermann und an seinen Sitznachbarn, mehrmals wiederholend „Aber das hätte ich alles gekonnt. Aber das hätte ich doch alles gekonnt!“

9 Assessment for Learning
“If they are to have a productive impact on the learner, … the assessment results must go beyond merely providing judgments about to providing rich descriptions of student performance. In other words, if assessments are to support improvements in student learning, their results must inform students how to do better the next time.” - Rick Stiggins (2008)

10 The Phenonemon of Practice according to Jim Spillane
Practice manifests itself in interactions. Practice is situated and is constructed by and in the situation. The situation enables or restricts practice, depending on who and what (tools, routines, structures) are available. What tools, routines and structures determine the teachers‘ assessment practice? What tools, routines and structures determine the students‘ learning practice?

11 3-K Orientierung für die Beurteilungspraxis
Leistungs-beurteilung Kompetenzen Komplexitäts-grad Kriterien

12 An apple a day: What criteria do you use to buy apples?
Condition Freshness Gloss Color Size Taste Variety Price Storability Purpose Source

13 Why these apples (and not those), Ms. Teacher?
Because they are delicious, ideal for an apple pie and they‘re organic! Criteria: Taste Purpose Source

14 Criteria always predicate performance
If criteria are not clear, (self-)assessment is subjective and arbitrary development of understanding and competence is restricted it is impossible to document growth and progress

15 Kompetenzraster setzen Kriterien voraus
Antwort: Fach Deutsch Bildungsstandard Volksschule 4. Klasse Mögliche Kriterien: Aufgabe erfüllt Struktur / roter Faden / Nachvollziehbarkeit Wortschatz & Satzstruktur / Verwendung von Konnektoren / Variation Wirksamkeit / Spannungsaufbau Kompetenzbeschreibung aus einem Kompetenzraster: Die Schülerinnen und Schüler können über Begebenheiten und Erfahrungen verständlich sowie thematisch zusammenhängend sprechen. Welches Fach vermuten Sie? Welche Schulstufe? Stellen Sie sich vor, Sie müssen diese Kompetenz beurteilen. Was brauchen Sie noch?

16 Dimensions of assessment rubrics
Criteria, which are authentic and valid (What‘s the measuring stick?) Indicators, which describe the performance (What does a competent action look like?) Levels of quality, which define the requirements in a specific phase of developemtn (How good is the performance regarding the goals for this year?)

17 GERS: „Checklist“ Indicators

18 GERS Rubric/Scale Criteria Indicators  Levels of Quality

19 Assessment for Learning
“Further, to support learning, assessments must evolve from being isolated occasional events attached to the end of teaching to becoming an ongoing series of inter-related events that reveal changes in student learning over time. Such evidence will reveal to the learner and the teacher not only current achievement status, but also improvements in the student’s capabilities—a powerful booster of confidence and motivation.” - Rick Stiggins (2008)

20 An effective tool and routine: the competence diagramme

21 Example in Practice Laura Bergman, Akademisches Gymnasium Graz

22 Erfolgsfaktoren Kompetenzdiagramm
Liefern 2 Informationen für Schüler/innen, Lehrer/innen und Eltern: Der Beurteilungsraster beschreibt die Qualitätsstufen orientiert am Zielbild, d.h. er macht Anforderungen der Schulstufe klar. Das Diagramm stellt die Leistungsentwicklung des Schülers/der Schülerin im Hinblick auf den Anforderungen dar. Fokus + klare Anforderungen + aktuelle Informationen zur Leistungsentwicklung in Kombination haben eine signifikante Wirkung auf die Leistungsentwicklung der Schüler/innen (bis zu +32% laut Marzano 2007). Erfolgsfaktoren: Nur ein Kompetenzziel wird in der Grafik dargestellt. Die Aufgaben zur Leistungsfeststellung sind unterschiedlich (Transfer) und stellen den gleichen Anspruch an Komplexität, damit Ergebnisse vergleichbar sind, und machen die erzielte Kompetenz sichtbar. Der gleiche Beurteilungsraster wird konsequent als Maßstab für alle Leistungsfeststellungen verwendet. Beurteilungsraster statt Punktesystem! In 2 aus 14 Studien, die die Wirksamkeit des Kompetenzdiagramms untersuchten, gab es keine positive Wirkung. Die L/L benutzten hier Punktesystem statt Ergebnisse nach einem Beurteilungsraster. Marzano In 14 different studies, teachers had students in one class track their progress on assessments; in a second class, these teachers taught the same content for the same length of time without having students track their progress (see On average, the practice of having students track their own progress was associated with a 32 percentile point gain in their achievement.

23 Weitere Belegstücke

24 Belegstück Innovativ Englisch, 5
Belegstück Innovativ Englisch, 5. Schulstufe Veronika Weiskopf-Prantner, NMS-Landeck Wie zeigt sich das? Schüler/innen bestimmen die Qualitäts – bzw. Beurteilungskriterien einer Leistung mit und erarbeiten gemeinsam mit der Lehrperson Beschreibungen der Qualitätsstufen, die in der Schulstufe zu erwarten sind; diese Beschreibungen werden im Rahmen von Lehr- und Lernprozessen sowie bei der Leistungsfeststellung konsequent als Beurteilungsraster verwendet.

25 Belegstück „beginnend“
Wie zeigt sich das? Teilaspekte fehlen oder werden fehlerhaft umgesetzt, z.B. Kompetenzraster ohne Untermauerung von Kriterien; Kriterien werden vereinzelt angesprochen bzw. angedeutet.