Neue Wege zur Leistungsbeurteilung – vom Buchhalter zum Gutachter Andrea Köstenbauer, MA BEd

LEHRPLAN: Detaillierte gesetzliche Vorgaben über Bildungsziele und Lehraufgaben Verankerung der Bildungsstandards 1.SCHRITT BLICK IN DEN LEHRPLAN

LEHRPLAN: 1.SCHRITT BLICK IN DEN LEHRPLAN

Kompetenz besteht aus dem Zusammenspiel von Wissen, Fähigkeiten, Fertigkeiten und Haltungen, welche in Handlungssituationen durch die Disposition der Einzelnen zur Geltung kommen. (BMBF, 2012, S. 3) Da Kompetenzen als Ergebnis eines langen Lernprozesses in Interaktion mit und unter Erforschung der Umgebung angesehen werden müssen, sind sie manifestiert und nur in situativen Kontexten beobachtbar. (Bundesinstitut, 2010, S. 6) Kompetenz ist die Fähigkeit, eine komplexe Anforderung erfolgreich zu bewältigen oder eine komplexe Aktivität oder Aufgabe durchzuführen. (Rychen & Sagalnik, 2002, S. 5) 1.SCHRITT BLICK IN DEN LEHRPLAN KOMPETENZBEGRIFF

Wann habe ich zum letzten Mal...  den Lehrplan gelesen?  mit meinem Fachteam die Inhalte und Folgerungen diskutiert? Link zum Lehrplan: i_185_anl1_22513.pdf?4dzi3h 1.SCHRITT BLICK IN DEN LEHRPLAN

Perlenkette Lineares Curriculum + Einfache Handhabung durch konsequente Gliederung -Wenig Flexibilität oder Spontanität -Hoher Anspruch an Erinnerungsvermögen auf dem Lernweg 2. SCHRITT PLANUNG VON LEHRABSCHNITTEN Curriculum – Verlauf / Ablauf vgl. Böss-Ostendorf & Senft, 2010, S

Landkarte Zweidimensionales Curriculum + Aufbauend auf Basiswissen und Grundlagen + Einzelne „Erkundungsbereiche“ ermöglichen Flexibilität -Gefahr des Ausschweifens in Teilbereichen -Unbemerkte „weiße Flecken“ auf der Landkarte 2. SCHRITT PLANUNG VON LEHRABSCHNITTEN Curriculum – Verlauf / Ablauf vgl. Böss-Ostendorf & Senft, 2010, S

Spirale Dreidimensionales Curriculum + Weg vom Einfachen zum Komplexen + Blick nach unten auf Bewältigtes + Blick nach vorne auf das Ziel + Blick in die Weite für neue Ziele / Visionen 2. SCHRITT PLANUNG VON LEHRABSCHNITTEN Curriculum – Verlauf / Ablauf vgl. Böss-Ostendorf & Senft, 2010, S

Wenn Beurteilungen auf Lernzielen basieren und nicht auf detaillierten Lehr- und Schulbuchinhalten, werden sie ein wahres Bild dessen abliefern, was tatsächlich erreicht wurde. (Hughes, 2003, S. 55) 3. SCHRITT ENTWICKLUNG VON ERFOLGSKRITERIEN Ein Lehr-Lernmodell ist dann gewinnbringend, wenn es aufgebaut ist auf spezifische Lernabsichten und Erfolgskriterien, da diese den Grad der Herausforderung, den Zweck und die Ziele des Unterrichts festlegen. (Hattie, 2012, S. 36)

ZIELBILD … beschreibt zu erwartende Performanzen (= beobacht- bare Leistungen), die Rückschlüsse auf vorhandene Kompetenzen zulassen. BEURTEILUNGSRASTER / -SKALEN … bieten hilfreiche Markierungspunkte auf dem Weg in Form von Kriterien. Sie zeigen gleichzeitig WAS bewältigt wurde und WIE GUT es gelungen ist. 3. SCHRITT ENTWICKLUNG VON ERFOLGSKRITERIEN (vgl. Köstenbauer, 2014, S. 123)

4. SCHRITT RÜCKWÄRTIGES LERNDESIGN* * Übersetzung von „Backward Design“ nach Wiggins & McTighe Planung vom ZIELBILD ausgehend Verstehensorientierte Kernideen Sinnstiftende Kernfragen Transparente und handlungsorientierte Lernziele (Schlichterle, 2012) Lehrpersonen arbeiten in Professionellen Lerngemeinschaften (PLG)

4. SCHRITT RÜCKWÄRTIGES LERNDESIGN Lehrende haben bereits bei der Planung  klare Zielformulierungen  aussagekräftiges Rückmeldewerkzeug  Kriterien für Beurteilung

5. SCHRITT RÜCKMELDUNG UND DOKUMENTATION  Rückmeldung VOR der Dokumentation Die Art und Weise wie Feedback an Lernende kommuniziert wird, beeinflusst in hohem Maße, ob es eine positive oder negative Auswirkung auf den Lernerfolg hat. Ist der Antrieb des Lernenden  … am Erfolg orientiert?  … Fehler vermeidend? (Marzano, 2006, S. 7)

FEHLER RÜCKMELDUNG... sind ein wesentlicher Bestandteil des Lernprozesses Fehlervermeidung ist im Lernprozess kontraproduktiv Fehler nicht bestrafen, sondern Lernfortschritt ermöglichen durch förderliche und fordernde Rückmeldekultur auf den Ebenen der Aufgabe, des Lernprozesses und der Selbstregulation

5. SCHRITT RÜCKMELDUNG UND DOKUMENTATION AUFGABEN-Ebene: Wohin gehe ich? WAS sind meine Ziele? –richtig / falsch

5. SCHRITT RÜCKMELDUNG UND DOKUMENTATION LERNPROZESS-Ebene: WIE gelange ich ans Ziel? Welchen Fortschritt mache ich in Richtung Ziel? – Strategien entwickeln – Sinnhaftigkeit von Strategien evaluieren “ Bloßes Wiederholen einer Aktivität wird nicht zu einer Verbesserung der Performanz führen - der Grund für mangelnden Fortschritt liegt oft in inadäquaten Strategien. “ (Ericsson et al. 1993, Deliberate Practice in the Aquisition of Expert Performancen p.367)

5. SCHRITT RÜCKMELDUNG UND DOKUMENTATION Ebene der SELBSTREGULATION: WOHIN gehe ich als nächstes? –Selbstkontrolle –Lenkung des Lernprozesses und der Maßnahmen –Auswahl der nächsten Herausforderung

Effizientes Lernen ist ohne adäquates Feedback unmöglich, und der Fortschritt ohne Feedback ist sogar bei hoch motivierten Lernenden nur minimal. (Ericsson et al. 1993, Deliberate Practice in the Aquisition of Expert Performance) 5. SCHRITT RÜCKMELDUNG UND DOKUMENTATION

6. SCHRITT VON DER DOKUMENTATION ZUR NOTE  Schwierigkeit einer Aufgabe zeigt sich durch Lösungshäufigkeit  Komplexität bildet die kognitiven Vorgänge ab, die zur Lösung angewendet werden ( vgl. Webb – DOK)

6. SCHRITT VON DER DOKUMENTATION ZUR NOTE  LBVO fordert keine arithmetische Berechnung, sondern das Gutachten der Lehrperson.  Prozentwerte oder Punktesummen können ohne psychometrisches Basiswissen der Anwender keine aussagekräftige Auskunft über Lernfortschritt oder Wissenstiefe von Lernenden geben und lassen daher keine Rückschlüsse auf erworbene Fähigkeiten oder Fertigkeiten zu. (Köstenbauer, 2014, S. 128 f.)

Für die ‚Verrechnung‘ von Leistungen zu Noten und von Einzelnoten zu Gesamtnoten bietet die Rechtslage keine praktikablen Anhaltspunkte. Praxisgängige Verfahren, v.a. die Anwendung von Punktesystemen und die Mittelwert-berechnung von Noten, bleiben in SchUG und LBVO nicht nur unerwähnt, sie werden durch die geltende Rechtslage (und das Skalenniveau der Noten) im Grunde sogar ausgeschlossen. Eder, Neuweg, Thonhauser (Nationaler Bildungsbericht 2009, Band 2, S. 250) 6. SCHRITT VON DER DOKUMENTATION ZUR NOTE

ALLE FÄCHER – ALLE SCHULSTUFEN A 4.03 Zielbild übertroffen 3.0 B Zielbild erreicht 2.0 C Zielbild im Wesentlichen erreicht 1.0 D Mit Hilfe teils B bzw. C / Minimalanforderung erfüllt BEURTEILUNGSSKALA

6. SCHRITT VON DER DOKUMENTATION ZUR NOTE Über Zielbild oder Kompetenzraster zur Beurteilungsskala nzraster.pdf Praxiseinblicke Mathematik Praxiseinblicke Deutsch Praxiseinblicke Englisch

7. SCHRITT TESTTHEORETISCHE HÜRDEN IM AUGE BEHALTEN PRINZIP DER EINDIMENSIONALITÄT Addieren von Ergebnissen unterschiedlicher Aufgaben sagt nichts über einzelne Kompetenzen aus (Schreibaufgabe + Leseaufgabe + Höraufgabe) : 3 = ? (geometrische Zeichnung + Prozentrechnung) : 2 = ?

7. SCHRITT TESTTHEORETISCHE HÜRDEN IM AUGE BEHALTEN VALIDITÄT Was sagt eine Aufgabe über eine Kompetenz aus, wenn die Lösung nur über einen Lesetext erreicht werden kann? Frage: WAS teste ich mit dieser Aufgabe?

7. SCHRITT TESTTHEORETISCHE HÜRDEN IM AUGE BEHALTEN RELIABILITÄT Würde eine Wiederholung der Überprüfung in einem ähnlichen Kontext ähnliche Ergebnisse hervorbringen? Frage: WIE teste ich eine bestimmte Fertigkeit?

Ein Passing Level von 40 % bedeutet, dass 40 von 100 Items von minimal kompetenten Kandidaten (lt. Mindestanforderung) korrekt gelöst werden können. Die restlichen 60 % der Aufgaben sollten nur von jenen Kandidaten gelöst werden können, die auf einer höheren Kompetenzstufe liegen. Werden mehrere Schwellen eingezogen, z. B. bei den Noten 1-3, muss für jede Note eine spezifische Minimalkompetenz festgelegt werden. 7. SCHRITT TESTTHEORETISCHE HÜRDEN IM AUGE BEHALTEN PASSING LEVEL

FÜR HOBBY- BUCHHALTER: EIN SCHRITT ZUR SEITE Angoff-Methode Mitglieder in einem Expertenpool schätzen, wie viele von 100 gestellten Aufgaben mit der erwarteten Minimalkompetenz bewältigbar sind. Die einzelnen Ergebnisse werden addiert und durch die Anzahl der Experten dividiert. Der Durchschnittswert wird gerundet. z. B. Schätzung von 100 Experten bei 100 items ergeben einen Durchschnittswert von … 38,5-39,4 = passing level 39 % 39,5-40,4 = passing level 40 %

VIELEN DANK FÜR IHRE AUFMERKSAMKEIT!

LITERATUR Angoff, William H Scales, Normes and Equivalent Scores. Princeton, New Jersey: Educational Testing Service. Verfürgbar unter: [ ] BMBF. (2012) BGBl.II Nr. 185, Anlage 1 vom Verfügbar unter Böss-Ostendorf, A. & Senft, H. (2010). Einführung in die Hochschul-Lehre. Ein Didaktik-Coach. Opladen & Farmington Hills, MI: Verlag Barbara Budrich. Bundesinstitut Bildungsforschung, Innovation & Entwicklung des österreichsischen Schulwesens. (Hrsg.) (2010). Bildungsstandards in Österreich. Überprüfung und Rückmeldung. Salzburg: bifie. Eder, F., Neuwe,g G. H. & Thonhauser, J. (2009). Leistungsfeststellung und Leistungsbeurteilung. In: Specht, Werner (Hrsg.) Nationaler Bildungsbericht Wien: bifie, BMUKK. Hattie, J Visible Learning for Teachers. Oxon, Routledge Hughes, Arthur. (2003). Testing for Language Teachers. Second Edition. Cambridge: CUP. Köstenbauer, A. 2014, Leistungsbeurteilung NEU - von der Buchhaltung zum Gutachten. In sieben Schritten zu fairer und effizienter Leistungsbeurteilung. In: Pflanzl, Lenz & Vogel (Hrsg.). Lehren lehren. Dynamische Professionalität in der PädagogInnenbildung. Graz: Leykam. Marzano, R.J Classroom Assessment & Grading that work. Virginia: ASCD. Rychen, D.S. & Sagalnik, L.H. (2002) DeSeCo Symposium, discussion Paper, 2nd International Symposium of DeSeCo (Definition and Selsction of competencies), OECD and SFSO, Geneva. Schlichterle, Birgit. (2012). Vom Ende her planen – das rückwärtige Lerndesign. Symposium West: G1-G3. Alpbach, Verfügbar unter: r%20planen%20-%20Das%20r%C3%BCckw%C3%A4rtige%20Lerndesign.pdf [ ] Westfall-Greiter, Tanja Orientierungshilfe Leistungsbeurteilung, Teil 1. Bundeszentrum für Lernende Schulen, NMS-Entwicklung.

LINKS Bitte informieren Sie sich auf z.B. Thema Leistungsbeurteilung: Lehrplan NMS-Umsetzungspaket Leistungsbeurteilungsverordnung ngsverordnung%2c%20Fassung%20vom% pdf Kompetenzmodelle

ANDREA KOESTENBAUER, MA 26 Jahre lang Pflichtschullehrerin (E, GW, BS) Masterstudium Language Testing and Teaching an der AAU Klagenfurt, Abschluss 2012 Hochschullehrgang Hochschuldidaktik Abschluss 2014 seit 2004 Referentin in der Fortbildung (E, BS) Bildungsstandards (=BiSt) / Kompetenzorientierung: Interlocutor/Assessor (Sprechen) seit 2008 Rater (Schreiben) seit 2010 seit 2009 an der PHST (Lehre / Konzeption / Koordination): Referentenpool Kompetenzorientierung (BiSt / NMS) Expertengruppe Schularbeiten Englisch-Fortbildung an APS und AHS Publikation zum Thema Leistungsbeurteilung in der PH Studienreihe 2014 Mitarbeit General Course MORE 3 und MORE 4 Forschungsarbeit im Bereich Sprechen (L1 und L2), Kompetenzorientierung und Aufgabenkultur