Peer – Assessment Tim Nikol 08.06.2009

Gliederung Etymologie Abgrenzung Chancen & Risiken Ausgewählte Forschungsergebnisse Psychologie

Etymologie „Peer“ (engl.): Kamerad, (fachlicher) Kollege „Pará“ (griech.): neben, ebenbürtig „to assess“ (engl.): bewerten, einschätzen

Begriffsabgrenzung Peer Assessment Peer Evaluation Peer Review

Peer Review Mit Peer-Review ist eine anonyme Begutachtung ("review") durch fachliche Kollegen ("peers") gemeint, wodurch die Qualität wissenschaftlicher Leistungen bewertet und sichergestellt werden soll (PRO-WISS, URL: http://www.prowiss.unizh.ch/infos/glossar/glossar.html) Zwei Hauptfunktionen: „Reviewing“: Kommunikation mit Kollegen und Autoren Feedback Geben, zur Hilfe von Manuskriptverbesserungen „Refereeing“: Eine Qualitätsuntergrenze für Artikel festlegen und Qualität kontrollieren Eigenschaften: geringe Kohärenz und Relevanz der Peer Reviews, (z.T. unfair, widersprüchlich oder zweifelhaft)

Beurteilung Einzel Gruppe Lehrperson Mitlernende Lernender Klassische Fremdbeurteilung Group- Assessment Mitlernende Peer- Peer / Group Lernender Self- Self / Group

Peer Evaluation/Assessment Häufig synonym verwendet Bewertung einzelner Mitlernender Bewertung mitlernender Gruppen Peer-Assessment geht meist einher mit Self-Assessment

Chancen Hilft Studenten selbstständiger, verantwortlicher und aufmerksamer zu werden und sich mit Mitlernenden ausgiebiger beschäftigen Ermutigt Lernende die Arbeit von anderen kritisch zu analysieren, anstatt nur eine Benotung zu sehen Stellt Bewertungskriterien übersichtlich dar Feedback kann vielfältiger werden Reduziert den Notendruck auf der Lehrer Viele Gruppen können simultan präsentieren, da Lehrer nicht immer anwesend sein muss  Effizienzsteigerung Ermutigt Studenten zu Eigenständigkeit und fördert “higher order thinking skills” (komplexes Denken) Fördert Urteilsvermögen der Lernenden, das für Studium und Berufsleben essentiell ist Quelle: http://www.iml.uts.edu.au/assessment/students/peer.html

Risiken Lernenden kann die Fähigkeit, andere zu bewerten, fehlen Mangelnde Ernsthaftigkeit, Freundschaft, Unterhaltungswert können Bewertung beeinflussen Die Möglichkeit diskriminiert, falsch verstanden zu werden etc. kann Wahrnehmung über Peer Assessment negative beeinflussen Falls Lehrperson nicht eingreift, können Lernende falsch informiert werden  leicht falsche Einschätzung Gefahr des Eingriffs ins Private, indem/falls persönliche Informationen öffentlich gemacht werden Quelle: http://www.iml.uts.edu.au/assessment/students/peer.html

Forschungsstudie Frage nach Reliabilität, Validität und Genauigkeit des Feedbacks? Studie: Self- and Peer-Evaluation in Undergraduate Education: Structuring Conditions That Maximize Its Promises and Minimize the Perils, Journal of Political Science Education 1(1):191-206, 2005

Forschungsergebnisse 67 % fanden die Möglichkeit, die Arbeit ihrer Mitlerner und ihre eigene Leistung zu bewerten, entweder sehr oder etwas hilfreich für Stoffverständnis und Schulung des kritischen Denkens (5% wenig oder keine Hilfe) 77 % stehen der Einbettung von Peer Assessment in der Schule positiv gegenüber Nur 18,5 % gaben sich selbst eine schlechtere Note als anderen

Reliabilität Anonyme Peer Assessments sind reliabler als nicht anonyme Motivation spielt eine Rolle: Lernende, die motiviert sind alle Bewertungskriterien mit einfließen zu lassen, produzieren reliablere Bewertungen

Psychologie Soziale Erwünschtheit „Social desirability heuristic“ – Bei Veröffentlichung von Bewertungen Anonymität Self- und Peer-Assessment gehen einher  kann Bewertung färben „Downward Comparison“: Leute können ihre subjektive Selbstempfindung verbessern, indem sie sich mit Unglücklichen, oder sozial und fachlich Schwächeren messen Motivation

Motivation Studenten, die hoch motiviert waren, vorgegebene Bewertungskriterien anzuwenden, produzieren genauere Bewertungen, als ihre Mitlernenden, die entweder nicht motiviert waren diese Kriterien anzuwenden oder die ihnen nicht zur Verfügung standen. Bei hoher Motivation und unter Anleitung werden die Ergebnisse des Assessment am genauesten und haben die höhste Reliabilität Zeitdruck kann Motivation beeinträchtigen

Schülermeinungen “I feel I am too hard on others,” “I thought some did not deserve the grade I gave them, it should have been lower,” “I did not put effort into evaluation and gave random grades.” “it’s a controversial class, thus personal positions can lead to evaluation bias,” “if someone does not agree with the writer’s stance, they may give an extremely low grade.”