Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Testfairness Martin Brunner Max-Planck-Institut für Bildungsforschung

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Tatsächliche Leistung beobachtete Leistung Beobachtete PISA-Leistung Tatsächliche PISA-Leistung Testfairnessanalysen in PISA: Die grundlegende Idee

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Testfairness in PISA Wir wollen die Kompetenz in Lesen/Mathematik messen „PISA- Kompetenz“ Latentes Leistungspotenzial: Lesen/Mathematik Manifeste Beobachtung: Leistung bei den Items/Gesamttest „Störfaktoren“  sprachlicher Ursprung & Vertrautheit (Artelt & Baumert)  Testmotivation (Baumert & Demmrich) Auswirkung von Aufgaben unterschiedlichen sprachlichen Ursprungs auf die Gesamtleistung im PISA-Lesetest sind aufgrund der sprachlich heterogenen Test-Zusammenstellung des Gesamttests eher marginal (Artelt & Baumert, 2004) Auswirkung unterschiedlicher Testmotivation spielt nahezu keine Rolle für die Gesamtleistung im PISA-Mathematiktest (Baumert & Demmrich, 2001)

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Itembias (Differential Item Functioning, DIF) vs. Testbias Testfairness - Fokus: Handlungs- und Entscheidungsaspekt der Diagnostik Pädagogisch-psychologische Diagnostik als Psychologische Diagnostik im Dienste pädagogischer Entscheidungen Testfairness als Nebengütekriterium von Tests Es gibt keine Testfairness schlechthin!

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Testfairness-Konzepte: Cleary (1968) - Regressionskonzept Ein Test ist gegenüber Untergruppen einer Population voreingenommen, wenn der auf der Basis einer gemeinsamen Regression vorhergesagte Kriteriumswert konsistent zu hoch oder zu niedrig für die Mitglieder einer bestimmten Untergruppe ist. Unfair könnte man den Test dann für jene Gruppen nennen, deren Schätzwerte konsistent zu niedrig ausfallen.

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Gut und schlecht geförderte Schüler unterscheiden sich im Mittel nicht in ihrem IQ (vgl. Simons & Möbus, 1976) Cleary (1968): Regressionskonzept - Ein Beispiel

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Der Test ist unfair, weil er die Mathematikleistung der gut geförderten Schüler systematisch unterschätzt (und die Leistung der schlecht geförderten Schüler systematisch überschätzt) Cleary (1968): Regressionskonzept - Ein Beispiel gut gefördert schlecht gefördert

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Testleistung Y: Kriterium gruppenspezifische Cut-Offs fester kritischer Wert Weitere Testfairness-Konzepte FN: Falsch negativ FP: Falsch positiv VP: valid positiv VN: valid negativ „Erfolg“ „kein Erfolg“

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner So geht es weiter

Themen der pädagogisch psychologischen Diagnostik (Sommersemester 2006) Martin Brunner Link zur Veranstaltung