Annäherung der Transformationsfunktion von Logit Measures auf Fair Measures im Multifacetten-Raschmodell (MFRM) durch logistische Regression. Eine Simulationsstudie.

Präsentation zum Thema: "Annäherung der Transformationsfunktion von Logit Measures auf Fair Measures im Multifacetten-Raschmodell (MFRM) durch logistische Regression. Eine Simulationsstudie."—  Präsentation transkript:

1 Annäherung der Transformationsfunktion von Logit Measures auf Fair Measures im Multifacetten-Raschmodell (MFRM) durch logistische Regression. Eine Simulationsstudie Hermann Cesnik Language Testing in Austria: Towards a Research Agenda

2 Logit und Fair in TCC (Test Characteristic Curve)
Status: Produktive Leistungen sind durch mehrere Faktoren (Haupteffekte) geprägt Probandenfähigkeit Aufgabenschwierigkeit Beurteilerstrenge, … Das verwendete Multifacetten-Raschmodell (MFRM) liefert durch Auspartialisierung faire Ergebnisse, die aber mit folgendem Nachteil behaftet sind Ergebnisse auf logarithmischer Skala (Logit {-∞;+∞), diese müssen auf Originalskala (Fair {1;5}) rücktransformiert werden Transformation (siehe TCC) erfolgt nur modellintern und ist für Benutzer nicht nachvollziehbar Situation dadurch für Methodiker oft unbefriedigend Lösung: Externe Approximationen mit folgenden Vorteilen flexibel ohne MFRM einsetzbar Fair Measures berechenbar für jeden Wert am Logit-Kontinuum nicht nur für existierende Werte von Probanden / Aufgaben z.B. Konfidenzintervalle auch für Fair Measures berechenbar Anwendung auf Testergebnisse außerhalb des MFRM 1. allgemeines logistisches Regressionsmodell Regressionskoeffizient b1 (= Steigung in linearer Regression) konstanter Term b0 (= Ordinatenabstand in linearer Regression) 2. modifiziertes logistisches Regressionsmodell (n. Linacre) Steigung und Ordinatenabstand werden direkt aus empirischen Daten berechnet Language Testing in Austria: Towards a Research Agenda

3 Approximation Probandenfähigkeit
Allgemeines logistisches Regressionsmodell Modifiziertes logistisches Regressionsmodell 𝑀𝑜𝑑𝐹𝑎𝑖𝑟_𝑃𝑒𝑟𝑠≈ 1+5∗ 𝑒 𝐿𝑜𝑔𝑖𝑡 𝑀𝑒𝑎𝑠𝑢𝑟𝑒−0,0123 −1, 𝑒 𝐿𝑜𝑔𝑖𝑡 𝑀𝑒𝑎𝑠𝑢𝑟𝑒−0,0123 −1,3919 𝐿𝑔𝑠𝑡𝐹𝑎𝑖𝑟_𝑃𝑒𝑟𝑠= ,25+0,2534∗ 2,1540 𝐿𝑜𝑔𝑖𝑡 𝑀𝑒𝑎𝑠𝑢𝑟𝑒 Language Testing in Austria: Towards a Research Agenda

4 Approximation Aufgabenschwierigkeit
Allgemeines logistisches Regressionsmodell Modifiziertes logistisches Regressionsmodell 𝑀𝑜𝑑𝐹𝑎𝑖𝑟_𝐴𝑢𝑓𝑔≈ 1+5∗ 𝑒 𝐿𝑜𝑔𝑖𝑡 𝑀𝑒𝑎𝑠𝑢𝑟𝑒−0, , 𝑒 𝐿𝑜𝑔𝑖𝑡 𝑀𝑒𝑎𝑠𝑢𝑟𝑒−0, ,3919 𝐿𝑔𝑠𝑡𝐹𝑎𝑖𝑟_𝐴𝑢𝑓𝑔= ,25+0,2590∗ 0,5024 𝐿𝑜𝑔𝑖𝑡 𝑀𝑒𝑎𝑠𝑢𝑟𝑒 Language Testing in Austria: Towards a Research Agenda

5 Approximationsqualität mittels Residuen
Aufgabenschwierigkeit Personenfähigkeit Vergleich der Fair Measures aus Facets (Basis = TCC-Linie) mit Modell 1 (): allgemeines logistisches Regressionsmodell Modell 2 (): modifiziertes logistisches Regressionsmodell Beide Modelle sind gleichermaßen geeignet, die TCC zu modellieren Residuum beträgt maximal 0,08 Noteneinheiten (ist in Grafik stark überhöht gezeichnet!) Fehleramplitude Aufgabenschwierigkeit:  = 0,034 Noteneinheiten  = 0,065 Noteneinheiten Fehleramplitude Personenfähigkeit:  = 0,16 Noteneinheiten  = 0,12 Noteneinheiten Language Testing in Austria: Towards a Research Agenda