Die Standardisierte Reife- und Diplomprüfung (SRDP) Deutsch als Unterrichtssprache: Methodenkonzept und Hauptergebnisse der Feldtestung Hermann Cesnik & Günther Sigott Language Testing in Austria: Towards a Research Agenda

Weshalb eine Feldtestung für die SRDP als High-Stakes Test? Zur Validierung der Aufgaben vor erstmaliger Verwendung Zum Einordnung der Aufgaben in kalibrierte Aufgabenbank für den langfristigen Vergleich psychometrischer (statistischer) Aufgabenparameter Ablaufprozedur der Feldtestung SRDP-Deutsch Language Testing in Austria: Towards a Research Agenda

Entwicklung beginnt mit … Erstellung Stichprobenplan Größe, Struktur (Schultyp, Region, …), u.a. Entwicklung Testheftdesign (TH) reguläre TH (reguläre Aufgaben wie in Matura geplant) interne Linking-TH (Verlinkung mit den anderen Aufgaben) externe Linking-TH (Verlinkung mit vorhergenden Feldtestungen) Testadministration in den Schulklassen (durch: Bifie/BM) Entwicklung Ratingplan: Zuteilung Testperformanzen (TP) zu Assessoren als Basis für Bewertung Assessoren: 28 Common TP: 4 (von allen Assessoren zu bewerten  Assessorenstrenge) Individuelle TP: 41 (von einem Assessor zu bewerten) Gesamt TP: 1260 Language Testing in Austria: Towards a Research Agenda

geht weiter mit … Ratingprozedur am Bifie & Dateneingabe Bewertung der Performanzen erfolgt in mehrtägigen Sessions Datenanalyse: Multifacetten-Raschmodell Assessorenstrenge, Aufgabenschwierigkeit & Personenfähigkeit werden auspartialisiert Wahrsch. Note nach Personenfähigkeit (in Logits) Festlegung von 5 Statistikkriterien Aufgabenschwierigkeit Standardfehler Infit & Outfit MS Diskriminationsfähigkeit der Aufgabe geringe P-Fähigkeit hohe P-Fähigkeit Statistikkriterien Kriterien (Schwellenwerte) für Verwendbarkeit der Aufgabe im Realbetrieb nicht verwendbar bedingt verwendb. verwendbar Schwierigkeit (Fair Msr) <2,25 2,25 bis <2,50 2,50 bis 3,50 >3,50 bis 3,75 >3,75 Standardfehler (S.E.) <0,20 Fit (Infit MS, Outfit MS) <0,75 0,75 bis 1,25 >1,25 bis 1,50 >1,50 Diskriminationsindex (DI) <0,40 0,40 bis <0,70 0,70 bis 1,30 >1,30 bis 1,60 >1,60 Language Testing in Austria: Towards a Research Agenda

… und endet in Aufgabenklassifikation nach 5 Statistikkriterien. Language Testing in Austria: Towards a Research Agenda