Vorläufige Ergebnisse der Testentwicklung

Präsentation zum Thema: "Vorläufige Ergebnisse der Testentwicklung"—  Präsentation transkript:

1 Vorläufige Ergebnisse der Testentwicklung
Die Folien dürfen zu nicht-kommerziellen Zwecken frei verwendet und verändert werden. Diagnose der Lesegenauigkeit, der Lesegeschwindigkeit und des Leseverständnisses mit ELFE II Vorläufige Ergebnisse der Testentwicklung

2 ELFE II (W. Lenhard, A. Lenhard & W. Schneider, 2017)
ELFE 1-6: Weit verbreiteter Test (ca. 300 Zitationen auf Google Scholar zwischen 2006 und 2016) Neukonstruktion ELFE II stellt eine umfassende Überarbeitung der ersten Fassung dar Leseverständnistest auf 3 Ebenen: Wortebene (75 Items) Satzebene (36 Items) Textebene (26 Items) Pilotierung: Erfassung von Speed in ms und Accuracy N = 628; Kinder der Klassen 2 bis 6 (Okt. – Dez. 2014) Revision abgeschlossen: Erhebung einer repräsentativen Norm (N  4 500) 07/2015 und 02/2016 Umfassende Erfahrungen und Rückmeldungen durch Anwender -> Neue in allen Aspekten weiterentwickelt, bei Beibehaltung der Grundstruktur Test ist Standardverfahren in der Leseverständnisdiagnostik z. B. Einsatz in der IGLU-Studie 2015/2016 Itemzahlen des neuen Tests Erfassung des stillen Lesens aber auch der Worterkennungsgeschwindigkeit. Bsp 3. Klasse: Anteil an Kindern

3 Konstruktionsprinzipien (Textebene)
Multiple Choice Aufgaben, 26 Items Modell: Kohärenz lokal global Genre narrativ expositorisch verba- tim Text Basis gist

4 Was ist neu im Vergleich zu ELFE 1-6?
Inhaltliche Überarbeitung Bessere Differenzierung über alle Fähigkeitsbereiche: mehr leichte und schwere Aufgaben, generell mehr Aufgaben Entfernung „technologiesensibler“ Aufgaben Neues Konstruktionsprinzip beim Textverständnistest Neukonstruktion des Untertests zur Worterkennungsgeschwindigkeit Testkonstruktion Neues Testmodell (Conjoint IRT) Analyse der Testfairness Analysen anhand von Strukturgleichungen / Konstruktvalidität Altersspezifische Kurzfassungen 1 bis 3 Klasse (ohne Textverständnistest) 4 bis 7 Klasse (zeitverkürzt)

5 Was ist neu im Vergleich zu ELFE 1-6?
Normen und Auswertung Deutliche Reduktion von Boden- und Deckeneffekten Neuer Normierungsansatz: Exakte Normen für jeden Zeitabschnitt verfügbar (1. Klasse, 9 Monate bis 7. Klasse, 3 Monate) Plausibilitätschecks (Ratewahrscheinlichkeit) Neu entwickelte Diskrepanzanalyse (analog zu Wechsler-Tests und KABC-II) Analyse des Arbeitsstils: Vergleich der Anzahl bearbeiteter und korrekt gelöster Aufgaben Keine nicht-tabellierten Werte mehr Komplette Neuentwicklung des Programms (jetzt auch serverfähig und auf Mac OS X lauffähig)

6 Punktzahl im Satzverständnistest nach Alter und Leistungsband (PR)
Die leistungs-schwächsten 1% erreichen am Beginn der 7. Klasse nicht das Niveau, das die Leistungs-starken (PR 99%) am Ende der 1. Klasse hatten. Leichte Decken- und Bodeneffekte Bei PR1 und PR99 1 Jahr 2 Jahre 3 Jahre 4 Jahre 5 Jahre 6 Jahre

7 Exemplarisch: Unterschied Entwicklung Wortverständnis bei LRS
Mittlerer Unterschied: 10 T-Wert-Punkte

8 Beispiel Entwicklung der Worterkennungsgeschwindigkeit
Anteil an Kindern nach Klassenstufe und Diagnose (kein Befund versus LRS), die die Schwelle der Worterkennung von 200 ms nicht erreichen:

9 Hintergrund zur Testkonstruktion
ELFE II Hintergrund zur Testkonstruktion

10 Probleme bisheriger Testkonstruktion
Zu wenig Varianz in Genauigkeit bei basalen Leseprozessen Notwendigkeit, neben Genauigkeit auch Geschwindigkeit zu berücksichtigen: 𝐿𝑒𝑖𝑠𝑡𝑢𝑛𝑔= 𝐴𝑟𝑏𝑒𝑖𝑡 𝑍𝑒𝑖𝑡 Verfügbare Testtheorien limitierten bisher eine angemessene Abbildung von Leseprozessen: Konstruktion gespeedeter Leistungstests basierend auf KTT unter Verzicht weiterführender Analysemöglichkeiten und mit vielen ungeprüften Modellannahmen Konstruktion IRT-basierter Test unter Ausblendung von Lesegeschwindigkeit und mit Fokus auf hierarchiehohe Prozesse Tests wurden z. T. passend zur Testtheorie entwickelt und nicht passend zum Konstrukt

11 Nächster Schritt: Conjoint IRT (CIRT; Klein Entink, 2011)
1P-, 2P- or 3P-Modelle für Genauigkeit Zweites Modell für Zeitverbrauch Direkte Modellierung der Zeit durch CDF der logarithmierten Zeiten, z.B. 2*2P-Modell: 𝑃 𝑦 𝑖𝑘 =1  𝑖 , 𝑎 𝑘 , 𝑏 𝑘 =( 𝑎 𝑘  𝑖 − 𝑏 𝑘 ) 𝑃(𝑡 𝑖𝑘 ≤ 𝑡 𝑖𝑘 ′ )= (𝑙𝑜𝑔 (𝑡 𝑖𝑘 ′ )−  𝑘 −  𝑘  𝑖 ) ak, bk: Trennschärfe und Schwierigkeit : Dichtefunktion der kumulativen Normalverteilung 𝑡 𝑖𝑘 ′ >0  𝑘 : Zeitverbrauch  𝑘 : Trennschärfe (Zeit)  𝑖 : Geschwindigkeit Iterative Bestimmung der Parameter via Markov-Chain-Monte-Carlo-Algorithmus (Hierarchischer Bayes-Ansatz) Genauigkeit Geschwindigkeit Gemeinsame Modellierung von Lesegeschwindigkeit / Time Consume und Lesegenauigkeit / Textschwierigkeit möglich Konstruktion gespeedeter Tests als Sonderform adaptiven Testens möglich

12 Modellierung mit Conjoint IRT (R-Package cirt 2.5; Klein Entink 2013)
2 * 2P-Normal Ogive Modell: Jedes Item bekommt Trenn-schärfe und Schwierigkeits-parameter für Genauigkeit und Zeit Gleichermaßen Fähigkeit und Speed als Personenparameter Modelle können überprüft werden: Anzahl an Parametern Klassische n-PL-Modelle versus 2* n-P Fit Measure: Deviant Information Criterion (DIC; hierarchical bayesion information criterion) DIC: Unterschiede ab 10 sehr bedeutsam

13 Speed/Accuracy-Trade-Off beim Lesen
Principal Component Analysis (PCA) mittels der Personenparameter der Subtests Parameter Faktor 1 Präzision Faktor 2 Geschwin-digkeit Wort .798 .800 Satz .878 .929 Text .883 .680

14 Konstruktvalidität der gespeedeten Fassung
Wort1 2 = df = 36 p = .000 CFI = .995 RMSEA = .057 SRMR = .013 .99 Wort2 Wort .98 Wort3 .99 .91 Satz1 Lese-kompe-tenz .98 Satz 1.0 Satz2 .98 .98 Satz3 .88 Text Sehr kohärentes Modell, sehr gute Passung auf Daten Messfehlerbereinigt ist Satzebene am prädiktivsten .94 Text1 .90 Text2 .93 Text3

15 ELFE II Das Computerprogramm

16 Testdurchführung Elfe und Mathis geben die Instruktionen in der Computertestung und sie begleiten die Kinder durch die Testung.

17 Instruktionsaufgabe des Wortverständnistests

18 Instruktionsaufgabe des Satzverständnistests

19 Instruktionsaufgabe des Testverständnistests

20 Eingabe von Ergebnissen der Papiertestung
Sowohl in der Papier- wie in der Computerfassung wird die Anzahl an richtigen und bearbeiteten Aufgaben getrennt voneinander ausgewertet. Die Anzahl richtiger Lösungen dient der Ermittlung des Gesamtergebnisses, der Vergleich zu den Normen der Anzahl an bearbeiteten Aufgaben der Ermittlung der Lesegenauigkeit.

21 Ergebnisdarstellung

22 Normwertabfrage Außerhalb von Testungen lassen sich Normwerte auch direkt einzeln mit hoher Genauigkeit abfragen und Listen von Schülern einlesen und automatisiert auswerten.