Vorläufige Ergebnisse der Testentwicklung Die Folien dürfen zu nicht-kommerziellen Zwecken frei verwendet und verändert werden. Diagnose der Lesegenauigkeit, der Lesegeschwindigkeit und des Leseverständnisses mit ELFE II Vorläufige Ergebnisse der Testentwicklung

ELFE II (W. Lenhard, A. Lenhard & W. Schneider, 2017) ELFE 1-6: Weit verbreiteter Test (ca. 300 Zitationen auf Google Scholar zwischen 2006 und 2016) Neukonstruktion ELFE II stellt eine umfassende Überarbeitung der ersten Fassung dar Leseverständnistest auf 3 Ebenen: Wortebene (75 Items) Satzebene (36 Items) Textebene (26 Items) Pilotierung: Erfassung von Speed in ms und Accuracy N = 628; Kinder der Klassen 2 bis 6 (Okt. – Dez. 2014) Revision abgeschlossen: Erhebung einer repräsentativen Norm (N  4 500) 07/2015 und 02/2016 Umfassende Erfahrungen und Rückmeldungen durch Anwender -> Neue in allen Aspekten weiterentwickelt, bei Beibehaltung der Grundstruktur Test ist Standardverfahren in der Leseverständnisdiagnostik z. B. Einsatz in der IGLU-Studie 2015/2016 Itemzahlen des neuen Tests Erfassung des stillen Lesens aber auch der Worterkennungsgeschwindigkeit. Bsp 3. Klasse: Anteil an Kindern

Konstruktionsprinzipien (Textebene) Multiple Choice Aufgaben, 26 Items Modell: Kohärenz lokal global Genre narrativ expositorisch verba- tim Text Basis gist

Was ist neu im Vergleich zu ELFE 1-6? Inhaltliche Überarbeitung Bessere Differenzierung über alle Fähigkeitsbereiche: mehr leichte und schwere Aufgaben, generell mehr Aufgaben Entfernung „technologiesensibler“ Aufgaben Neues Konstruktionsprinzip beim Textverständnistest Neukonstruktion des Untertests zur Worterkennungsgeschwindigkeit Testkonstruktion Neues Testmodell (Conjoint IRT) Analyse der Testfairness Analysen anhand von Strukturgleichungen / Konstruktvalidität Altersspezifische Kurzfassungen 1 bis 3 Klasse (ohne Textverständnistest) 4 bis 7 Klasse (zeitverkürzt)

Was ist neu im Vergleich zu ELFE 1-6? Normen und Auswertung Deutliche Reduktion von Boden- und Deckeneffekten Neuer Normierungsansatz: Exakte Normen für jeden Zeitabschnitt verfügbar (1. Klasse, 9 Monate bis 7. Klasse, 3 Monate) Plausibilitätschecks (Ratewahrscheinlichkeit) Neu entwickelte Diskrepanzanalyse (analog zu Wechsler-Tests und KABC-II) Analyse des Arbeitsstils: Vergleich der Anzahl bearbeiteter und korrekt gelöster Aufgaben Keine nicht-tabellierten Werte mehr Komplette Neuentwicklung des Programms (jetzt auch serverfähig und auf Mac OS X lauffähig)

Punktzahl im Satzverständnistest nach Alter und Leistungsband (PR) Die leistungs-schwächsten 1% erreichen am Beginn der 7. Klasse nicht das Niveau, das die Leistungs-starken (PR 99%) am Ende der 1. Klasse hatten. Leichte Decken- und Bodeneffekte Bei PR1 und PR99 1 Jahr 2 Jahre 3 Jahre 4 Jahre 5 Jahre 6 Jahre

Exemplarisch: Unterschied Entwicklung Wortverständnis bei LRS Mittlerer Unterschied: 10 T-Wert-Punkte

Beispiel Entwicklung der Worterkennungsgeschwindigkeit Anteil an Kindern nach Klassenstufe und Diagnose (kein Befund versus LRS), die die Schwelle der Worterkennung von 200 ms nicht erreichen:

Hintergrund zur Testkonstruktion ELFE II Hintergrund zur Testkonstruktion

Probleme bisheriger Testkonstruktion Zu wenig Varianz in Genauigkeit bei basalen Leseprozessen Notwendigkeit, neben Genauigkeit auch Geschwindigkeit zu berücksichtigen: 𝐿𝑒𝑖𝑠𝑡𝑢𝑛𝑔= 𝐴𝑟𝑏𝑒𝑖𝑡 𝑍𝑒𝑖𝑡 Verfügbare Testtheorien limitierten bisher eine angemessene Abbildung von Leseprozessen: Konstruktion gespeedeter Leistungstests basierend auf KTT unter Verzicht weiterführender Analysemöglichkeiten und mit vielen ungeprüften Modellannahmen Konstruktion IRT-basierter Test unter Ausblendung von Lesegeschwindigkeit und mit Fokus auf hierarchiehohe Prozesse Tests wurden z. T. passend zur Testtheorie entwickelt und nicht passend zum Konstrukt

Nächster Schritt: Conjoint IRT (CIRT; Klein Entink, 2011) 1P-, 2P- or 3P-Modelle für Genauigkeit Zweites Modell für Zeitverbrauch Direkte Modellierung der Zeit durch CDF der logarithmierten Zeiten, z.B. 2*2P-Modell: 𝑃 𝑦 𝑖𝑘 =1  𝑖 , 𝑎 𝑘 , 𝑏 𝑘 =( 𝑎 𝑘  𝑖 − 𝑏 𝑘 ) 𝑃(𝑡 𝑖𝑘 ≤ 𝑡 𝑖𝑘 ′ )= (𝑙𝑜𝑔 (𝑡 𝑖𝑘 ′ )−  𝑘 −  𝑘  𝑖 ) ak, bk: Trennschärfe und Schwierigkeit : Dichtefunktion der kumulativen Normalverteilung 𝑡 𝑖𝑘 ′ >0  𝑘 : Zeitverbrauch  𝑘 : Trennschärfe (Zeit)  𝑖 : Geschwindigkeit Iterative Bestimmung der Parameter via Markov-Chain-Monte-Carlo-Algorithmus (Hierarchischer Bayes-Ansatz) Genauigkeit Geschwindigkeit Gemeinsame Modellierung von Lesegeschwindigkeit / Time Consume und Lesegenauigkeit / Textschwierigkeit möglich Konstruktion gespeedeter Tests als Sonderform adaptiven Testens möglich

Modellierung mit Conjoint IRT (R-Package cirt 2.5; Klein Entink 2013) 2 * 2P-Normal Ogive Modell: Jedes Item bekommt Trenn-schärfe und Schwierigkeits-parameter für Genauigkeit und Zeit Gleichermaßen Fähigkeit und Speed als Personenparameter Modelle können überprüft werden: Anzahl an Parametern Klassische n-PL-Modelle versus 2* n-P Fit Measure: Deviant Information Criterion (DIC; hierarchical bayesion information criterion) DIC: Unterschiede ab 10 sehr bedeutsam

Speed/Accuracy-Trade-Off beim Lesen Principal Component Analysis (PCA) mittels der Personenparameter der Subtests Parameter Faktor 1 Präzision Faktor 2 Geschwin-digkeit Wort .798   .800 Satz .878 .929 Text .883 .680

Konstruktvalidität der gespeedeten Fassung Wort1 2 = 75677.76 df = 36 p = .000 CFI = .995 RMSEA = .057 SRMR = .013 .99 Wort2 Wort .98 Wort3 .99 .91 Satz1 Lese-kompe-tenz .98 Satz 1.0 Satz2 .98 .98 Satz3 .88 Text Sehr kohärentes Modell, sehr gute Passung auf Daten Messfehlerbereinigt ist Satzebene am prädiktivsten .94 Text1 .90 Text2 .93 Text3

ELFE II Das Computerprogramm

Testdurchführung Elfe und Mathis geben die Instruktionen in der Computertestung und sie begleiten die Kinder durch die Testung.

Instruktionsaufgabe des Wortverständnistests

Instruktionsaufgabe des Satzverständnistests

Instruktionsaufgabe des Testverständnistests

Eingabe von Ergebnissen der Papiertestung Sowohl in der Papier- wie in der Computerfassung wird die Anzahl an richtigen und bearbeiteten Aufgaben getrennt voneinander ausgewertet. Die Anzahl richtiger Lösungen dient der Ermittlung des Gesamtergebnisses, der Vergleich zu den Normen der Anzahl an bearbeiteten Aufgaben der Ermittlung der Lesegenauigkeit.

Ergebnisdarstellung

Normwertabfrage Außerhalb von Testungen lassen sich Normwerte auch direkt einzeln mit hoher Genauigkeit abfragen und Listen von Schülern einlesen und automatisiert auswerten.