Theorie psychometrischer Tests, III U. Mortensen Mainz 2009

Klassische Testtheorie Kongenerische, äquivalente und parallele Tests Läßt sich die Reliabilität für kongenerische Tests definieren (kongenerisch ist schwächere Forderung als parallel!)? Jöreskog (1971)

Klassische Testtheorie Kongenerische, äquivalente und parallele Tests

Klassische Testtheorie Kongenerische, äquivalente und parallele Tests Test der Annahme der Kongenerität: Die unterliegende Annahme hierbei ist, dass der Test eindimensional ist, dass also nur ein Merkmal gemessen wird. Dies ist die Forderung nach der Homogenität des Tests.

Klassische Testtheorie Arten der Reliabilität Reliabilität: Berechnung der Korrelation zwischen Tests mit Scores X und X‘. Wird ein Test zum Zeitpunkt t1 und der gleiche Test zum Zeitpunkt t2 den gleichen Personen gegeben, so ist X = X(t1) und X‘ = X(t2). Man berechnet die Retest-Reliabilität. Problem: Gedächtnis- und Lerneffekte! Alternative: man teilt einen Test in zwei Hälften (Items mit gerade Nummer X, mit ungerader Nummer X‘. Man berechnet die Split-Half-Reliabilität. Problem: die beiden Testhälften haben nur noch die halbe Länge, und die Reliablität hängt u.a. von der Länge (Anzahl der Items) ab.

Klassische Testtheorie Reliabilität für einen Test doppelter Länge (Spearman-Brown-Formel) Split-Half-Reliabilität:Unterschätzung der wahren Reliabilität. Läßt sich die tatsächliche Reliabilität durch Hochrechnen abschätzen? Derartige Hochrechungen ergeben sich durch die Spearman-Brown-Formeln. Spearman-Brown-Formel für einen Test doppelter Länge.

Klassische Testtheorie Reliabilität für einen Test doppelter Länge (Spearman-Brown-Formel)

Klassische Testtheorie Reliabilität für einen Test n-facher Länge (Spearman-Brown-Formel) Das Resultat läßt sich verallgemeinern auf den Fall eines Tests n-facher Länge. Dies ist die Spearman-Brown-Formel für einen Test mit n-facher Länge.

Klassische Testtheorie Reliabilität für einen Test n-facher Länge (Spearman-Brown-Formel)

Klassische Testtheorie Reliabilität für einen Test n-facher Länge (Spearman-Brown-Formel) Dies bedeutet, dass die Reliabilität eines Tests, der aus parallelen Komponenten besteht, beliebig erhöht werden kann, wenn nur die Anzahl der parallelen Komponenten erhöht wird.

Klassische Testtheorie Interne Konsistenz: Cronbachs Alpha) Cronbachs Alpha gilt als ein Maß für die interne Konsistenz. Interne Konsistenz: - Items messen alle das gleiche Merkmal (Homogenität = 1-Dimensionalität) Behauptung: großer Wert von Alpha, große interne Konsistenz. Was ist dran an dieser Behauptung?

Klassische Testtheorie Interne Konsistenz: Cronbachs Alpha)

Klassische Testtheorie Interne Konsistenz: Cronbachs Alpha) (Herleitung dieses Ausdrucks im Skriptum, Seite 68, Formel (134))

Klassische Testtheorie Interne Konsistenz: Cronbachs Alpha) Wenn alle Items unkorreliert sind, messen sie voneinander unabhängige Merkmale – der Test ist heterogen. Je größer die Korrelationen zwischen den Items, desto homogener der Test, desto größer ist Alpha. Sind zusätzlich alle Varianzen gleich groß, ist Alpha = 1 für alle Werte von n. Für einen ideal heterogenen Test folgt Alpha = 0, und da Alpha eine untere Grenze der Reliabilität ist, folgt, dass solche ein Test die Reliabiliät Null hat!

Klassische Testtheorie Interne Konsistenz: Cronbachs Alpha) Für größer werdenden Wert von n strebt Alpha stets gegen 1! Für großen Wert von q ist die Konvergenz langsam, für Werte nahe bei 1 ist Alpha nahe bei 1 für nahezu alle Werte von n!

Klassische Testtheorie Interne Konsistenz: Cronbachs Alpha) Konvergenz gegen 1 von Alpha mit wachsendem n Alpha 1.01 1.5 3.0 6.0

Klassische Testtheorie Interne Konsistenz: Cronbachs Alpha) Parallele Komponenten:

Klassische Testtheorie Interne Konsistenz: Cronbachs Alpha) Mangelnde Homogenität impliziert einen kleineren Alpha-Wert und damit geringe interne Konsistenz. Auch bei geringen Korrelationen zwischen den Items (also kleiner internen Konsistenz) wird Alpha groß bei hinreichend großer Anzahl von Items. Auch bei perfekt korrelierenden Items kann aber die Summe der Kovarianzen gleich oder nahe bei Null sein, wenn nämlich die Vorzeichen der Kovarianzen alternieren, - es ergibt sich ein kleiner Alpha-Wert, obwohl nur ein Merkmal gemessen wird. Deshalb ist Alpha schwer zu interpretieren: besser ist es, sich die Korrelationen zwischen den Items zu inspizieren!

Klassische Testtheorie (Interne Konsistenz: Cronbachs Alpha) Spezialfälle: dichotome Items

Klassische Testtheorie Reliabilität und die Gewichtung der Itemscores Alpha wird maximiert, wenn die Gewichte durch die Ladungen der Items auf dem ersten Faktor (Faktorenanalyse der Items) gegeben sind.

Klassische Testtheorie Schätzungen der Reliabilität Split-Half-Reliabilität: Der zu evaluierenden Test wird in zwei Hälften geteilt. Möglichkeiten der Aufteilung: Even-Odd: die Items mit einer geraden Nummer kommen in Test 1, die mit der ungeraden in Test 2; (ii) zufällige Aufteilung: man verteilt die Items nach dem Zufall auf Test 1 bzw. Test 2, (iii) Itemzwillinge: man bildet Paare von Items mit gleicher Schwierigkeit und Trennschärfe und sortiert dann jeweils ein Item eines Paars in Test 1, das andere in Test 2. Tatsächlich berechnet man nun aber die Reliabilität eines Tests von nur halber Länger, so dass der Reliabilitätswert korrigiert werden muß: -- Korrektur nach den Spearman-Brown-Formeln.

Klassische Testtheorie Schätzung des wahren Wertes eines Probanden

Klassische Testtheorie Schätzung des wahren Wertes eines Probanden Die Regression des wahren Wertes auf den Score ist gleich der Reliabilität!

Klassische Testtheorie Schätzung des wahren Wertes eines Probanden Vorhersage des wahren Wertes aufgrund des X-Wertes:

Klassische Testtheorie Standardschätzfehler

Klassische Testtheorie Itemcharakteristika Itemschwierigkeit:

Klassische Testtheorie Itemcharakteristika: Schwierigkeit Schätzung der Schwierigkeit von Items:

Klassische Testtheorie Itemcharakteristika: Trennschärfe Trennschärfe eines Items: Da X „kontinuierlich“ ist, ist diese Korrelation bei einem dichotomen Item durch den punkt-biserialen Korrelationskoeffizienten gegeben.

Klassische Testtheorie Itemcharakteristika: Trennschärfe Schätzung des Trennschärfekoeffizienten: Man berechnet einfach den punkt-biserialen Korrelationskoeffizienten aus den Daten einer Stichprobe. Dabei kann es aber zu Verfälschungen kommen, da die Antwort auf das g-te Item ja bereits im Gesamtscore enthalten ist. Deswegen berechnet man d.h. man berechnet die Korrelation mit einer part-whole-correction.

Klassische Testtheorie Itemcharakteristika: Validität Die Validität eines Items ist i. A. durch die Korrelation der Antworten auf dieses Item mit einem externen Kriterium gegeben. Die Gültigkeit des Tests hängt ab einerseits von der gewogenen Summe der Gültigkeiten der Items, andererseits von der gewogenen Summe der Trennschärfen!