Theorie psychometrischer Tests, IV

Präsentation zum Thema: "Theorie psychometrischer Tests, IV"—  Präsentation transkript:

1 Theorie psychometrischer Tests, IV
U. Mortensen Mainz 2009

2 Klassische Testtheorie Validität eines Tests
Gültigkeiten Trennschärfen Gültigkeit des Tests Die Gültigkeit eines Tests ist um so größer, je größer die Itemgültigkeiten sind, und je kleiner die Trennschärfen sind!

3 Klassische Testtheorie Validität eines Tests
Dh die Testvalidität ist proportional zur Summe der gewogenen Itemvaliditäten und umgkehrt proportional zur Summe der gewichteten Interitemkorrelationen.

4 Klassische Testtheorie Validität und Reliabilität eines Tests
Validität eines Tests (X) in Bezug auf einen anderen Test (Y):

5 Klassische Testtheorie Attenuierung, Reliabilität und Validität
Um die Validität zu erhöhen, muß man die Wurzel aus der Reliabilität und damit die Reliabiltät erhöhen. Der obere Wert der Reliabilität ist aber Cronbachs Alpha, und das wird größer, je größer die Kovarianzen zwischen den Items sind.

6 Klassische Testtheorie Validität und Iteminterkorrelation
Andererseits wird die Gültigkeit um so größer, je mehr Aspekte eines Merkmals ein Test erfasst, - also je kleiner die Itemkorrelationen sind!

7 Klassische Testtheorie Arten von Validität
Inhaltsvalidität: - Das Ausmaß, in dem ein Test das zu messende Merkmal in möglichst weitem Sinn erfasst (verwandt mit logischer Validität). Die Items soll eine Stichprobe aus dem Universum aller Items, die das Merkmal erfassen, sein. Quantifizierung oft schlecht möglich, - deduktive Erfassung der inhaltlchen Validität. Kriteriumsvalidität: - Das Merkmal wird durch bestimmte Kriterien charakterisiert, und die Testwerte werden dann dann mit den Kriteriumswerten korreliert. Kriterien: z.B: Leistungen, die vorhergesagt werden, etwa erfolgreicher Studienabschluß, eine feindliche Übernahme einer konkurrierenden Firma, etc.

8 Klassische Testtheorie Arten von Validität
Prädikative Validität: Überprüfung des Kriteriums nach der Testung. Kurrente Validität: das Kriterium wird zur gleichen Zeit erhoben, sie die Testscores. Konstruktvalidität: Das Merkmal ist operational definiert worden, dh man hat es mit einem „Konstrukt“ zu tun. Beispiel: Minnesota Multiphasic Personality Inventory (MMPI): Es sollte zwischen Patienten und „Normalen“ unterschieden werden. Die Persönlichkeit sollte dann nach Maßgabe der verschiedenen Testprofile erforscht werden, um Verhaltensweisen vorhersagen zu können, für die noch keine empirischen Validierungen vorlagen.

9 Klassische Testtheorie Arten von Validität
Faktorielle Validität: Ist durch die Korrelationen der Testwert mit den Faktoren definiert, die sich aus einer faktorenanalytischen Untersuchung des Merkmals ergeben. Beispiel: Der Generalfaktor der Intelligenz, wie er von Spearman (1904) vorgeschlagen wurde. Die Testwerte sollen gut mit den Faktorwerten der Probanden für diesen Faktor korrelieren.

10 Klassische Testtheorie Validität und Testverlängerung
Dieser Satz erlaubt es, die Validität eines Tests, der um k Einheiten verlängert wird, in Bezug auf einen Test mit den Scores Y und Einheitslänge zu berechnen:

11 Klassische Testtheorie Validität und Testverlängerung
Gegen welchen Wert strebt die Gültigkeit, wenn man den Test verlängert?

12 Klassische Testtheorie Die Abschätzung von Veränderungen
Man möchte den Effekt einer Therapie oder allgemein einer Intervention auf ein Merkmal untersuchen. Das Merkmal werde mit einem Test mit den Scores X erfasst. Die Messwerte vor der Intervention seien X1, die nach der Intervention seien X2.

13 Klassische Testtheorie Die Abschätzung von Veränderungen
Vorhersagen der wahren Veränderung:

14 Klassische Testtheorie Die Abschätzung von Veränderungen

15 Klassische Testtheorie Faktorenanalyse

16 Maximiert Reliabilität
Überblick Ladungen 1-ter Faktor Test gewichtet Score X = Summenscore ungewichtet Reliabilität Validität Gültigkeiten Trennschärfen Für parallele Tests, sonst Je größer, je größer die Varianz der tau-Werte! Interkorrelationen

17 Klassische Testtheorie Faktorenanalyse bei dichotomen Items
Zum Vierfelder-Korrelationskoeffizienten:

18 Klassische Testtheorie Faktorenanalyse bei dichotomen Items
Aus X und Y dichtom folgt das X und Y jeweils binomialverteilt. Aus b = c = 0 bzw a = d = 0 folgt dann, dass X und Y gleiche Varianzen haben. Was folgt im allgemeineren Fall, dass X und Y nicht gleiche Varianzen haben? Übergang zu relativen Häufigkeiten liefert

19 Klassische Testtheorie Faktorenanalyse bei dichotomen Items

20 Klassische Testtheorie Faktorenanalyse bei dichotomen Items
Folgerung: im allgemeinen Fall ungleicher Varianzen ist der Phi-Koeffizient auf einen Bereich kleiner als [-1, 1] eingeschränkt. Für die Faktorenanalyse auf der Basis von dichtomen Variablen und Phi-Koeffizienten folgt daraus, dass mehr Unabhängigkeit signalisiert Wird, als tatsächlich in den Daten ist – „Schwierigkeistsfaktoren‘‘.

21 Klassische Testtheorie Gruppenheterogenität, Speed und Power
Die Reliabilität eines Tests ist um so höher, je größer die Varianz der wahren (tau-) Werte in der Population ist! (Skript, Seite 105). Power-Test:Die Probanden haben unbeschränkt Zeit, die Aufgaben zu lösen. Speed-Test: Für die Beantwortung einer Aufgabe steht nur eine beschränkte Zeit zu Verfügung.