Testtheorie (Vorlesung 12: 12.5.15) Wiederholung: Reliabilität Verschiedene Methoden der Berechnung der Reliabilität von Summen. Probleme mit Koeffizient : Über- und Unterschätzung der Reliabilität. Fehlende Homogenität (Eindimensionalität) Probleme einfacher Summen von Tests: Sie erfüllen nicht Montoniepostulate.

Testtheorie (Vorlesung 12: 12.5.15) Reliabilität Koeffizient  misst nicht Homogenität (d.h. Eindimensionalität der Test) Demo: Beispiel von Green et al. (1977), Skript: Bsp. 2-13, S.75f Zur Messung von Eindimensionalität ist die Verwendung des kongenerischen Modells optimal.

Testtheorie (Vorlesung 12: 12.5.15) Reliabilität Montonie-Forderungen an die Reliabilität: Hinzufügen eines Tests sollte die Reliabili-tät der Summe der Tests erhöhen. Ersetzung eines Tests durch reliableren sollte die Reliabilität der Summe der Tests erhöhen. Verringerung der Korrelation zwischen den Konstrukten sollte Reliabilität der Summe der Tests erhöhen.

Testtheorie (Vorlesung 12: 12.5.15) Validität Klassische Definition von Kelley (1927): Test ist valide, falls er das misst, was er zu messen vorgibt. Problem: Was bedeutet dies genau? Inflation von Validitätskonzeptionen: Über 100 Arten von Validitäten.

Testtheorie (Vorlesung 12: 12.5.15) Validität 2 »sinnvolle« und 2 »unsinnige« Arten von Validitäten: Konstruktvalidität (Cronbach & Meehl, 1959): Wird heute als die einzig sinnvolle Form von Validität betrachtet. Inhaltsvalidität: Kann als eine Facette der Konstruktvalidität betrachtet werden. Kriteriums- & prädiktive Validität: Keine sinnvollen testtheoretische Konstrukte.

Testtheorie (Vorlesung 12: 12.5.15) Validität Konstruktvalidität: Das Messmodell, auf welchem die Schluss-folgerungen über die Tests beruhen ist (ap-proximativ) korrekt. Speziell: Konstrukte und Relation zw. Konstrukten, Relation zw. Konstrukt und Messung und Relation zw. Messungen korrekt spezifiziert.

Testtheorie (Vorlesung 12: 12.5.15) Validität Inhaltsvalidität: Erfassung des Konstrukts in seiner Breite durch die Indikatoren: Werden durch Indi-katoren alle Facetten des Konstrukts ab-gedeckt? Kann als Aspekt der Korrektheit eines Modells betrachtet werden, d.h. ob Modell inhaltlich adäquat ist (vgl. Diskussion über Testung von Modellen).

Testtheorie (Vorlesung 12: 12.5.15) Validität [Inkrementelle] Prädiktive Validität: Varianzaufklärung durch eine UV im Regressionskontext. Inkrementell: Zusätzliche Varianzaufklär-ung durch Einbeziehung einer UV, zusätzlich zu bereits vorhanden UVn. Hat keinen direkten Bezug zu Messung und Testung.

Testtheorie (Vorlesung 12: 12.5.15) Validität Kriteriumsvalidität: Korrelation der Messung mit einen aner-kannten Kriterium, d.h. mit einem Indikator, der als Mass für das Konstrukt etabliert ist. Den Korrelationskoeffzienten (zwischen Kriterium und Messung) nennt man auch Validitätskoeffzienten. In manchen Texten wird Validität mit dem Validitätskoeffzienten gleichgesetzt.

Testtheorie (Vorlesung 12: 12.5.15) Validität Problem des Validitätskoeffizienten: Eine hohe Korrelation zwischen Test Y und einem Krite- rium K ist nicht notwendig da-rauf zurückzuführen, dass beide das gleiche Konstrukt betreffen (Abb. 2-29, Seite 91).

Testtheorie (Vorlesung 12: 12.5.15) Validität Das Grundproblem: Validität kann – ähnlich wie die Reliabilität – nur modellabhängig gemessen werden. Dies bedeutet, dass ein gültiges Modell vor-liegen muss, welches die relevanten Re-lationen (approximativ) korrekt abbildet, damit man die Validität schätzen kann. Eine Korrelation zwischen 2 Beobachtungen reicht nicht, da unklar, wie diese zustande kam.

Testtheorie (Vorlesung 12: 12.5.15) Validität Konzept: Validität eines Tests: Ein Test ist valide, falls die systemati-schen Variationen der Testwerten durch Variationen des zu messenden Konstrukts verursacht werden. Die Validität eines Tests entspricht daher der Stärke der direkten kausalen Relation zwischen der latenten Variablen und dem Indikator.

Testtheorie (Vorlesung 12: 12.5.15) Validität Konzept: Validität eines Tests (Bsp. 2-19)

Testtheorie (Vorlesung 12: 12.5.15) Validität Klassische Definition von Kelley (1927): Test ist valide, falls er das misst, was er zu messen vorgibt. Ein Test misst genau das, was er zu mes-sen vorgibt, wenn die systematischen Variationen der Testwerte ausschliesslich durch Unterschiede im zugrunde liegen-den Zielkonstrukt verursacht sind (und nicht durch Variation anderer Konstrukte).

Testtheorie (Vorlesung 12: 12.5.15) Validität Unterscheidung: Reliabilität vs. Validität Reliabilität ist notwendige Bedingung für Validität: Falls ein Test nicht reliabel ist, dann gibt es auch keine systematische Variation der Testwerte, welche auf Unterschiede im zu messenden Konstrukt reduzierbar sind. Reliabilität ist keine hinreichende Bedingung für Validität: Test kann perfekt reliabel sein, ohne valide zu sein!

Testtheorie (Vorlesung 12: 12.5.15) Validität Unterscheidung: Reliabilität vs. Validität Reliabilität ist notwendige Bedingung für Validität: Falls ein Test nicht reliabel ist, dann gibt es auch keine systematische Variation der Testwerte, welche auf Unterschiede im zu messenden Konstrukt reduzierbar sind. Reliabilität ist keine hinreichende Bedingung für Validität: Test kann perfekt reliabel sein, ohne valide zu sein!

Testtheorie (Vorlesung 12: 12.5.15) Validität Messung mittels latenter Variablenmodelle Ladungskoeffizient ist ein direktes Mass für strukturelle Beziehung zwischen dem latenten Konstrukt und dem Test. Wichtig: Falls nicht verschiedene Grup-pen verglichen werden sollen, so ist es sinnvoll, den standardisierten La-dungskoeffizienten zu verwenden.

Testtheorie (Vorlesung 12: 12.5.15) Validität Messung mittels latenter Variablenmodelle Falls Test nur von einem latenten Konstrukt beeinflusst wird, so gilt: Wichtig: Die dargestellte Beziehung zwischen Reliabilität und Validität gilt nur unter der gegebenen Bedingung.

Testtheorie (Vorlesung 12: 12.5.15) Übungen