Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen: Es gilt:

Testtheorie (Vorlesung 13: 19.5.15) Validität eines Tests: Klassische Definition von Kelley (1927): Test ist valide, falls er das misst, was er zu messen vorgibt. Ein Test misst genau das, was er zu mes-sen vorgibt, wenn die systematischen Variationen der Testwerte ausschliesslich durch Unterschiede im zugrunde liegen-den Zielkonstrukt verursacht sind (und nicht durch Variation anderer Konstrukte).

Testtheorie (Vorlesung 12: 12.5.15) Validität Konzept: Validität eines Tests (Bsp. 2-19)

Testtheorie (Vorlesung 13: 19.5.15) Validität »sinnvolle« und »unsinnige« Arten von Validitäten: Sinnvoll: Konstruktvalidität: Korrektheit des Testmodells. Wenig sinnvoll im Testkontext: Kriteriums- & prädiktive Validität aus unterschiedlichen Gründen.

Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Validität Das Grundproblem: Validität kann – ähnlich wie die Reliabilität – nur modellabhängig gemessen werden. Dies bedeutet, dass ein gültiges Modell vorliegen muss, welches die relevanten Relationen (approxi-mativ) korrekt abbildet (Konstruktvalidität), damit Validität geschätzt werden kann. Eine Korrelation zwischen 2 Beobachtungen reicht nicht, da unklar ist, wie diese zustande kam.

Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Validität Messung mittels latenter Variablenmodelle Standardisierter Ladungskoeffizient. Falls Test nur von einem latenten Konstrukt beeinflusst wird, so gilt: Eindeutige Validitätsvarianz (Bollen, 1989).

Testtheorie (Vorlesung 13: 19.5.15) Validität Konzept: Eindeutige Validitätsvarianz: Jener Anteil der Truescore-Varianz / Reliabilität, der eindeutig auf das zu messende Konstrukt  zurückzuführen ist.

Testtheorie (Vorlesung 13: 19.5.15) Validität Eindeutige Validitätsvarianz: Berechnung mit AMOS: Herauspartialisieren des Varianzanteils im Zielkonstrukt , der durch andere Konstrukte erklärt werden kann. Berechnung der Reliabilität in Y aufgrund des Zielkonstrukts  mit der reduzierten Varianz, d.h. ohne den durch anderen Konstrukte erklärten Vaianzanteils.

Testtheorie (Vorlesung 13: 19.5.15) Validität Eindeutige Validitätsvarianz: Berech-nungsbeispiel:

Testtheorie (Vorlesung 13: 19.5.15) Validität Eindeutige Validitätsvarianz: Berechnung Problem: Berücksichtigt nicht, dass ein Teil der Varianz in EI durch V erklärt werden kann.

Testtheorie (Vorlesung 13: 19.5.15) Validität Eindeutige Validitätsvarianz: Berechnung Ansatz: Die durch andere Variablen er-klärte Varianz in EI entfernen.

Testtheorie (Vorlesung 13: 19.5.15) Validität Eindeutige Validitätsvarianz: Berechnung mittels Matrizen (Excel): Reliabilität = Varianzanteil, welcher durch alle latenten Konstrukte in Messung Y induziert (erklärt) wird. Subtrahiere Varianz, die von Konstrukten ohne das Zielkonstrukt  erklärt wird. Zentral: Die Erklärung der Varianz in Y durch andere Konstrukte muss die Tatsache mit einbeziehen, dass diese Konstrukte mit dem Zielkonstrukt  korreliert sind.

Testtheorie (Vorlesung 13: 19.5.15) Validität Eindeutige Validitätsvarianz: Berechnung: Varianz in Y durch EI und V erklärt: Varianz in Y, die durch V erklärt wird, unter Ein-beziehung der Tatsache, dass EI und V korreliert sind:

Testtheorie (Vorlesung 13: 19.5.15) Trennschärfe: Konzept Unter der Trennschärfe eines Items versteht man in der klassischen Testtheorie die Kor-relation des Items mit dem Gesamtergebnis eines Tests. Problem: Vermischung von Konzept und Messung Trennschärfe: Fähigkeit eines Tests, Personen mit hohem Wert auf dem latenten Konstrukt von solchen mit geringem Wert zu unterscheiden.

Testtheorie (Vorlesung 13: 19.5.15) Trennschärfe: Messung Der Ladungskoeffizient  (standardisiert oder unstandardisiert) ist ein direktes Mass für die Trennschärfe:  (unstandardisiert) repräsentiert die erwartete Zunahme in der Messung Y (in Einheiten von Y), wenn sich der Konstruktwert um eine Einheit erhöht (Bei Konstanthaltung der Werte der anderen Konstrukte).  (standardisiert) repräsentiert die erwartete Zunahme in der Messung Y (in Standardeinheiten), wenn sich der Konstruktwert um eine Standardeinheit erhöht.

Testtheorie (Vorlesung 13: 19.5.15) Trennschärfe: Messung Somit: Je höher die Ladung, desto stärker die Änderung der Messung mit der Änderung des Konstruktwertes. Die Ladung repräsentiert daher direkt die Sensi-tivität der Messung bezüglich Veränderungen im Konstrukt. Das oben genannte Mass (Korrelation zwischen Test und Summe der Tests) kann als Approxima-tion betrachtet werden, indem die Summe als Repräsentation des Konstrukts betrachtet wird.

Testtheorie (Vorlesung 13: 19.5.15) Minderungskorrektur: Alternative Begriffe: Korrektur des Ausdünnungseffekts. Korrektur des Abschwächungseffekts. Korrektur des Attenuationseffekts.

Testtheorie (Vorlesung 13: 19.5.15) Minderungskorrektur: Grundidee: Aufgrund des Messfehlers repräsen-tiert die Korrelation zwischen 2 Messungen nicht die Korrelation zwischen den Konstrukten. Korrelation zwischen den Konstrukten wird unterschätzt (daher der Ausdruck Minderung). Folgerung: Stabilität von Konstrukten über die Zeit hinweg oder über verschiedene Situationen hinweg wird unterschätzt.

Testtheorie (Vorlesung 13: 19.5.15) Minderungskorrektur: Zentral: Das Problem existiert bei dem von uns gewählten Ansatz nicht, da die Konstrukte, deren Korrelation, sowie die Messfehler explizit in Mo-dell repräsentiert sind. Das Modell unterscheidet zwischen Korrelationen zwischen Messungen und Korrelationen zwischen Konstrukten. Das Problem existiert also nur für die »alte«, koeffizientenbasierte Testtheorie.

Testtheorie (Vorlesung 13: 19.5.15) Minderungskorrektur: Vorgehensweise: Berechne die Reliabilitäten der beiden Messungen Y1 und Y2 der beiden Konstrukte (z.B. durch Ermittlung von Koeffizient ): und . Dividiere die ermittelte Korrelation zwischen den Messungen durch die Wurzel aus dem Produkt der beiden Reliabilitäten:

Testtheorie (Vorlesung 13: 19.5.15) Minderungskorrektur: Beispiel (Siehe Bsp.2-22, Manuskript Seite 105): Erhöhung der Reliabilität durch Datenaggregation

Testtheorie (Vorlesung 13: 19.5.15) Minderungskorrektur: Beispiel (Siehe Bsp.2-22, Manuskript Seite 105): Grenzen der Minderungskorrektur

Testtheorie (Vorlesung 13: 19.5.15) Übungen