Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Testtheorie (Vorlesung 13: ) Wiederholung: Richtigstellung

Ähnliche Präsentationen


Präsentation zum Thema: "Testtheorie (Vorlesung 13: ) Wiederholung: Richtigstellung"—  Präsentation transkript:

1 Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung
Gewichtung von Mittelwerten: Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen: Es gilt:

2 Testtheorie (Vorlesung 13: 19.5.15) Validität eines Tests:
Klassische Definition von Kelley (1927): Test ist valide, falls er das misst, was er zu messen vorgibt. Ein Test misst genau das, was er zu mes-sen vorgibt, wenn die systematischen Variationen der Testwerte ausschliesslich durch Unterschiede im zugrunde liegen-den Zielkonstrukt verursacht sind (und nicht durch Variation anderer Konstrukte).

3 Testtheorie (Vorlesung 12: 12.5.15) Validität
Konzept: Validität eines Tests (Bsp. 2-19)

4 Testtheorie (Vorlesung 13: 19.5.15) Validität
»sinnvolle« und »unsinnige« Arten von Validitäten: Sinnvoll: Konstruktvalidität: Korrektheit des Testmodells. Wenig sinnvoll im Testkontext: Kriteriums- & prädiktive Validität aus unterschiedlichen Gründen.

5 Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Validität
Das Grundproblem: Validität kann – ähnlich wie die Reliabilität – nur modellabhängig gemessen werden. Dies bedeutet, dass ein gültiges Modell vorliegen muss, welches die relevanten Relationen (approxi-mativ) korrekt abbildet (Konstruktvalidität), damit Validität geschätzt werden kann. Eine Korrelation zwischen 2 Beobachtungen reicht nicht, da unklar ist, wie diese zustande kam.

6 Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Validität
Messung mittels latenter Variablenmodelle Standardisierter Ladungskoeffizient. Falls Test nur von einem latenten Konstrukt beeinflusst wird, so gilt: Eindeutige Validitätsvarianz (Bollen, 1989).

7 Testtheorie (Vorlesung 13: 19.5.15) Validität
Konzept: Eindeutige Validitätsvarianz: Jener Anteil der Truescore-Varianz / Reliabilität, der eindeutig auf das zu messende Konstrukt  zurückzuführen ist.

8 Testtheorie (Vorlesung 13: 19.5.15) Validität
Eindeutige Validitätsvarianz: Berechnung mit AMOS: Herauspartialisieren des Varianzanteils im Zielkonstrukt , der durch andere Konstrukte erklärt werden kann. Berechnung der Reliabilität in Y aufgrund des Zielkonstrukts  mit der reduzierten Varianz, d.h. ohne den durch anderen Konstrukte erklärten Vaianzanteils.

9 Testtheorie (Vorlesung 13: 19.5.15) Validität
Eindeutige Validitätsvarianz: Berech-nungsbeispiel:

10 Testtheorie (Vorlesung 13: 19.5.15) Validität
Eindeutige Validitätsvarianz: Berechnung Problem: Berücksichtigt nicht, dass ein Teil der Varianz in EI durch V erklärt werden kann.

11 Testtheorie (Vorlesung 13: 19.5.15) Validität
Eindeutige Validitätsvarianz: Berechnung Ansatz: Die durch andere Variablen er-klärte Varianz in EI entfernen.

12 Testtheorie (Vorlesung 13: 19.5.15) Validität
Eindeutige Validitätsvarianz: Berechnung mittels Matrizen (Excel): Reliabilität = Varianzanteil, welcher durch alle latenten Konstrukte in Messung Y induziert (erklärt) wird. Subtrahiere Varianz, die von Konstrukten ohne das Zielkonstrukt  erklärt wird. Zentral: Die Erklärung der Varianz in Y durch andere Konstrukte muss die Tatsache mit einbeziehen, dass diese Konstrukte mit dem Zielkonstrukt  korreliert sind.

13 Testtheorie (Vorlesung 13: 19.5.15) Validität
Eindeutige Validitätsvarianz: Berechnung: Varianz in Y durch EI und V erklärt: Varianz in Y, die durch V erklärt wird, unter Ein-beziehung der Tatsache, dass EI und V korreliert sind:

14 Testtheorie (Vorlesung 13: 19.5.15) Trennschärfe: Konzept
Unter der Trennschärfe eines Items versteht man in der klassischen Testtheorie die Kor-relation des Items mit dem Gesamtergebnis eines Tests. Problem: Vermischung von Konzept und Messung Trennschärfe: Fähigkeit eines Tests, Personen mit hohem Wert auf dem latenten Konstrukt von solchen mit geringem Wert zu unterscheiden.

15 Testtheorie (Vorlesung 13: 19.5.15) Trennschärfe: Messung
Der Ladungskoeffizient  (standardisiert oder unstandardisiert) ist ein direktes Mass für die Trennschärfe:  (unstandardisiert) repräsentiert die erwartete Zunahme in der Messung Y (in Einheiten von Y), wenn sich der Konstruktwert um eine Einheit erhöht (Bei Konstanthaltung der Werte der anderen Konstrukte).  (standardisiert) repräsentiert die erwartete Zunahme in der Messung Y (in Standardeinheiten), wenn sich der Konstruktwert um eine Standardeinheit erhöht.

16 Testtheorie (Vorlesung 13: 19.5.15) Trennschärfe: Messung
Somit: Je höher die Ladung, desto stärker die Änderung der Messung mit der Änderung des Konstruktwertes. Die Ladung repräsentiert daher direkt die Sensi-tivität der Messung bezüglich Veränderungen im Konstrukt. Das oben genannte Mass (Korrelation zwischen Test und Summe der Tests) kann als Approxima-tion betrachtet werden, indem die Summe als Repräsentation des Konstrukts betrachtet wird.

17 Testtheorie (Vorlesung 13: 19.5.15) Minderungskorrektur:
Alternative Begriffe: Korrektur des Ausdünnungseffekts. Korrektur des Abschwächungseffekts. Korrektur des Attenuationseffekts.

18 Testtheorie (Vorlesung 13: 19.5.15) Minderungskorrektur:
Grundidee: Aufgrund des Messfehlers repräsen-tiert die Korrelation zwischen 2 Messungen nicht die Korrelation zwischen den Konstrukten. Korrelation zwischen den Konstrukten wird unterschätzt (daher der Ausdruck Minderung). Folgerung: Stabilität von Konstrukten über die Zeit hinweg oder über verschiedene Situationen hinweg wird unterschätzt.

19 Testtheorie (Vorlesung 13: 19.5.15) Minderungskorrektur:
Zentral: Das Problem existiert bei dem von uns gewählten Ansatz nicht, da die Konstrukte, deren Korrelation, sowie die Messfehler explizit in Mo-dell repräsentiert sind. Das Modell unterscheidet zwischen Korrelationen zwischen Messungen und Korrelationen zwischen Konstrukten. Das Problem existiert also nur für die »alte«, koeffizientenbasierte Testtheorie.

20 Testtheorie (Vorlesung 13: 19.5.15) Minderungskorrektur:
Vorgehensweise: Berechne die Reliabilitäten der beiden Messungen Y1 und Y2 der beiden Konstrukte (z.B. durch Ermittlung von Koeffizient ): und Dividiere die ermittelte Korrelation zwischen den Messungen durch die Wurzel aus dem Produkt der beiden Reliabilitäten:

21 Testtheorie (Vorlesung 13: 19.5.15) Minderungskorrektur:
Beispiel (Siehe Bsp.2-22, Manuskript Seite 105): Erhöhung der Reliabilität durch Datenaggregation

22 Testtheorie (Vorlesung 13: 19.5.15) Minderungskorrektur:
Beispiel (Siehe Bsp.2-22, Manuskript Seite 105): Grenzen der Minderungskorrektur

23 Testtheorie (Vorlesung 13: 19.5.15) Übungen


Herunterladen ppt "Testtheorie (Vorlesung 13: ) Wiederholung: Richtigstellung"

Ähnliche Präsentationen


Google-Anzeigen