Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung  Gewichtung von Mittelwerten:  Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:

Ähnliche Präsentationen


Präsentation zum Thema: "Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung  Gewichtung von Mittelwerten:  Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:"—  Präsentation transkript:

1 Testtheorie (Vorlesung 13: ) Wiederholung: Richtigstellung  Gewichtung von Mittelwerten:  Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:  Es gilt:

2 Testtheorie (Vorlesung 13: ) Validität eines Tests:  Klassische Definition von Kelley (1927): Test ist valide, falls er das misst, was er zu messen vorgibt.  Ein Test misst genau das, was er zu mes- sen vorgibt, wenn die systematischen Variationen der Testwerte ausschliesslich durch Unterschiede im zugrunde liegen- den Zielkonstrukt verursacht sind (und nicht durch Variation anderer Konstrukte).

3 Testtheorie (Vorlesung 12: ) Validität Konzept: Validität eines Tests (Bsp. 2-19)

4 Testtheorie (Vorlesung 13: ) Validität  »sinnvolle« und »unsinnige« Arten von Validitäten:  Sinnvoll: Konstruktvalidität: Korrektheit des Testmodells.  Wenig sinnvoll im Testkontext: Kriteriums- & prädiktive Validität aus unterschiedlichen Gründen.

5 Testtheorie (Vorlesung 13: ) Wiederholung: Validität  Das Grundproblem:  Validität kann – ähnlich wie die Reliabilität – nur modellabhängig gemessen werden.  Dies bedeutet, dass ein gültiges Modell vorliegen muss, welches die relevanten Relationen (approxi- mativ) korrekt abbildet (Konstruktvalidität), damit Validität geschätzt werden kann.  Eine Korrelation zwischen 2 Beobachtungen reicht nicht, da unklar ist, wie diese zustande kam.

6 Testtheorie (Vorlesung 13: ) Wiederholung: Validität  Messung mittels latenter Variablenmodelle  Standardisierter Ladungskoeffizient.  Falls Test nur von einem latenten Konstrukt beeinflusst wird, so gilt:  Eindeutige Validitätsvarianz (Bollen, 1989).

7 Testtheorie (Vorlesung 13: ) Validität Konzept: Eindeutige Validitätsvarianz: Jener Anteil der Truescore-Varianz / Reliabilität, der eindeutig auf das zu messende Konstrukt  zurückzuführen ist.

8 Testtheorie (Vorlesung 13: ) Validität  Eindeutige Validitätsvarianz: Berechnung mit AMOS: 1.Herauspartialisieren des Varianzanteils im Zielkonstrukt , der durch andere Konstrukte erklärt werden kann. 2.Berechnung der Reliabilität in Y aufgrund des Zielkonstrukts  mit der reduzierten Varianz, d.h. ohne den durch anderen Konstrukte erklärten Vaianzanteils.

9 Testtheorie (Vorlesung 13: ) Validität  Eindeutige Validitätsvarianz: Berech- nungsbeispiel:

10 Testtheorie (Vorlesung 13: ) Validität  Eindeutige Validitätsvarianz: Berechnung  Problem: Berücksichtigt nicht, dass ein Teil der Varianz in EI durch V erklärt werden kann.

11 Testtheorie (Vorlesung 13: ) Validität  Eindeutige Validitätsvarianz: Berechnung  Ansatz: Die durch andere Variablen er- klärte Varianz in EI entfernen.

12 Testtheorie (Vorlesung 13: ) Validität  Eindeutige Validitätsvarianz: Berechnung mittels Matrizen (Excel): 1.Reliabilität = Varianzanteil, welcher durch alle latenten Konstrukte in Messung Y induziert (erklärt) wird. 2.Subtrahiere Varianz, die von Konstrukten ohne das Zielkonstrukt  erklärt wird. Zentral: Die Erklärung der Varianz in Y durch andere Konstrukte muss die Tatsache mit einbeziehen, dass diese Konstrukte mit dem Zielkonstrukt  korreliert sind.

13 Testtheorie (Vorlesung 13: ) Validität  Eindeutige Validitätsvarianz: Berechnung:  Varianz in Y durch EI und V erklärt:  Varianz in Y, die durch V erklärt wird, unter Ein- beziehung der Tatsache, dass EI und V korreliert sind:

14 Testtheorie (Vorlesung 13: ) Trennschärfe: Konzept Unter der Trennschärfe eines Items versteht man in der klassischen Testtheorie die Kor- relation des Items mit dem Gesamtergebnis eines Tests. Problem: Vermischung von Konzept und Messung Trennschärfe: Fähigkeit eines Tests, Personen mit hohem Wert auf dem latenten Konstrukt von solchen mit geringem Wert zu unterscheiden.

15 Testtheorie (Vorlesung 13: ) Trennschärfe: Messung  Der Ladungskoeffizient (standardisiert oder unstandardisiert) ist ein direktes Mass für die Trennschärfe: 1. (unstandardisiert) repräsentiert die erwartete Zunahme in der Messung Y (in Einheiten von Y), wenn sich der Konstruktwert um eine Einheit erhöht (Bei Konstanthaltung der Werte der anderen Konstrukte). 2. (standardisiert) repräsentiert die erwartete Zunahme in der Messung Y (in Standardeinheiten), wenn sich der Konstruktwert um eine Standardeinheit erhöht.

16 Testtheorie (Vorlesung 13: ) Trennschärfe: Messung  Somit: Je höher die Ladung, desto stärker die Änderung der Messung mit der Änderung des Konstruktwertes.  Die Ladung repräsentiert daher direkt die Sensi- tivität der Messung bezüglich Veränderungen im Konstrukt.  Das oben genannte Mass (Korrelation zwischen Test und Summe der Tests) kann als Approxima- tion betrachtet werden, indem die Summe als Repräsentation des Konstrukts betrachtet wird.

17 Testtheorie (Vorlesung 13: ) Minderungskorrektur:  Alternative Begriffe:  Korrektur des Ausdünnungseffekts.  Korrektur des Abschwächungseffekts.  Korrektur des Attenuationseffekts.

18 Testtheorie (Vorlesung 13: ) Minderungskorrektur:  Grundidee: Aufgrund des Messfehlers repräsen- tiert die Korrelation zwischen 2 Messungen nicht die Korrelation zwischen den Konstrukten.  Korrelation zwischen den Konstrukten wird unterschätzt (daher der Ausdruck Minderung).  Folgerung: Stabilität von Konstrukten über die Zeit hinweg oder über verschiedene Situationen hinweg wird unterschätzt.

19 Testtheorie (Vorlesung 13: ) Minderungskorrektur:  Zentral: Das Problem existiert bei dem von uns gewählten Ansatz nicht, da die Konstrukte, deren Korrelation, sowie die Messfehler explizit in Mo- dell repräsentiert sind.  Das Modell unterscheidet zwischen Korrelationen zwischen Messungen und Korrelationen zwischen Konstrukten.  Das Problem existiert also nur für die »alte«, koeffizientenbasierte Testtheorie.

20 Testtheorie (Vorlesung 13: ) Minderungskorrektur:  Vorgehensweise: 1.Berechne die Reliabilitäten der beiden Messungen Y 1 und Y 2 der beiden Konstrukte (z.B. durch Ermittlung von Koeffizient ): und. 2.Dividiere die ermittelte Korrelation zwischen den Messungen durch die Wurzel aus dem Produkt der beiden Reliabilitäten:

21 Testtheorie (Vorlesung 13: ) Minderungskorrektur:  Beispiel (Siehe Bsp.2-22, Manuskript Seite 105): Erhöhung der Reliabilität durch Datenaggregation

22 Testtheorie (Vorlesung 13: ) Minderungskorrektur:  Beispiel (Siehe Bsp.2-22, Manuskript Seite 105): Grenzen der Minderungskorrektur

23 Testtheorie (Vorlesung 13: ) Übungen  Übung 2-19  Übung 2-20


Herunterladen ppt "Testtheorie (Vorlesung 13: 19.5.15) Wiederholung: Richtigstellung  Gewichtung von Mittelwerten:  Gegeben: Mittelwerte: Stichprobengrössen: Stichprobenvarianzen:"

Ähnliche Präsentationen


Google-Anzeigen