Grundlagen der klassischen Testtheorie Seminar: Testtheorie und Testkonstruktion Referentin: Matislava Karačić 03. Mai 2006

Gliederung Einführung: Zielsetzung Arten von Tests und Testdefinition Hauptteil: Die klassische Testtheorie Gütekriterien von Tests Testkonstruktion Abschluss

Ziel des Ganzen?  wissen, was hinter der klassischen Testtheorie steht  Gütekriterien kennen und anhand dessen Tests beurteilen und auswählen können  Vorgehensweise bei der Konstruktion von Tests kennen lernen zur späteren Anwendung Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss

Welche Arten von Tests gibt es? Brähler et al. (2002) Leistungstests Schnelligkeit/Speedtests (z.B. d2-Test) Niveau/Powertests (z.B. IST-2000) Psychometrische Persönlichkeitstests (z.B. NEO-FFI) Persönlichkeits-Entfaltungs-Verfahren (z.B. TAT, Rorschach-Test) Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss

Definition: psychometrische Tests Lienert u Raatz (1998) Wissenschaftliches Routineverfahren zur Untersuchung empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung. Es sollte ein theoretischer Rahmen für qualitative Aussagen existieren, die kategoriale Aussagen über die individuelle Ausprägung eines Merkmals geben. Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss

Klassische Testtheorie Grundlage der meisten psychologischen Testverfahren (95%) Macht Aussagen darüber, aus was für Komponenten Messwerte bestehen Ausgangshaltung: Testergebnisse variieren zwischen verschiedenen Messzeitpunkten Grund: un-/systematische Einflüsse Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss

Voraussetzungen Novick (1966) Getestete Person zufällig aus Population entnommen Testergebnis variiert zufallsabhängig Testung zu unterschiedlichen Zeitpunkten  unterschiedliche Werte endliche Varianzen Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss

Grundannahmen X = T + E X: beobachteter Wert einer Person Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss X: beobachteter Wert einer Person T: wahrer Wert – Mittelwert über unendlich viele beobachtete Testergebnisse einer Person E: Messfehler – repräsentiert alle unkontrollierten und unsystematischen Störeinflüsse

Folgerungen I (1) M(E)I=0; M(E)P=0 (2) r(E,T)=0 Mittelwert des Messfehlers über unendlich viele Messungen einer Person I ist Null; ebenso Null bei einer Messung einer Teil-/Population (1) M(E)I=0; M(E)P=0 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss (2) r(E,T)=0 kein Zusammenhang zwischen Messfehler und wahren Wert einer Person

Folgerungen II (3) r(EA,EB)=0 (4) r(EA,TB)=0 Messfehler eines Tests A weist keinen Zusammenhang mit dem Messfehler eines Tests B auf Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss (4) r(EA,TB)=0 Messfehler eines Test A weisen keinen Zusammenhang mit tatsächlichem Wert aus einem Test B auf

Anmerkungen Kernkonzept der kT: Reliabilität kT gilt nur für intervallskalierte Daten Kritik:  reine Messfehlertheorie  einige Annahmen nicht überprüfbar oder widerlegbar  keine Annahme über Zustandekommen einer Leistung  Testwerte der kT stichprobenabhängig rtt=ST2/SX2 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss

Hauptgütekriterien Hauptgütekriterien Objektivität Reliabilität Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Objektivität Reliabilität Validität innere Konsistenz Inhaltsvalidität Durchführung Konstruktvalidität Auswertung Stabilität Kriteriumsvalidität Interpretation Parallel- test - R.

Hauptgütekriterien Objektivität Durchführung Auswertung Interpretation Unabhängigkeit der Ergebnisse vom Untersucher Durchführung Auswertung Interpretation Durchführung darf von Test zu Test nicht variieren Jeder Auswerter ermittelt gleiche Punktwerte Jeder Auswerter gibt gleiche Interpretation genaue Instruktion Wie/unter welchen Bedingungen soll Test durchgeführt werden? Zeitbegrenzung? Hilfestellung? genaue Auswert- ungsvorschrift Schablonen? Auswertungsblätter? Genaue Definition, was richtig ist (bei offenen Fragen)? Standardisierte Interpretation Normstichprobe und geprüfte Gütekriterien Wird jede Person mit dem gleichen Maßstab beurteilt? Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss

Hauptgütekriterien Reliabilität Innere Konsistenz Retest-Reliabilität Messgenauigkeit Innere Konsistenz Retest-Reliabilität Paralleltest-Reliabilität Test in gleich große Teile unterteilen und miteinander korrelieren Split-Half: Testhälftenkorrelieren Innere Konsistenz: jedes einzelne Item ist eigenständiges Testteil Korrekturfaktor: Testlänge Korrelation zwischen Testleistungen des selben Tests zu versch. Zeitpunkten Korrelation zw. 2 Tests mit inhaltlich ähnlichen Items Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss

Hauptgütekriterien Validität Inhaltsvalidität Test misst das, was er zu messen vorgibt Test/-item erfasst das zu messende Merkmal wirklich Inhaltsvalidität Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Wird nicht numerisch anhand Kennwert bestimmt, sondern aufgrund logischer und fachlicher Überlegungen Vorgehen (Repräsentationsausschluss): (1) Beschreibung der Inhaltsebene des Konstruktes (2) Festlegung, welcher Inhaltsbereich durch welches Item erfasst wird (3) Vergleich der Teststruktur mit der Struktur der Inhaltsebene des Konstruktes

Hauptgütekriterien Kriteriumsvalidität Zusammenhang der Testleistung mit einem/mehreren Kriterien Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Vorgehensweise: Korrelationsausschluss Vorhersagevalidität/prognostische/prädiktive V. IQ vor Lehre korreliert mit Abschlussnote der Ausbildung Übereinstimmungsvalidität/konkurrente V Konzentrationsleistung vor Klausur korreliert mit Klausurnote Retrospektive Validität IQ während Studiums korreliert mit Schulnoten des Abiturs Inkrementelle Validität IQ-Test sagt gut Berufserfolg vorher – strukturiertes Interview leistet zusätzlichen Anteil an Vorhersage

Hauptgütekriterien Konstrutkvalidität Methode zur Bestimmung: Test misst Eigenschaft/Fähigkeit, die er messen soll konkurrente/konvergente Validität Korrelation mit Tests gleicher/ähnlicher Gültigkeitsbereiche Diskriminative/divergente Validität Korrelation mit Tests anderer Gültigkeitsbereiche Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Methode zur Bestimmung: - Korrelationen - Faktorenanalyse - Multitrait-Multimethoden-Ansatz

Multitrait-Multimethoden-Ansatz Bildung von 4 Korrelationsmatrizen: Monotrait-Monomethoden Matrix Kennwerte für Intelligenz mit gleicher Methode erfasst (Test) – korrelieren am höchsten miteinander B. Monotrait-Heteromethoden Matrix Korrelation zwischen Kennwerten einer Fähigkeit (Intelligenz) niedriger, wenn diese mit unterschiedlichen Methoden (Test, Verhaltenbeob.) erfasst werden C. Heterotrait-Heteromethoden Matrix Korrelation zwischen Kennwerten unterschiedlicher Fähigkeiten (Intelligenz, Konzentration) niedriger, wenn diese mit gleicher Methode erfasst D. Heterotrait-Heteromethoden Matrix niedrigste Korrelation zwischen Kennwerten unterschiedlicher Fähigkeiten, wenn mit unterschiedlichen Methoden erfasst Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss

Nebengütekriterien Nebengütekriterien Normierung Vergleichbarkeit Bezugssystem individueller Testergebnisse im Vgl. zur Norm Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Normierung Vergleichbarer Test, wenn Parallelform/en vorhanden Vergleichbarkeit kurze Durchführzeit wenig Material einfache Handhabung Gruppentest schnell und bequem auswertbar Ökonomie Nützlichkeit Testung von Merkmalen, die in Praxis gebraucht werden

10 Stufen der Testentwicklung 1. Anforderungsanalyse und Problemstellung erfahrungsgeleitete-intuitive Methode analytisch-empirische Methode personenbezogene-empirische Methode Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss 2. Planung und Literatursuche Wichtig: Genau überlegen, was man testen möchte Lehrbücher, Literaturdatenbanken, Befragung von Laien/Experten

10 Stufen der Testentwicklung 3. Eingrenzung des Merkmals, Arbeitsdefinition rationale Fragebogenkonstruktion deduktive Fragebogenkonstruktion induktive Fragebogenkonstruktion Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss 4. Testentwurf Vorüberlegung: welche Zielgruppe? Welche Art von Info? Welcher Zweck? Testauswahl, Itemauswahl Testung der Verständlichkeit der Items

10 Stufen der Testentwicklung 5. Überprüfung des Testentwurfs geeignete und große Stichprobe rekrutieren Mendoza et al. (2000): N>100 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss 6. Verteilungsanalyse Itemverteilung der Testdaten beobachten  Decken-/Bodeneffekte?  zweigipflige Verteilung?

10 Stufen der Testentwicklung 7. Itemanalyse/-selektion Itemschwierigkeit und -trennschärfe berechnen 6. Kriterienkontrolle Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Reliabilität und Validität bestimmen sinnvoll: mind. 1. Konstruktkonvergentes Verfahren; 1-2 Kriterien erheben 9. Revision des Tests 10. Eichung (Normierung)/ Cut-Off-Werte Norm erheben an repräsentativer, geschichteter Population

Abschluss Literatur: Bühner, M. (2004). Einführung in die Test- und Fragebogenkonstruktion. Pearson Studium. Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss FRAGEN? ...ansonsten Danke!