Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Grundlagen der klassischen Testtheorie Seminar: Testtheorie und Testkonstruktion Referentin: Matislava Karačić 03. Mai 2006.

Ähnliche Präsentationen


Präsentation zum Thema: "Grundlagen der klassischen Testtheorie Seminar: Testtheorie und Testkonstruktion Referentin: Matislava Karačić 03. Mai 2006."—  Präsentation transkript:

1 Grundlagen der klassischen Testtheorie Seminar: Testtheorie und Testkonstruktion Referentin: Matislava Karačić 03. Mai 2006

2 Gliederung Einführung: Zielsetzung Arten von Tests und Testdefinition Hauptteil: Die klassische Testtheorie Gütekriterien von Tests Testkonstruktion Abschluss

3 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Ziel des Ganzen? wissen, was hinter der klassischen Testtheorie steht Gütekriterien kennen und anhand dessen Tests beurteilen und auswählen können Vorgehensweise bei der Konstruktion von Tests kennen lernen zur späteren Anwendung

4 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Welche Arten von Tests gibt es? Brähler et al. (2002) Leistungstests Schnelligkeit/Speedtests (z.B. d2-Test) Niveau/Powertests (z.B. IST-2000) Psychometrische Persönlichkeitstests (z.B. NEO-FFI) Persönlichkeits-Entfaltungs-Verfahren (z.B. TAT, Rorschach-Test)

5 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Definition: psychometrische Tests Lienert u Raatz (1998) Wissenschaftliches Routineverfahren zur Untersuchung empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung. Es sollte ein theoretischer Rahmen für qualitative Aussagen existieren, die kategoriale Aussagen über die individuelle Ausprägung eines Merkmals geben.

6 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Klassische Testtheorie Grundlage der meisten psychologischen Testverfahren (95%) Macht Aussagen darüber, aus was für Komponenten Messwerte bestehen Ausgangshaltung: Testergebnisse variieren zwischen verschiedenen Messzeitpunkten Grund: un-/systematische Einflüsse

7 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Voraussetzungen Novick (1966) Getestete Person zufällig aus Population entnommen Testergebnis variiert zufallsabhängig Testung zu unterschiedlichen Zeitpunkten unterschiedliche Werte endliche Varianzen

8 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Grundannahmen X = T + E X: beobachteter Wert einer Person T: wahrer Wert – Mittelwert über unendlich viele beobachtete Testergebnisse einer Person E: Messfehler – repräsentiert alle unkontrollierten und unsystematischen Störeinflüsse

9 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Folgerungen I (1) M(E) I =0; M(E) P =0 (2) r(E,T)=0 Mittelwert des Messfehlers über unendlich viele Messungen einer Person I ist Null; ebenso Null bei einer Messung einer Teil-/Population kein Zusammenhang zwischen Messfehler und wahren Wert einer Person

10 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Folgerungen II (4) r(E A,T B )=0 (3) r(E A,E B )=0 Messfehler eines Tests A weist keinen Zusammenhang mit dem Messfehler eines Tests B auf Messfehler eines Test A weisen keinen Zusammenhang mit tatsächlichem Wert aus einem Test B auf

11 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Anmerkungen Kernkonzept der kT: Reliabilität kT gilt nur für intervallskalierte Daten Kritik: reine Messfehlertheorie einige Annahmen nicht überprüfbar oder widerlegbar keine Annahme über Zustandekommen einer Leistung Testwerte der kT stichprobenabhängig r tt =S T 2 /S X 2

12 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Hauptgütekriterien ObjektivitätReliabilitätValidität Durchführung Auswertung Interpretation innere Konsistenz Stabilität Inhaltsvalidität Konstruktvalidität Kriteriumsvalidität Parallel- test - R.

13 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Hauptgütekriterien Objektivität DurchführungAuswertungInterpretation Durchführung darf von Test zu Test nicht variieren Jeder Auswerter ermittelt gleiche Punktwerte Jeder Auswerter gibt gleiche Interpretation genaue Instruktion Wie/unter welchen Bedingungen soll Test durchgeführt werden? Zeitbegrenzung? Hilfestellung? genaue Auswert- ungsvorschrift Schablonen? Auswertungsblätter? Genaue Definition, was richtig ist (bei offenen Fragen)? Standardisierte Interpretation Normstichprobe und geprüfte Gütekriterien Wird jede Person mit dem gleichen Maßstab beurteilt? Unabhängigkeit der Ergebnisse vom Untersucher

14 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Hauptgütekriterien Reliabilität Innere Konsistenz Retest- Reliabilität Paralleltest- Reliabilität Test in gleich große Teile unterteilen und miteinander korrelieren Split-Half: Testhälftenkorrelieren Innere Konsistenz: jedes einzelne Item ist eigenständiges Testteil Korrekturfaktor: Testlänge Korrelation zwischen Testleistungen des selben Tests zu versch. Zeitpunkten Korrelation zw. 2 Tests mit inhaltlich ähnlichen Items Messgenauigkeit

15 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Hauptgütekriterien Validität Test misst das, was er zu messen vorgibt Inhaltsvalidität Test/-item erfasst das zu messende Merkmal wirklich Wird nicht numerisch anhand Kennwert bestimmt, sondern aufgrund logischer und fachlicher Überlegungen Vorgehen (Repräsentationsausschluss): (1) Beschreibung der Inhaltsebene des Konstruktes (2) Festlegung, welcher Inhaltsbereich durch welches Item erfasst wird (3) Vergleich der Teststruktur mit der Struktur der Inhaltsebene des Konstruktes

16 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Hauptgütekriterien Kriteriumsvalidität Zusammenhang der Testleistung mit einem/mehreren Kriterien Vorgehensweise: Korrelationsausschluss Vorhersagevalidität/prognostische/prädiktive V. IQ vor Lehre korreliert mit Abschlussnote der Ausbildung Übereinstimmungsvalidität/konkurrente V Konzentrationsleistung vor Klausur korreliert mit Klausurnote Retrospektive Validität IQ während Studiums korreliert mit Schulnoten des Abiturs Inkrementelle Validität IQ-Test sagt gut Berufserfolg vorher – strukturiertes Interview leistet zusätzlichen Anteil an Vorhersage

17 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Hauptgütekriterien Konstrutkvalidität Test misst Eigenschaft/Fähigkeit, die er messen soll konkurrente/konvergente Validität Korrelation mit Tests gleicher/ähnlicher Gültigkeitsbereiche Diskriminative/divergente Validität Korrelation mit Tests anderer Gültigkeitsbereiche Methode zur Bestimmung: - Korrelationen - Faktorenanalyse - Multitrait-Multimethoden-Ansatz

18 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Multitrait-Multimethoden-Ansatz Bildung von 4 Korrelationsmatrizen: A.Monotrait-Monomethoden Matrix Kennwerte für Intelligenz mit gleicher Methode erfasst (Test) – korrelieren am höchsten miteinander B. Monotrait-Heteromethoden Matrix Korrelation zwischen Kennwerten einer Fähigkeit (Intelligenz) niedriger, wenn diese mit unterschiedlichen Methoden (Test, Verhaltenbeob.) erfasst werden C.Heterotrait-Heteromethoden Matrix Korrelation zwischen Kennwerten unterschiedlicher Fähigkeiten (Intelligenz, Konzentration) niedriger, wenn diese mit gleicher Methode erfasst D.Heterotrait-Heteromethoden Matrix niedrigste Korrelation zwischen Kennwerten unterschiedlicher Fähigkeiten, wenn mit unterschiedlichen Methoden erfasst

19 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss Nebengütekriterien Normierung Ökonomie Vergleichbarkeit Nützlichkeit Bezugssystem individueller Testergebnisse im Vgl. zur Norm Vergleichbarer Test, wenn Parallelform/en vorhanden kurze Durchführzeit wenig Material einfache Handhabung Gruppentest schnell und bequem auswertbar Testung von Merkmalen, die in Praxis gebraucht werden

20 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss 10 Stufen der Testentwicklung 1. Anforderungsanalyse und Problemstellung erfahrungsgeleitete-intuitive Methode analytisch-empirische Methode personenbezogene-empirische Methode 2. Planung und Literatursuche Wichtig: Genau überlegen, was man testen möchte Lehrbücher, Literaturdatenbanken, Befragung von Laien/Experten

21 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss 10 Stufen der Testentwicklung 3. Eingrenzung des Merkmals, Arbeitsdefinition rationale Fragebogenkonstruktion deduktive Fragebogenkonstruktion induktive Fragebogenkonstruktion 4. Testentwurf Vorüberlegung: welche Zielgruppe? Welche Art von Info? Welcher Zweck? Testauswahl, Itemauswahl Testung der Verständlichkeit der Items

22 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss 10 Stufen der Testentwicklung 5. Überprüfung des Testentwurfs geeignete und große Stichprobe rekrutieren Mendoza et al. (2000): N> Verteilungsanalyse Itemverteilung der Testdaten beobachten Decken-/Bodeneffekte? zweigipflige Verteilung?

23 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss 10 Stufen der Testentwicklung 7. Itemanalyse/-selektion Itemschwierigkeit und -trennschärfe berechnen 6. Kriterienkontrolle Reliabilität und Validität bestimmen sinnvoll: mind. 1. Konstruktkonvergentes Verfahren; 1-2 Kriterien erheben 9. Revision des Tests 10. Eichung (Normierung)/ Cut-Off-Werte Norm erheben an repräsentativer, geschichteter Population

24 Einführung Klassische Testtheorie Gütekriterien Testkonstruktion Abschluss FRAGEN?...ansonsten Danke! Literatur: Bühner, M. (2004). Einführung in die Test- und Fragebogenkonstruktion. Pearson Studium.


Herunterladen ppt "Grundlagen der klassischen Testtheorie Seminar: Testtheorie und Testkonstruktion Referentin: Matislava Karačić 03. Mai 2006."

Ähnliche Präsentationen


Google-Anzeigen