Ermittlung von Itemrohwerten Trennschärfeanalyse Albert-Ludwigs-Universität Freiburg Seminar Testkonstruktion Dozent: Leonhart Referentinnen: Daniela Wahl, Sabine Hehn Ermittlung von Itemrohwerten Trennschärfeanalyse (Bühner Kap. 3.4, 3.5)

Ermittlung von Itemrohwerten 1. Definitionen 2. Ermittlung des Itemrohwerts 3. Verteilungsmaße 4. SPSS 5. Schwierigkeitsindex 6. Schwierigkeitskorrektur

1. Definitionen Probandenrohwert Wert einer Person über alle Items gemittelt Einfache oder korrigierte Probandenrohwerte Itemrohwert: gemittelter Wert aller Probanden bei der Beantwortung eines Items Skalenwert / Untertestkennwert: Wie Itemrohwert, jedoch können die einzelnen Items unterschiedlich gewichtet sein

2. Ermittlung des Itemrohwerts mit Zufallskorrektur Zufallskorrektur berücksichtigt die Anzahl der Antwortkategorien Wird meist bei Leistungstests durchgeführt Je größer die Anzahl der vorgegebenen Antwortkategorien, desto geringer die Wahrscheinlichkeit, hohe Itemrohwerte durch Raten zu erzielen Ermittlung des zufallskorrigierten Personenrohwerts bei Mehrfachwahlaufgaben: Xi = Ri – Fi / (m – 1), wobei m = Anzahl der Wahlmöglichkeiten Ri = Anzahl der Richtigen Fi = Anzahl der Falschen 2. Ermittlung des Itemrohwerts mit Zufallskorrektur

3. Verteilungen: Maße der zentralen Tendenz und Dispersion Normalverteilung: glockenförmiger Verlauf, symmetrisch. Zwischen einer Standardabweichung links und rechts vom Mittelwert liegen 68 % der Probanden, zwischen zwei 95 %. Verteilungen werden durch Histogramme dargestellt. X-Achse: Item-, Skalen oder Testwert Y-Achse: Häufigkeit der Probanden (N oder N %) Wichtigste Kennwerte: Maße der zentralen Tendenz: Mittelwert, Median, Modus/Modalwert Maße der Dispersion: Standardabweichung, Quartilsabstand, Range Zusätzlich: Schiefe, Exzess Je nach Skalenart und Verteilungsform: unterschiedliche Maße zur Beschreibung der Skalen

3. Verteilungen: Maße der zentralen Tendenz und Dispersion 1) nominale / kategoriale Items: Modus 2) ordinale Items: Median und Interquartilsabstand 3) intervallskalierte Items: Mittelwert, Standardabweichung Für den Median und den Interquartilsabstand können die Perzentile aus der Häufigkeitsverteilung abgelesen werden (SPSS: Analysieren, Deskriptive Statistiken, Häufigkeiten). Perzentil: Punkt einer Verteilung, unter dem sich ein bestimmter Prozentsatz der Verteilung befindet

4. Prüfung auf Normalverteilung mit SPSS Kolmogorov-Smirnov-Test + Inspektion (Histogramm) der Itemverteilungen SPSS: Analysieren, Nichtparametrische Tests, K-S-Test bei einer Stichprobe. Haken bei Testverteilung Normal setzen. Variablen markieren, in das Testvariablen-Fenster einfügen, die zu prüfende Testverteilung angeben, auf OK klicken. Weitere Auswertungsoptionen im Menü-Fenster K-S bei einer Stichprobe Interpretation: Asymptotische Signifikanz (2-seitig) < .05 bzw. z > 1.96: signifikante Abweichung von einer Normalverteilung Mögliches Problem: Stichprobengröße

5. Schwierigkeitsanalyse Die Schwierigkeit eines Items hängt ab: 1) von der Anzahl der Probanden, die das Item falsch beantwortet haben 2) von der Anzahl der Antwortalternativen. Mehr Antwortalternativen: Ratewahrscheinlichkeit sinkt Möglichkeit, den Effekt des Ratens zum Teil zu kontrollieren: Probanden darauf hinweisen, ein Item auch dann zu beantworten, wenn sie die Lösung nicht wissen

5. Schwierigkeitsindex ohne Korrektur (Persönlichkeitstests) P = NR * 100 / N wobei NR = Anzahl der Probanden, die die Aufgabe richtig gelöst haben N = Anzahl aller Probanden Je höher der Prozentwert, desto leichter die Aufgabe Beispiel: P = 240 * 100 / 360 = 66.6

6. Schwierigkeitsindex mit Zufallskorrektur (Leistungstests) PZK = ((NR – NF / (m-1)) / N) * 100 NF = Anzahl der Probanden, die die Aufgabe falsch gelöst haben NR = Anzahl der Probanden, die die Aufgabe richtig gelöst haben N = Anzahl aller Probanden m = Anzahl der Wahlmöglichkeiten Bei Leistungstests wird eher geraten als bei Persönlichkeitstests. Problem: dichotome Items Beispiel: PZK = ((240 – 120 / (5-1) ) / 360 ) * 100 = 58.3

6. Schwierigkeitsindex mit Inangriffnahmekorrektur Ratekorrektur. Beispielsweise bei Intelligenztests oder bei zeitbegrenzten Niveautests, bei denen nicht alle Aufgaben von allen Probanden gelöst werden PIK = NR * 100 / NB NB = Probanden, die die Aufgabe bearbeitet haben

6. Schwierigkeitsindex mit Zufallskorrektur und Inangriffnahmekorrektur Raten oder Zeitmangel werden berücksichtigt PZK-IK = (NR – (NF / (m – 1)) / NB) * 100 Beispiel: PZK-IK = (240 – (40 / 5-1)) / 280) * 100 = .82

6. Beziehung des Schwierigkeitsindex zu anderen Werten Mittlere Schwierigkeiten begünstigen die Itemhomogenität (Interkorrelation der Items) und ermöglichen eine hohe Differenzierung zwischen den Probanden. Extreme Schwierigkeiten ermöglichen eine Differenzierung in Randbereichen, führen aber meist zu reduzierter Homogenität und reduzierten Trennschärfen. Darum wird eine breite Streuung der Schwierigkeitskoeffizienten angestrebt.

Ermitteln von deskriptiven Statistiken mit SPSS SPSS: Statistiken, Zusammenfassen, Deskriptive Statistiken. Gewünschte Variablen markieren und übertragen. Optionen, gewünschte Statistik markieren. Bei deskriptiven Statistiken: Minimum und Maximum eignen sich, um Eingabefehler bei Fragebogendaten zu kontrollieren. Bei dichotomen Daten drücken Mittelwerte den relativen Anteil an Probanden aus, die das Item richtig beantwortet haben. Anteil mit 100 multipliziert: Schwierigkeitsindex. Schwierigkeitsindex mit Inangriffnahmekorrektur: für jedes nicht gelöste Item das entsprechende Feld im SPSS-Datenfenster leer belassen und für eine falsche Antwort „0“, für eine richtige „1“ eingeben. Schiefe und Exzess ermöglichen einen schnellen Check der Verteilungsform.

Trennschärfenanalyse 1. Begriffserklärung 2. Berechnung von Trennschärfen 3. Schwierigkeit und Streuung 4. Fremdtrennschärfen 5. Berechnung von Trennschärfen (SPSS) 6.Trennschärfenanalyse (SPSS) Beispiel: Freizeit

1.Begriffserklärung Trennschärfe: korrigierte Korrelation einer Aufgabe mit einer Skala (Prototyp) Eigentrennschärfe: Skala, die aus aufsummierten/gemittelten Items besteht (inhaltlich gleich) Fremdtrennschärfe: Korrelation mit anderen Kriterien Zwischen -1 und 1

1.Begriffserklärung Part-whole-Korrektur: Eigentliches Item aus Berechnung rausnehmen Auswirkung: bei vielen Items sinkt Einfluss der Korrektur auf Trennschärfe, auch bei zunehmender Homogenität (Redundanz) Negative Trennschärfen: wollen wir nicht, umpolen mit SPSS Verzerrte Trennschärfen: durch extreme Streuungen oder Ausreißer

1.Begriffserklärung Reliabilität: je ungenauer Erfassung desto unwahrscheinlicher hohe Trennschärfen Keine Transformationen nach „unten“, da wichtige Infos verloren gehen

2.Berechnung von Trennschärfen Produkt-Moment-Korrelation Intervallskalierte Items und Skala Gefahr bei Ausreißern und Extremwerten (artifiziell erhöhte bzw. erniedrigte Korrelation (Streudiagramm) r j(t-j) = rjt * St – Sj / (√ (S t² + Sj ² - 2*rjt * St * Sj)) mit j(t-j) = Trennschärfekoeffizient der Aufgabe j mit der Skala t, bei der Aufgabe j nicht berücksichtigt ist rjt = Korrelation des Items j mit der Skala t Sj = Standardabweichung des Items j St = Standardabweichung der Skala t

2.Berechnung von Trennschärfen Punktbiserale Korrelation Dichotome Items mit Intervallskala r j(t-j) = rjt * St - √(pj * qj) / (√ (S t² + pj * qj - 2*rjt * St * √(pj * qj) ) mit j(t-j) = Trennschärfekoeffizient der Aufgabe j mit der Skala t, bei der Aufgabe j nicht berücksichtigt ist rjt = Korrelation des Items j mit der Skala t pj = Schwierigkeitsindex des Items j qj = 1 - pj St = Standardabweichung der Skala t

3.Schwierigkeit und Streuung Mittlere Schwierigkeiten am besten (beste Differenzierung) Bei Intervallskalenniveau Decken-, Bodeneffekte bei Ausnutzen der Streuung bis an den Rand Hohe Streuungen können hohe Trennschärfen begünstigen

3.Schwierigkeit und Streuung Es können auch bei gleicher Schwierigkeit unterschiedliche Trennschärfen auftreten ICC`s (Item Characteristic Curves) Je steiler Anstieg, desto größer Trennschärfe Homogen mittelschwere Items differenzieren am besten bei mittelschwerer Mermalsausprägung Bei mittelschweren Items größte Streuungen

ICC`s

4.Fremdtrennschärfen Fremdtrennschärfen maximieren Kriteriums-Validität eines Tests Eigentrennschärfen maximieren Homogenität eines Tests Unterschied zur Validität: Es werden nur einzelne Items mit Kriterium korreliert

5.Berechnung von Trennschärfen (SPSS) Analysieren/Skalieren/Reliabilitätsanalyse Entsprechende Items einfügen Itemlabels anzeigen, wenn nur Reliabilität ohne Trennschärfe berechnet werden soll Statistik: Haken bei: Deskriptive Statistiken/Skala, wenn Item gelöscht und Item (für Schwierigkeit)

6.Trennschärfenanalyse (SPSS) Mittelwerte (Schwierigkeit) und Streuungen betrachten Items mit geringen Trennschärfen senken Cronbach- Alpha (Reliabilität)

6.Trennschärfenanalyse (SPSS) Neue Datendatei öffnen: Itemnummer, Trennschärfe, Itemschwierigkeit, Itemstreuung Dann Streudiagramme: Grafiken/Streudiagramme/Einfach 1. Schwierigkeit und Trennschärfe 2. Schwierigkeit und Streuung 3. Streuung und Trennschärfe

6.Trennschärfenanalye (SPSS) Zu 1. Niedrige Trennschärfe kann auch mit der Verteilung des Items oder einer niedrigen Schwierigkeit zusammenhängen Zu 2. Hier kann man Decken- oder Bodeneffekt erkennen Es können auch extreme (hohe/niedrige) Schwierigkeiten entdeckt werden ( bei niedrigeren Streuungen) Zu 3. Bei hoher Streuung und niedriger Trennschärfe weitere Analyse notwendig( z.B: Antwortstrategien mit Histogrammen aufdecken)

6.Trennschärfenanalyse (SPSS) Boxplot Zuerst: Summenwert einer Skala ohne Item berechnen: Transformieren/Berechnen/ Zielvariable benennen/alle Items außer betreffendes addieren Boxplot: Grafiken/Boxplot/Definieren/Variable: Summenwert/Kategorienachse: Item/Fallbeschriftung: Variable Vpn Median sollte ansteigen

Beispiel: Freizeit

Beispiel: Freizeit

Beispiel: Freizeit

Beispiel: Freizeit

Beispiel: Freizeit