Reliabilitätsanalysen Seminar: Testtheorie und -konstruktion Dozent: R. Leonhart Referentinnen: Anne-Maria Müller, Michaela Nagl 24. Mai 2006

Gliederung A) Theoretischer Hintergrund B) Durchführung mit SPSS 1. Einführung 2. Methoden zur Reliabilitätsbestimmung 3. Formeln zur Schätzung der Reliabilität 4. Minderungskorrekturen 5. Faktoren, die die Reliabilität beeinflussen B) Durchführung mit SPSS

Theoretischer Hintergrund – 1. Einführung Reliabilität: Anteil der Varianz der wahren Werte an der Varianz der beobachteten Werte Äquivalenz: Gleichwertigkeit von Messungen Können variieren bezüglich: Mittelwert Standardabweichung Reliabilität

1. Einführung Arten der Äquivalenz von Messungen Streng parallel T` = T und σ²`(E) = σ²(E) Im Wesentlichen parallel T` = T + γ und σ²`(E) = σ²(E) Tau-äquivalent T` = T Im Wesentlichen tau-äquivalent T` = T + γ Kongenerisch T`= β * T + γ T`= wahrer Wert in Test A T = wahrer Wert in Test B σ²`(E) = Fehlervarianz in Test A σ²(E) = Fehlervarianz in Test B γ = additive Konstante β = multiplikative Konstante

2. Methoden der Reliabilitätsbestimmung Testhalbierungsmethode Innere (interne) Konsistenz Retestmethode Paralleltestmethode

2. Methoden der Reliabilitätsbestimmung Testhalbierung Einmalige Durchführung eines Tests an einer Stichprobe Aufteilung in zwei oder mehrere Teile Berechnung: Korrelation der Rohwerte der Testhälften Aufteilungstechniken: Odd even Zufällige Aufteilung Itemzwillinge Aufteilung nach Testzeit

2. Methoden der Reliabilitätsbestimmung Anwendung der Testhalbierungsmethode: Schnelligkeitstests Ermüdungseffekte verteilen sich gleichmäßig auf die Testteile Erhöhung der Reliabilität Bei gleichem Messanspruch: Beide Testteile erfassen das gleiche Merkmal

2. Methoden der Reliabilitätsbestimmung Innere (interne) Konsistenz: An einer Stichprobe durchgeführt Überprüfung des inneren Zusammenhangs Tests in so viele Teile zerlegt wie Items Berechnung: Itemstreuung Korrelation Kovarianzen Anwendung der inneren Konsistenz: Erfassen von homogenen Merkmalsbereichen

2. Methoden der Reliabilitätsbestimmung Retestmethode: Wiederholte Darbietung desselben Tests an einer Stichprobe mit Zeitabstand Berechnung: Korrelation der Rohwertpaare der beiden Testungen Anwendung: Schnelligkeitstests Persönlichkeitstests generell bei Unabhängigkeit von Übungseinflüssen

2. Methoden der Reliabilitätsbestimmung Paralleltestmethode: Parallelformen eines Tests werden einer Stichprobe dargeboten Berechnung: Korrelation der Rohwerte aus beiden Testformen Anwendung: Niveautests Schnelligkeitstests

3. Formeln zur Schätzung der Reliabilität Testhalbierungs- und Konsistenzkoeffizient sind gute Schätzer der Reliabilität Retest- und Paralleltestkoeffizienten über- bzw. unterschätzen die wahre Reliabilität

3. Formeln zur Schätzung der Reliabilität Testhalbierungskoeffizienten Spearman-Brown-Formel rtt = 2 * r12 / 1+ r12 Voraussetzung: gleiche Itemanzahl und Parallelität Guttman rtt = 2 * [ 1- (s1² + s2²)/ sx²] Kristof (bei kleinen Stichproben) Feldt (bei ungleich großen Testteilen)

3. Formeln zur Schätzung der Reliabilität Konsistenzkoeffizienten: Cronbach-alpha Guttman`s Lambda3 Voraussetzung: tau-äquivalente Messungen

3. Formeln zur Schätzung der Reliabilität Cronbach-alpha: Cronbach-alpha erhöht sich mit zunehmender Anzahl an positiv korrelierenden Items Cronbach-alpha-Koeffizient gibt also in Abhängigkeit von der Itemanzahl die Höhe der mittleren Itemzusammenhänge an

3. Formeln zur Schätzung der Reliabilität Guttman`s Lambda3: Anwendung bei negativen Itemkovarianzen

4. Minderungskorrekturen Die Reliabilität beeinflusst die Korrelation zweier Kennwerte in unterschiedlichen Stichproben Bsp.

5. Faktoren, die die Reliabilität beeinflussen Homogenität Streuung der Testkennwerte Messfehler Zufällige Antwortmessfehler Vorübergehende Fehler von Messungen Systematische Fehler Spezifische Fehler

5. Faktoren, die die Reliabilität beeinflussen Klare Testinstruktionen Klare Formulierung der Items Auswertungsobjektivität Keine Items mit geringen Trennschärfen Testverlängerung mit homogenen Items Spearman-Brown-Korrekturformel:

Beurteilung der Höhe von Testkennwerten

B) Durchführung mit SPSS Berechnung: Analysieren  Skalieren  Reliabilitätsanalyse

B) Durchführung mit SPSS Verfügbare Modelle zur Berechnung der Reliabilität: Alpha (voreingestellt): Cronbach-Alpha Split-Half: Testhalbierungskoeffizient (Spearman-Brown Formel) Guttman: Konsistenzkoeffizient, Lambda3 Parallel: Voraussetzungen des parallelen Modells müssen gelten ( gleiche Varianzen und Fehlervarianzen) Streng parallel: zusätzlich gefordert: Gleichheit der Mittelwerte

B) Durchführung mit SPSS Itemlabels anzeigen: Darstellung der Itemnamen Schaltfläche Statistik: Item: Itemmittelwerte (Schwierigkeiten), Streuungen, Anzahl gültiger Fälle Skala wenn Item gelöscht: korrigierte Item-Trennschärfen Skala: Mittelwerte und Standardabweichungen für die gesammte Skala Ausgabe: Deskriptive Statistiken Inter-Item correlations: mittlere Itemkorrelation (Homogenitätsindex, i.d.R. zwischen .2 und .4) Corrected item-total correlation: part-whole korrigierte Trennschärfe Squared multiple correlation: quadrierte multiple Korrelation der restlichen Items mit dem vorliegenden Alpha if Item deleted: Reliabilität der verbleibenden Items ohne das vorliegende Alpha: Gesamtreliabilität Standardized Item Alpha: bei stark unterschiedlichen Itemstreuungen