Reliabilitätsanalysen

Präsentation zum Thema: "Reliabilitätsanalysen"—  Präsentation transkript:

1 Reliabilitätsanalysen
Seminar: Testtheorie und -konstruktion Dozent: R. Leonhart Referentinnen: Anne-Maria Müller, Michaela Nagl 24. Mai 2006

2 Gliederung A) Theoretischer Hintergrund B) Durchführung mit SPSS
1. Einführung 2. Methoden zur Reliabilitätsbestimmung 3. Formeln zur Schätzung der Reliabilität 4. Minderungskorrekturen 5. Faktoren, die die Reliabilität beeinflussen B) Durchführung mit SPSS

3 Theoretischer Hintergrund – 1. Einführung
Reliabilität: Anteil der Varianz der wahren Werte an der Varianz der beobachteten Werte Äquivalenz: Gleichwertigkeit von Messungen Können variieren bezüglich: Mittelwert Standardabweichung Reliabilität

4 1. Einführung Arten der Äquivalenz von Messungen Streng parallel
T` = T und σ²`(E) = σ²(E) Im Wesentlichen parallel T` = T + γ und σ²`(E) = σ²(E) Tau-äquivalent T` = T Im Wesentlichen tau-äquivalent T` = T + γ Kongenerisch T`= β * T + γ T`= wahrer Wert in Test A T = wahrer Wert in Test B σ²`(E) = Fehlervarianz in Test A σ²(E) = Fehlervarianz in Test B γ = additive Konstante β = multiplikative Konstante

5 2. Methoden der Reliabilitätsbestimmung
Testhalbierungsmethode Innere (interne) Konsistenz Retestmethode Paralleltestmethode

6 2. Methoden der Reliabilitätsbestimmung
Testhalbierung Einmalige Durchführung eines Tests an einer Stichprobe Aufteilung in zwei oder mehrere Teile Berechnung: Korrelation der Rohwerte der Testhälften Aufteilungstechniken: Odd even Zufällige Aufteilung Itemzwillinge Aufteilung nach Testzeit

7 2. Methoden der Reliabilitätsbestimmung
Anwendung der Testhalbierungsmethode: Schnelligkeitstests Ermüdungseffekte verteilen sich gleichmäßig auf die Testteile Erhöhung der Reliabilität Bei gleichem Messanspruch: Beide Testteile erfassen das gleiche Merkmal

8 2. Methoden der Reliabilitätsbestimmung
Innere (interne) Konsistenz: An einer Stichprobe durchgeführt Überprüfung des inneren Zusammenhangs Tests in so viele Teile zerlegt wie Items Berechnung: Itemstreuung Korrelation Kovarianzen Anwendung der inneren Konsistenz: Erfassen von homogenen Merkmalsbereichen

9 2. Methoden der Reliabilitätsbestimmung
Retestmethode: Wiederholte Darbietung desselben Tests an einer Stichprobe mit Zeitabstand Berechnung: Korrelation der Rohwertpaare der beiden Testungen Anwendung: Schnelligkeitstests Persönlichkeitstests generell bei Unabhängigkeit von Übungseinflüssen

10 2. Methoden der Reliabilitätsbestimmung
Paralleltestmethode: Parallelformen eines Tests werden einer Stichprobe dargeboten Berechnung: Korrelation der Rohwerte aus beiden Testformen Anwendung: Niveautests Schnelligkeitstests

11 3. Formeln zur Schätzung der Reliabilität
Testhalbierungs- und Konsistenzkoeffizient sind gute Schätzer der Reliabilität Retest- und Paralleltestkoeffizienten über- bzw. unterschätzen die wahre Reliabilität

12 3. Formeln zur Schätzung der Reliabilität
Testhalbierungskoeffizienten Spearman-Brown-Formel rtt = 2 * r12 / 1+ r12 Voraussetzung: gleiche Itemanzahl und Parallelität Guttman rtt = 2 * [ 1- (s1² + s2²)/ sx²] Kristof (bei kleinen Stichproben) Feldt (bei ungleich großen Testteilen)

13 3. Formeln zur Schätzung der Reliabilität
Konsistenzkoeffizienten: Cronbach-alpha Guttman`s Lambda3 Voraussetzung: tau-äquivalente Messungen

14 3. Formeln zur Schätzung der Reliabilität
Cronbach-alpha: Cronbach-alpha erhöht sich mit zunehmender Anzahl an positiv korrelierenden Items Cronbach-alpha-Koeffizient gibt also in Abhängigkeit von der Itemanzahl die Höhe der mittleren Itemzusammenhänge an

15 3. Formeln zur Schätzung der Reliabilität
Guttman`s Lambda3: Anwendung bei negativen Itemkovarianzen

16 4. Minderungskorrekturen
Die Reliabilität beeinflusst die Korrelation zweier Kennwerte in unterschiedlichen Stichproben Bsp.

17 5. Faktoren, die die Reliabilität beeinflussen
Homogenität Streuung der Testkennwerte Messfehler Zufällige Antwortmessfehler Vorübergehende Fehler von Messungen Systematische Fehler Spezifische Fehler

18 5. Faktoren, die die Reliabilität beeinflussen
Klare Testinstruktionen Klare Formulierung der Items Auswertungsobjektivität Keine Items mit geringen Trennschärfen Testverlängerung mit homogenen Items Spearman-Brown-Korrekturformel:

19 Beurteilung der Höhe von Testkennwerten

20 B) Durchführung mit SPSS
Berechnung: Analysieren  Skalieren  Reliabilitätsanalyse

21 B) Durchführung mit SPSS
Verfügbare Modelle zur Berechnung der Reliabilität: Alpha (voreingestellt): Cronbach-Alpha Split-Half: Testhalbierungskoeffizient (Spearman-Brown Formel) Guttman: Konsistenzkoeffizient, Lambda3 Parallel: Voraussetzungen des parallelen Modells müssen gelten ( gleiche Varianzen und Fehlervarianzen) Streng parallel: zusätzlich gefordert: Gleichheit der Mittelwerte

22 B) Durchführung mit SPSS
Itemlabels anzeigen: Darstellung der Itemnamen Schaltfläche Statistik: Item: Itemmittelwerte (Schwierigkeiten), Streuungen, Anzahl gültiger Fälle Skala wenn Item gelöscht: korrigierte Item-Trennschärfen Skala: Mittelwerte und Standardabweichungen für die gesammte Skala Ausgabe: Deskriptive Statistiken Inter-Item correlations: mittlere Itemkorrelation (Homogenitätsindex, i.d.R. zwischen .2 und .4) Corrected item-total correlation: part-whole korrigierte Trennschärfe Squared multiple correlation: quadrierte multiple Korrelation der restlichen Items mit dem vorliegenden Alpha if Item deleted: Reliabilität der verbleibenden Items ohne das vorliegende Alpha: Gesamtreliabilität Standardized Item Alpha: bei stark unterschiedlichen Itemstreuungen