Einstellungsforschung mittels Umfragen: Reliabilität der in der Umfrageforschung üblicherweise eingesetzten Instrumente Siegfried Schumann

2 Klassische Testtheorie

3 Feststellung 1: (für individuelle Messung) Die klassische Testtheorie ist im wesentlichen eine Messfehlertheorie. Ihre Grundannahme besteht darin, den Messwert, den man bei der Testung einer Person erhält, grundsätzlich als fehlerbehaftet zu betrachten. Jeder empirisch ermittelte Messwert setzt sich nach dieser Vorstellung additiv aus einem "wahren Wert" (true score) und einem Messfehler zusammen. (vgl. Fischer, 1974: 26-28)

4 Feststellung 2: (für Messung bei Populationen) Betrachten wir nun nicht wie bisher eine einzige Person, sondern eine Population P von Personen. Für diese Population lassen sich folgende Sätze ableiten: –1. Der Erwartungswert des Messfehlers ist gleich null. (einfacher: Der durchschnittliche Messfehler in jeder beliebigen Population oder Teilpopulation P ist null). –2. Die Korrelation zwischen den Fehlern und den wahren Werten eines Tests (über die Personen der Population) ist gleich null. –3. Die Korrelation zwischen den Fehlern im Test X i und den wahren Werten für einen anderen Test X j (über die Personen der Population) ist gleich null. –4. Die Korrelation zwischen den Messfehlern zweier Tests ist gleich null (vgl. Fischer, 1974: 29-32). LiRE Messwert = wahrer Wert Messwert = wahrer Wert REX + Messfehler + Messfehler

5 Definition „Reliabilität“ nach klass. Testtheorie Reliabilität: (X, X´: parallele Tests!) Schätzung für Reliabilität:

6 Möglichkeiten der Reliabilitätsschätzung nach KTT Grundidee: Parallele Tests Abwandlung I: Test-Retest Methode –Voraussetezung: keine Veränderung im empirischen Relativ –Auch nicht durch Messung! Abwandlung II: Interne Konsistenz –Bei Likert-Instrumenten Ältere Literatur: Split half + Korrektur für Testverkürzung Neuere Literatur: Cronbachs Alpha

7 Reliabilität und zeitliche Stabilität einzelner Items

8 Test-Retest innerhalb der Befragung 2003: (Δt = min) Maximalschätzung für Reliabilität  Veränderung des Merkmals durch „Reifung“ praktisch ausgeschlossen  Nicht ausgeschlossen: Effekte der ersten Befragung (insbes. Konsistenzeffekte) Empirisch ermittelte Korrelationen: –Zuzug von Ausländern erleichtern / einschränken.59 –US-Militäreinsatz im Irak gerechtfertigt / nicht gerechtfertigt.60 –Kernenergie weiter ausbauen / alle KKWs sofort abschalten.55 –Europ. Vereinigung vorantreiben / geht schon jetzt zu weit.56 –Vertrauen in die Gewerkschaften (0 = überhaupt nicht … 10 = voll und ganz).61 –Sympathie für Angela Merkel (-5 = sehr unsympathisch … +5 = sehr symp.).54 –Sympathie für Gerhard Schröder (-5 = sehr unsymp. … +5 = sehr symp).57

9 Interesse für Politik: 1990 – 1991 – 1992 (Δ = 1 Jahr)

10 Interesse für Politik: 1994 – 1998 – 2002 (Δ = 4 Jahre)

11 Bemerkungen: Test-Retest Korrelation sinkt mit Intervalldauer! –Merkmal offenbar nicht völlig zeitlich stabil –Reliabilitätsschätzung mit möglichst kurzem Abstand! –Verteilung annähernd symmetrisch Beispiel für eine asymmetrische Verteilung

12 Wahlnorm: 1992 – 1993a – 1993b (Δ = unter 1 Jahr) 57 (pol. Int.)

13 Wahlnorm: 1994 – 1998 – 2002 (Δ = 4 Jahre)

14 Bemerkungen: Korrelationskoeffizienten niedriger als bei Interesse für Politik –Mögliche Ursachen: -Inhalt des Items -Form der Verteilung (hier: asymmetrisch) erneut: Test-Retest Korrelation sinkt mit Intervalldauer! –Merkmal offenbar nicht völlig zeitlich stabil –Reliabilitätsschätzung mit möglichst kurzem Abstand! ↓ Verlängerung der Antwortskala

15 LiRe-Selbsteinschätzung: 1990 – 1991 – (pol. Int.)

16 LiRe-Selbsteinschätzung: 1994 – 1998 – 2002

17 Bemerkungen: erneut: Test-Retest Korrelation sinkt mit Intervalldauer! –Merkmal offenbar nicht völlig zeitlich stabil –Reliabilitätsschätzung mit möglichst kurzem Abstand! –Korrelationskoeffizienten höher als bisher (mehr Antwortalternativen!) Zwischenfazit: –Merkmale offenbar nicht völlig zeitlich stabil –daher: Reliabilitätsschätzung mit möglichst kurzem Abstand! –Höhe der Korrelationskoeffizienten hängt offenbar ab von: Größe der Antwortskala Symmetrie der Merkmalsverteilung Inhalt des Items

18 Reliabilität und zeitliche Stabilität der REX-Skala

19 REX: „bestes“ Item: 1994 – 1998 – 2002

20 REX: „schlechtestes“ Item: 1994 – 1998 –

21 REX: Stabilität Gesamtskala 1994 – 1998 – 2002

22 Reliabilität, zeitliche Stabilität und Validität der ASKO-Skala: Ein Anwendungsbeispiel

23 ASKO: Frageformulierung

24 ASKO: Stabilität einzelner Items 1990 – 1991 – 1992

25 ASKO: Stabilität Gesamtskala 1990 – 1991 – 1992

26 REX: Stabilität Gesamtskala 1994 – 1998 – 2002 (wdh.)

27 ASKO: Reliabilitätsschätzung über int.Konsistenz

28 ASKO: Validität I (diverse Studien)

29 ASKO: Validität II (bundesweite Studie 2003)

30 ASKO: Validität III (diverse Studien)

31 Übersicht über die Ergebnisse

32 Fazit Reliabilität einzelner Items ist recht gering (max. um „.60“) Sie ist offenbar abhängig … –vom Iteminhalt –von der Anzahl der Antwortvorgaben –von der Verteilung der Antworten Reliabilität von Likert-Instrumenten liegt deutlich höher –Dies gilt auch bei dichotom formulierten Items –Unterschiedliche Schätzverfahren liefern unterschiedliche Ergebnisse! Die zeitliche Stabilität von Items und von Likert-Instrumenten ist eher gering. Trotz allem sind valide Ergebnisse zu erzielen.

33 Exkurs: Wissensfragen (2003) Bedeutung der BTW-Zweitstimme:49.6% Anzahl der Bundesländer:unbekannt:27.5% falls bekannt: % (ca. 30 % von „allen“) falls bekannt: % Bekannt: Partei von …G. Schröder98.9% J. Fischer98.8% A. Merkel94.6% G. Westerwelle98.4% E. Stoiber87.5% J. Trittin82.8% G. Gysi84.3% F. Schönhuber 0.8% (34.6%: REP) G. Frey17.6%

34 vielen Dank für Ihre Aufmerksamkeit!

35 Zur Info Attenuation-Formel: