Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung: Einführung in die Methoden der empirischen Sozialforschung II Fragebogenkonstruktion: von der Kunstlehre zur Wissenschaft PD Dr. Wolfgang Schweiger

Von der Kunstlehre zur Wissenschaft The Art of Asking Questions Payne, S. L. (1951). The art of asking questions. Princeton: University Press. Scientific Paradigm for Surveys Tourangeau, R. (2003). Cognitive aspects of survey measurement and mismeasurement. International Journal of Public Opinion Research, 15, 3-7. Tourangeau, R.; Rips, L. J.;Rasinski, K. (2000). The psychology of survey response. Cambridge: University Press.

Heutiger Ablauf Effekte der Frageformulierung & Skalengestaltung Kontexteffekte Evaluation von Fragen & Fragebogen Regelwerke & Kuchbücher Die schlimmste Frage der Welt?

Messen = Stimulus Jedes Messinstrument ist reaktiv Der Fragebogen ist ein sensibler Stimulus Ergebnisse einer Befragung Tatsächliche Meinungen usw. der Befragten Störeinflüsse

Effekte der Frageformulierung & Skalengestaltung

Frageformulierungen - Split-Ballot-Experimente (1) Glauben Sie an die große Liebe? Ja 52% Nein 29% Ungewiss 19% Glauben Sie eigentlich an die große Liebe? Ja 57% Nein 26% Ungewiss 17% Noelle-Neumann, E., Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 195.

Frageformulierungen - Split-Ballot-Experimente (2) Frage an Hausfrauen: Würden Sie eigentlich gerne berufs- tätig sein, wenn es möglich wäre? möchte berufstätig sein 52% nein, mache lieber HH 32% unentschieden 16% Frage an Hausfrauen: Würden Sie eigentlich gerne berufs- tätig sein, oder machen Sie am liebsten nur Ihren Haushalt? möchte berufstätig sein 38% nein, mache lieber HH 46% unentschieden 16% Noelle-Neumann, E., Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 195; Erhebungszeitpunkt: 1973.

Frageformulierungen - Split-Ballot-Experimente (3) Finden Sie, die Vereinigten Staaten sollten öffentliche Äußerungen gegen die Demokratie verbieten? ja, verbieten 21% nein 79% Finden Sie, die Vereinigten Staaten sollten öffentliche Äußerungen gegen die Demokratie nicht erlauben? nicht erlauben 48% erlauben 52% Noelle-Neumann, E., Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 197.

Frageformulierungen – ‚Mitliefern‘ von Argumenten Do you favor or oppose the proposal for a constitutional amendment to require a balanced Federal Budget by the year 2003 and every year after that? favor 70% oppose 18% undecided 12% Do you favor or oppose the proposal for a constitutional amendment to require a balanced budget that cuts Government spending on Medicare by 20% over the next 7 years? favor 31% oppose 58% don‘t know 11%

Skalengestaltung – Zahlen (1) Schwarz, N, Grayson, C.E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: 177-183, S. 179; n=70 Undergraduates.

Skalengestaltung – Zahlen (2) Schwarz, N., Knäuper, B., Hippler, H.-J., Noelle-Neumann, E., Clark, L (1991). Rating Scales. Numeric Values may Change the Meaning of Scale Labels. Public Opinion Quarterly, 55, 570-582, S. 573

Skalengestaltung – Design (1) Schwarz, N., Grayson, C.E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: 177-183, S. 179; n=97 Undergraduates.

Skalengestaltung – Design (2) Schwarz, N., Grayson, C.E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: 177-183; n=97 Undergraduates.

Kontexteffekte

Das Interview als soziale Situation Befragte/r Interview Befunde Stimulus Stabile Persönlichkeit & kognitive Struktur Fragebogen Rekonstruktion von Verhalten, Wissen, Emotionen & Einstellungen Interviewer Aktuelle Kognitionen & Affekte Hintergründe

Beantwortung von Testfragen als Informationsverarbeitung Verstehen der Frage Abruf relevanter Informationen Urteilsbildung Antwort-formulierung

Kontexteffekte im Überblick Befragter Stimmungen Themeninteresse & -kompetenz Soziale Erwünschtheit & Tabus Fragebogen Thematische Kontexteffekte Reihenfolge-Effekte Konsistenz- & Kontrast-Effekte Interviewer Interviewer-Effekte Anwesenheit anderer Personen Hintergründe Sponsorship-Effekt Incentives

Stimmungen als Kontexte Experiment: Auswirkung von Stimmungen Stimmungsinduktion durch vorangegangene Fragen nach positiven oder negativen Ereignissen in letzter Zeit (‘feel good’ / ‘feel bad’) Signifikante Unterschiede bei Fragen zu … Glücklichsein (‚happiness‘) Lebenszufriedenheit Erklärung Verfügbarkeitsheuristik (Tversky & Kahneman): Befragte generieren Antworten auf Basis verfügbarer Informationen und Gefühle im Moment der Befragung Schwarz, N.; Gerald, L. C. (1983). Mood, Misattribution, and Judgments of Well-being: Informative and Directive Functions of Affective States. Journal of Personality and Social Psychology, 45, 513-523.

Thematische Kontexteffekte Tourangeau, R. et al. (1989). Carry-over effects in attitude surveys. Public Opinion Quaterly, 53, 495-524.

Reihenfolge-Effekte Reihenfolge-Effekte bei generellen vs. spezifischen Bewertungen Frage: Generelle Bewertung – Zufriedenheit mit Leben Frage: Spezifische Bewertung – Zufriedenheit mit Ehe Frage-Reihenfolge & Korrelationen Lebenszufriedenheit  Ehezufriedenheit: r= 0,32 Ehezufriedenheit  Lebenszufriedenheit: r= 0,67 Erklärung Verfügbarkeitsheuristik: Frage nach Ehe aktiviert Gefühle/Erlebnisse, die Frage nach allgemeinem Lebensglück beeinflusst Schwarz, N., Strack, F. & Mai, H.-P. (1991). Assimilation and Contrast Effects in Part-Whole Question Sequences: A Conversational Logic Analysis. Public Opinion Quarterly, 55 (1): 3-23.

Interviewer-Effekte im Überblick Faktoren Demografische Merkmale (Alter, Geschlecht, Hautfarbe) Auftreten, Sympathie, usw. Erfahrung & Schulung Interviewer-Schulung Interviewer müssen keine … thematischen Experten und Befragungs-Experten sein Ziel: Minimale Beeinflussung des Befragten Einhalten der Frageformulierung & Antwortvorgaben Minimale Erläuterungen bei Unverständnis Umgang mit ‚schwierigen‘ Interviewpartnern

Interviewer-Effekte (1) Interviewer-Effekte bei Wahlstudien Studie zum Interviewer-Einfluss bei Wahlprognose zur Gouverneurs- Wahl in Virginia Vorhersage in Befragung: haushoher Sieg für schwarzen Kandidaten (Wilder) gegenüber weißem Kandidaten (Coleman) Wahlausgang: nur knapper Vorsprung für Schwarzen Ursache?  Finkel, S.E., Guterbock, T.M & Borg, M.J. (1991). Race of Interviewer Effects in a Preelection Poll: Virginia 1989. Public Opinion Quaterly, 55, 313-330.

Interviewer-Effekte (2) Finkel, S.E., Guterbock, T.M & Borg, M.J. (1991). Race of Interviewer Effects in a Preelection Poll: Virginia 1989. Public Opinion Quaterly, 55, 313-330.

Sponsorship-Effekt – Beispiel Website-Besucherbefragung Website-Bewertung im selben Fragebogen nach fünf Fragen zu unterschiedlichen Bewertungsdimensionen Mangel- haft Aus- reichend Befrie- digend Gut Sehr gut Gesamt Website- Bewertung am Frage- bogenanfang Mangelhaft 11 4 3 18 Ausreichend 1 17 10 32 Befriedigend 6 37 22 68 9 70 91 Sehr gut 14 21 12 30 62 99 27 230 Eigene Erhebung; n=230; MW1: 3,08; MW2: 3,24; t=2,81; p<0,01

Sensible Themen (1) Experiment zur Telefonabfrage sexuellen Verhaltens – Faktoren Auswahlmöglichkeit des Interviewers nach Geschlecht Geschlechtskonstellation Interviewer – Befragter Standardfragen vs. unterstützende Fragen; z.B. Catania, J.A., Binson, D., Canchola, J., Pollack, L.M., Hauck, W. & Coates, T.J. (1996). Effects of interviewer gender, interviewer choice, and item wording on responses to questions concerning sexual behavior. Public Opinion Quarterly, 60 (3): 345-375.

Sensible Themen (2) Catania et al., 1996

Sensible Themen (3) Catania et al., 1996

Evaluation von Fragen & Fragebogen

Evaluationsverfahren im Überblick Prüfer, P., Rexroth, M. (1996). Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten, 39, 95-115, S. 96f.

Behavior Coding

Behavior Coding Vorgehen (Video-/Audio-Aufzeichnung von Interviews) Beobachtung des (aufgezeichneten) verbalen oder nonverbalen Verhaltens von Interviewer und Befragten Grobe Codierung Fragen, bei denen bestimmte Verhaltensweisen häufig vorkommen, sind veränderungsbedürftig Beispiele Interviewer liest entgegen Anweisung Frage nicht wörtlich vor Befragter bittet um Wiederholung der Frage Befragter bittet um Erläuterung

Behavior Coding: mögliches Codesystem Prüfer & Rexroth 1996, S. 100

Think-Aloud

Think-Aloud / Methode des lauten Denkens Varianten Concurrent-Think-Aloud-Methode: Die Befragten werden aufgefordert, laut zu denken, während sie ihre Antwort formulieren. Retrospektive-Think-Aloud-Methode: Die Befragten werden aufgefordert, nach der Beantwortung der Frage zu beschreiben, wie die Antwort zustande kam. Verbale Protokolle  Codierung Ziel Hinweise darauf, wie Fragen oder einzelne Begriffe verstanden werden

Response Latency

Response Latency Response Latency / Reaktionszeit als Indikator für Aufwand der Informationsverarbeitung zu einem Thema / einer Frage Lange Reaktionszeiten als Indikator für Frageprobleme Einfache & kostenlose Messung bei computerunterstützten Befragungen

Response Latency Bassili, J. & Scott, B. S. (1996). Response Latency as a Signal to Question Problems in Survey Research. Public Opinion Quarterly, 60, 390- 399, S. 393.

Regelwerke & Kuchbücher

Wie befragt man richtig? Grundsätze Ein Interview soll wie ein normales Gespräch verlaufen! Antwortvorgaben müssen zu Fragen passen! Dramaturgie und Umfeld des Interviews beachten! Befragte ernst nehmen!

Porst (2000): 10 Gebote Einfache, unzweideutige Begriffe verwenden, die von allen Befragten in gleicher Weise verstanden werden! Lange und komplexe Fragen vermeiden! Hypothetische Fragen vermeiden! Doppelte Stimuli und Verneinungen vermeiden! Unterstellungen und suggestive Fragen vermeiden! Fragen vermeiden, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht verfügen! Fragen mit eindeutigem zeitlichen Bezug verwenden! Antwortkategorien verwenden, die erschöpfend und disjunkt (überschneidungsfrei) sind! Sicherstellen, dass der Kontext einer Frage sich nicht auf deren Beantwortung auswirkt! Unklare Begriffe definieren! Porst, R. (2000). Question Wording - Zur Formulierung von Fragebogen-Fragen. ZUMA-How-to- Reihe, Nr. 2.

1. Verwende einfache & unzweideutige Begriffe Grundvoraussetzung für standardisierte Befragungen: Frage muss von allen Befragten in gleicher Weise verstanden werden einfache, unzweideutige Fragen entwickeln! Ideal: gemäßigte, formal korrekte Umgangssprache Achtung: Einfachheit richtet sich nach dem befragten Personenkreis Expertenbefragung vs. repräsentative Befragung Konflikt zwischen einfacher und unzweideutiger Formulierung  im Zweifelsfall für eindeutige Fragen entscheiden Beispiel „Wie hoch ist Ihr eigenes monatliches Nettoeinkommen? Ich meine dabei die Summe, die nach Abzug der Steuern und Sozialversicherungsbeiträge übrigbleibt.“ „Wie viel verdienen Sie im Monat?“

2. Vermeide lange & komplexe Fragen werden schnell unverständlich können Zielperson verwirren enthalten häufig Redundanzen oder überflüssige Informationen Beispiel „Wie Sie wissen, sind manche Leute politisch ziemlich aktiv, andere Leute finden dagegen oft keine Zeit oder haben kein Interesse, sich an politischen Dingen aktiv zu beteiligen. Ich lese Ihnen jetzt eine Reihe von Sachen vor, die Leute tun. Bitte sagen Sie mir jedesmal, wie oft Sie persönlich so etwas tun bzw. wie häufig das bei Ihnen vorkommt. (Liste mit den Antwortkategorien oft - manchmal - selten - niemals). Zuerst: wie oft führen Sie eine politische Diskussion?“ „Wie häufig nehmen Sie an öffentlichen Diskussionen zu politischen Themen teil, oft, manchmal, selten oder nie?“

3. Vermeide hypothetische Fragen Bei hypothetischen Fragen muss sich Befragter eventuell in unrealistische bzw. unbekannte Situationen versetzen Problem: Hat sich der Befragte mit der hypothetischen Situation schon einmal auseinandergesetzt? Wie nahe oder entfernt ist diese Situation für sie/ihn?  Aussagekraft der Befunde? Beispiele „Einmal angenommen, Sie würden im Lotto eine Million Mark gewinnen - würden Sie dann aufhören zu arbeiten oder würden Sie weiterarbeiten?“ Stellen Sie sich einmal vor, Sie wären verheiratet und hätten einen Sohn im Alter von etwa 16 Jahren, der seine Lehre abbrechen möchte, um Fußballprofi zu werden. Würden Sie ihn in diesem Wunsch unterstützen oder würden Sie ihm raten, zuerst seine Ausbildung zu Ende zu bringen?

4. Vermeide doppelte Stimuli & Verneinung Bei doppelten Stimuli sind zwei unterschiedliche Antworten möglich Beispiel: „Hören Sie gerne Musik von Chopin und Wagner?“ Verwirrend und frustrierend für Befragte Ergebnisse unbrauchbar Doppelte Verneinung Verwirrend für Befragte Beispiel: „Es ist nicht gut, wenn die Wähler nicht zur Wahl gehen.“ mit der Antwortskala 1 „trifft überhaupt nicht zu“ bis 7 „trifft voll und ganz zu“

5. Vermeide Unterstellungen & suggestive Fragen (1) Unterstellungen führen dazu, dass derjenige, der die Unterstellung nicht teilt, die Frage nicht beantworten kann Beispiel: „Hat der mangelnde Respekt der Schüler vor ihren Lehrern Ihrer Ansicht nach Einfluss auf die tägliche Unterrichtsgestaltung in den Schulen?“ Suggestive Fragen Suggestive Fragen legen Befragtem eine Antwort nahe  Befunde wertlos (Ausnahme: Legitimationsforschung) Beispiele „Finden Sie nicht auch, dass…?“ „Führende Wissenschaftler sind der Ansicht, …. Halten Sie diese Ansicht für richtig, oder halten Sie diese Ansicht für falsch?“

5. Vermeide Unterstellungen & suggestive Fragen (2) Es wird ja in Dresden darüber diskutiert, am Waldschlöss- chen eine Elb-Brücke für den Straßenverkehr zu bauen. Sind Sie für oder gegen den Bau der Waldschlösschenbrücke? dafür 58% dagegen 22% weiß nicht 14% Sind Sie dafür, statt der land- schaftszerstörenden, langen Waldschlösschenbrücke mindestens zwei Dresden- typische, kürzere und kosten- günstigere Brücken mit insgesamt höherer Entlas- tungswirkung zu bauen? dafür 59% dagegen 18% weiß nicht 21% DNN-Barometer

6. Vermeide zu schwierige Fragen Vermeiden von Fragen, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht verfügen Verfügt die anzusprechende Zielgruppe über Informationen, die zur Beantwortung der Frage ausreichend sein könnten? Frustrationseffekt, evtl. Fragebogenabbruch Beispiel „Sind in Ihrer Gemeinde bereits Maßnahmen zur Umsetzung der lokalen Agenda 21 getroffen worden?“

7. Verwende eindeutige Zeitbezüge Fragen mit eindeutigen zeitlichen Bezug verwenden Bei Sachverhalten oder Meinungen, die sich auf bestimmte Zeiträume beziehen, müssen diese Zeiträume definiert werden Schlecht „In der letzten Zeit ...“ „Früher“ „In naher Zukunft ...“ Gut „Seit dem ...“ „In den letzten 12 Monaten ...“

8. Verwende erschöpfende & überschneidungsfreie Antwortkategorien Antwortkategorien müssen vom Befragten zweifelsfrei zugeordnet werden können, daher dürfen Überschneidungen nicht möglich sein Beispiel: Einkommen 0-500 €, 500-1000 €; 1000-2000 € usw. Erschöpfende Antwortkategorien Abdeckung alle möglichen Antworten durch Antwortvorgaben Beispiel: „Was ist Ihr Lieblingssender?“ Antwortvorgaben ARD, ZDF, Arte, 3Sat Besser: „Nun folgt eine Liste ausgewählter Fernsehsender. Welchen davon mögen Sie am liebsten?“

9. Achte auf den Kontext Kontext der Frage darf sich nicht auf andere Fragen auswirken schwer zu kontrollieren Erfahrungen durch Pretest oder im ungünstigsten Falle bei der Datenauswertung Beispiel Frage: „Alles in allem: Was halten Sie ganz allgemein von der CDU?“ - Antwortskala von 1 = „überhaupt nichts“ bis 11 = „sehr viel“ Vorfrage 1: „Wissen Sie zufällig, welches Amt Richard von Weizsäcker ausübt, das ihn außerhalb des Parteiengeschehens stellt?“ – Mittelwert 3,4 Vorfrage 2: kein politischer Inhalt – Mittelwert 5,2 Vorfrage 3: „Wissen Sie zufällig, welcher Partei Richard von Weizsäcker seit mehr als 20 Jahren angehört?“ – Mittelwert 6,5

10. Definiere unklare Begriffe Unklare & ungebräuchliche Begriffe vermeiden Bei Bedarf definieren Problem: Forscher verfügt meist über ausgeprägten Wissenshintergrund Betriebsblindheit Unnötige Überforderung der Befragten Beispiele „Mediennutzung“ „Was glauben Sie: In welchem Alter beginnt bei Männern normalerweise die Andropause?“ „Mit dem Begriff Andropause umschreibt man das Eintreten hormoneller Veränderungen beim Mann, die sich auf das Gefühls- und Sexualleben auswirken können. Vergleichbar ist dieser Prozeß der Menopause bei Frauen, also den sogenannten Wechseljahren. Was glauben Sie....“.

Die schlimmste Frage der Welt?

Die schlimmste Frage der Welt? Gallup Umfrage (1937): „Are you in favor of direct retaliatory measures against Franco‘s piracy?“ („Sind Sie für direkte Vergeltungsmaßnahmen gegen Francos Untaten?“) Antwort-Alternative nicht ausformuliert setzt Wissen voraus (Wer ist Franco?) keine Alltagssprache („retaliatory“) wertende Begriffe – Suggestivfrage („piracy“) vage (Welche Gegenmaßnahmen?)

Literaturtipps Atteslander, P. (2000). Methoden der empirischen Sozialforschung. Berlin, New York: de Gruyter. Bortz, J. & Döring, N. (1995). Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin: Springer. Brosius, H.B., Koschel, F. (2003). Methoden der empirischen Kommunikationsforschung. Opladen: Westdeutscher Verlag. Dillman, D.A. (2006). Mail and Internet Surveys: The Tailored Design Method — 2007 Update with New Internet, Visual, and Mixed-Mode Guide. New York u.a.: Wiley. Porst, R. (2000). Question Wording - Zur Formulierung von Fragebogen-Fragen. ZUMA-How-to-Reihe, Nr. 2. Online unter: http://www.gesis.org/Publikationen/Berichte/ZUMA_How_to/. Schnell, R., Hill, P. & Esser, E. (1992). Methoden der empirischen Sozialforschung. München: Oldenbourg. ZUMA – Zentrum für Umfragen, Methoden und Analysen: http://www.gesis.org/ZUMA/index.htm.