Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung: Einführung in die Methoden der empirischen Sozialforschung II Fragebogenkonstruktion:

Ähnliche Präsentationen


Präsentation zum Thema: "Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung: Einführung in die Methoden der empirischen Sozialforschung II Fragebogenkonstruktion:"—  Präsentation transkript:

1 Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung: Einführung in die Methoden der empirischen Sozialforschung II Fragebogenkonstruktion: von der Kunstlehre zur Wissenschaft PD Dr. Wolfgang Schweiger

2 2 Von der Kunstlehre zur Wissenschaft The Art of Asking Questions Scientific Paradigm for Surveys Tourangeau, R. (2003). Cognitive aspects of survey measurement and mismeasurement. International Journal of Public Opinion Research, 15, 3-7. Tourangeau, R.; Rips, L. J.;Rasinski, K. (2000). The psychology of survey response. Cambridge: University Press. Payne, S. L. (1951). The art of asking questions. Princeton: University Press.

3 3 Heutiger Ablauf Effekte der Frageformulierung & Skalengestaltung Kontexteffekte Evaluation von Fragen & Fragebogen Regelwerke & Kuchbücher Die schlimmste Frage der Welt?

4 4 Der Fragebogen ist ein sensibler Stimulus Jedes Messinstrument ist reaktiv Messen = Stimulus Ergebnisse einer Befragung Tatsächliche Meinungen usw. der Befragten Störeinflüsse

5 5 Effekte der Frageformulierung & Skalengestaltung

6 6 Glauben Sie an die große Liebe? Ja52% Nein29% Ungewiss19% Frageformulierungen - Split-Ballot-Experimente (1) Glauben Sie eigentlich an die große Liebe? Ja57% Nein26% Ungewiss17% Noelle-Neumann, E., Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 195.

7 7 Frage an Hausfrauen: Würden Sie eigentlich gerne berufs- tätig sein, wenn es möglich wäre? möchte berufstätig sein52% nein, mache lieber HH32% unentschieden16% Frageformulierungen - Split-Ballot-Experimente (2) Frage an Hausfrauen: Würden Sie eigentlich gerne berufs- tätig sein, oder machen Sie am liebsten nur Ihren Haushalt? möchte berufstätig sein38% nein, mache lieber HH46% unentschieden16% Noelle-Neumann, E., Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 195; Erhebungszeitpunkt: 1973.

8 8 Finden Sie, die Vereinigten Staaten sollten öffentliche Äußerungen gegen die Demokratie verbieten? ja, verbieten21% nein79% Frageformulierungen - Split-Ballot-Experimente (3) Finden Sie, die Vereinigten Staaten sollten öffentliche Äußerungen gegen die Demokratie nicht erlauben? nicht erlauben48% erlauben52% Noelle-Neumann, E., Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 197.

9 9 Do you favor or oppose the proposal for a constitutional amendment to require a balanced Federal Budget by the year 2003 and every year after that? favor70% oppose18% undecided12% Frageformulierungen – Mitliefern von Argumenten Do you favor or oppose the proposal for a constitutional amendment to require a balanced budget that cuts Government spending on Medicare by 20% over the next 7 years? favor31% oppose58% dont know11%

10 10 Skalengestaltung – Zahlen (1) Schwarz, N, Grayson, C.E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: , S. 179; n=70 Undergraduates.

11 11 Skalengestaltung – Zahlen (2) Schwarz, N., Knäuper, B., Hippler, H.-J., Noelle-Neumann, E., Clark, L (1991). Rating Scales. Numeric Values may Change the Meaning of Scale Labels. Public Opinion Quarterly, 55, , S. 573

12 12 Skalengestaltung – Design (1) Schwarz, N., Grayson, C.E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: , S. 179; n=97 Undergraduates.

13 13 Skalengestaltung – Design (2) Schwarz, N., Grayson, C.E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: ; n=97 Undergraduates.

14 14 Kontexteffekte

15 15 Das Interview als soziale Situation Stabile Persönlichkeit & kognitive Struktur Interviewer Aktuelle Kognitionen & Affekte Befragte/rInterview Fragebogen Hintergründe Stimulus Rekonstruktion von Verhalten, Wissen, Emotionen & Einstellungen Befunde

16 16 Beantwortung von Testfragen als Informationsverarbeitung Verstehen der Frage Abruf relevanter Informationen Urteilsbildung Antwort- formulierung

17 17 Kontexteffekte im Überblick Befragter Stimmungen Themeninteresse & -kompetenz Soziale Erwünschtheit & Tabus Fragebogen Thematische Kontexteffekte Reihenfolge-Effekte Konsistenz- & Kontrast-Effekte Interviewer Interviewer-Effekte Anwesenheit anderer Personen Hintergründe Sponsorship-Effekt Incentives

18 18 Stimmungen als Kontexte Experiment: Auswirkung von Stimmungen Stimmungsinduktion durch vorangegangene Fragen nach positiven oder negativen Ereignissen in letzter Zeit (feel good / feel bad) Signifikante Unterschiede bei Fragen zu … o Glücklichsein (happiness) o Lebenszufriedenheit Erklärung Verfügbarkeitsheuristik (Tversky & Kahneman): Befragte generieren Antworten auf Basis verfügbarer Informationen und Gefühle im Moment der Befragung Schwarz, N.; Gerald, L. C. (1983). Mood, Misattribution, and Judgments of Well-being: Informative and Directive Functions of Affective States. Journal of Personality and Social Psychology, 45,

19 19 Thematische Kontexteffekte Tourangeau, R. et al. (1989). Carry-over effects in attitude surveys. Public Opinion Quaterly, 53,

20 20 Reihenfolge-Effekte Reihenfolge-Effekte bei generellen vs. spezifischen Bewertungen Frage: Generelle Bewertung – Zufriedenheit mit Leben Frage: Spezifische Bewertung – Zufriedenheit mit Ehe Frage-Reihenfolge & Korrelationen Lebenszufriedenheit Ehezufriedenheit: r= 0,32 Ehezufriedenheit Lebenszufriedenheit: r= 0,67 Erklärung Verfügbarkeitsheuristik: Frage nach Ehe aktiviert Gefühle/Erlebnisse, die Frage nach allgemeinem Lebensglück beeinflusst Schwarz, N., Strack, F. & Mai, H.-P. (1991). Assimilation and Contrast Effects in Part-Whole Question Sequences: A Conversational Logic Analysis. Public Opinion Quarterly, 55 (1): 3-23.

21 21 Interviewer-Effekte im Überblick Faktoren Demografische Merkmale (Alter, Geschlecht, Hautfarbe) Auftreten, Sympathie, usw. Erfahrung & Schulung Interviewer-Schulung Interviewer müssen keine … o thematischen Experten und o Befragungs-Experten sein Ziel: Minimale Beeinflussung des Befragten o Einhalten der Frageformulierung & Antwortvorgaben o Minimale Erläuterungen bei Unverständnis Umgang mit schwierigen Interviewpartnern

22 22 Interviewer-Effekte (1) Interviewer-Effekte bei Wahlstudien Studie zum Interviewer-Einfluss bei Wahlprognose zur Gouverneurs- Wahl in Virginia Vorhersage in Befragung: haushoher Sieg für schwarzen Kandidaten (Wilder) gegenüber weißem Kandidaten (Coleman) Wahlausgang: nur knapper Vorsprung für Schwarzen Ursache? Finkel, S.E., Guterbock, T.M & Borg, M.J. (1991). Race of Interviewer Effects in a Preelection Poll: Virginia Public Opinion Quaterly, 55,

23 23 Interviewer-Effekte (2) Finkel, S.E., Guterbock, T.M & Borg, M.J. (1991). Race of Interviewer Effects in a Preelection Poll: Virginia Public Opinion Quaterly, 55,

24 24 Sponsorship-Effekt – Beispiel Website-Besucherbefragung Website-Bewertung im selben Fragebogen nach fünf Fragen zu unterschiedlichen Bewertungsdimensionen Mangel- haft Aus- reichend Befrie- digend Gut Sehr gut Gesamt Website- Bewertung am Frage- bogenanfang Mangelhaft Ausreichend Befriedigend Gut Sehr gut Gesamt Eigene Erhebung; n=230; MW 1 : 3,08; MW 2 : 3,24; t=2,81; p<0,01

25 25 Sensible Themen (1) Experiment zur Telefonabfrage sexuellen Verhaltens – Faktoren Auswahlmöglichkeit des Interviewers nach Geschlecht Geschlechtskonstellation Interviewer – Befragter Standardfragen vs. unterstützende Fragen; z.B. Catania, J.A., Binson, D., Canchola, J., Pollack, L.M., Hauck, W. & Coates, T.J. (1996). Effects of interviewer gender, interviewer choice, and item wording on responses to questions concerning sexual behavior. Public Opinion Quarterly, 60 (3):

26 26 Catania et al., 1996 Sensible Themen (2)

27 27 Sensible Themen (3) Catania et al., 1996

28 28 Evaluation von Fragen & Fragebogen

29 29 Evaluationsverfahren im Überblick Prüfer, P., Rexroth, M. (1996). Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten, 39, , S. 96f.

30 30 Behavior Coding

31 31 Behavior Coding Vorgehen (Video-/Audio-Aufzeichnung von Interviews) Beobachtung des (aufgezeichneten) verbalen oder nonverbalen Verhaltens von Interviewer und Befragten Grobe Codierung Fragen, bei denen bestimmte Verhaltensweisen häufig vorkommen, sind veränderungsbedürftig Beispiele Interviewer liest entgegen Anweisung Frage nicht wörtlich vor Befragter bittet um Wiederholung der Frage Befragter bittet um Erläuterung

32 32 Behavior Coding: mögliches Codesystem Prüfer & Rexroth 1996, S. 100

33 33 Think-Aloud

34 34 Think-Aloud / Methode des lauten Denkens Varianten Concurrent-Think-Aloud-Methode: Die Befragten werden aufgefordert, laut zu denken, während sie ihre Antwort formulieren. Retrospektive-Think-Aloud-Methode: Die Befragten werden aufgefordert, nach der Beantwortung der Frage zu beschreiben, wie die Antwort zustande kam. Verbale Protokolle Codierung Ziel Hinweise darauf, wie Fragen oder einzelne Begriffe verstanden werden

35 35 Response Latency

36 36 Response Latency Response Latency / Reaktionszeit als Indikator für Aufwand der Informationsverarbeitung zu einem Thema / einer Frage Lange Reaktionszeiten als Indikator für Frageprobleme Einfache & kostenlose Messung bei computerunterstützten Befragungen

37 37 Response Latency Bassili, J. & Scott, B. S. (1996). Response Latency as a Signal to Question Problems in Survey Research. Public Opinion Quarterly, 60, , S. 393.

38 38 Regelwerke & Kuchbücher

39 39 Wie befragt man richtig? Grundsätze Ein Interview soll wie ein normales Gespräch verlaufen! Antwortvorgaben müssen zu Fragen passen! Dramaturgie und Umfeld des Interviews beachten! Befragte ernst nehmen!

40 40 Porst (2000): 10 Gebote 1.Einfache, unzweideutige Begriffe verwenden, die von allen Befragten in gleicher Weise verstanden werden! 2.Lange und komplexe Fragen vermeiden! 3.Hypothetische Fragen vermeiden! 4.Doppelte Stimuli und Verneinungen vermeiden! 5.Unterstellungen und suggestive Fragen vermeiden! 6.Fragen vermeiden, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht verfügen! 7.Fragen mit eindeutigem zeitlichen Bezug verwenden! 8.Antwortkategorien verwenden, die erschöpfend und disjunkt (überschneidungsfrei) sind! 9.Sicherstellen, dass der Kontext einer Frage sich nicht auf deren Beantwortung auswirkt! 10.Unklare Begriffe definieren! Porst, R. (2000). Question Wording - Zur Formulierung von Fragebogen-Fragen. ZUMA-How-to- Reihe, Nr. 2.

41 41 1. Verwende einfache & unzweideutige Begriffe Grundvoraussetzung für standardisierte Befragungen: Frage muss von allen Befragten in gleicher Weise verstanden werden einfache, unzweideutige Fragen entwickeln! Ideal: gemäßigte, formal korrekte Umgangssprache Achtung: Einfachheit richtet sich nach dem befragten Personenkreis o Expertenbefragung vs. repräsentative Befragung Konflikt zwischen einfacher und unzweideutiger Formulierung im Zweifelsfall für eindeutige Fragen entscheiden Beispiel Wie hoch ist Ihr eigenes monatliches Nettoeinkommen? Ich meine dabei die Summe, die nach Abzug der Steuern und Sozialversicherungsbeiträge übrigbleibt. Wie viel verdienen Sie im Monat?

42 42 2. Vermeide lange & komplexe Fragen Fragen … werden schnell unverständlich können Zielperson verwirren enthalten häufig Redundanzen oder überflüssige Informationen Beispiel Wie Sie wissen, sind manche Leute politisch ziemlich aktiv, andere Leute finden dagegen oft keine Zeit oder haben kein Interesse, sich an politischen Dingen aktiv zu beteiligen. Ich lese Ihnen jetzt eine Reihe von Sachen vor, die Leute tun. Bitte sagen Sie mir jedesmal, wie oft Sie persönlich so etwas tun bzw. wie häufig das bei Ihnen vorkommt. (Liste mit den Antwortkategorien oft - manchmal - selten - niemals). Zuerst: wie oft führen Sie eine politische Diskussion? Wie häufig nehmen Sie an öffentlichen Diskussionen zu politischen Themen teil, oft, manchmal, selten oder nie?

43 43 3. Vermeide hypothetische Fragen Bei hypothetischen Fragen muss sich Befragter eventuell in unrealistische bzw. unbekannte Situationen versetzen Problem: Hat sich der Befragte mit der hypothetischen Situation schon einmal auseinandergesetzt? Wie nahe oder entfernt ist diese Situation für sie/ihn? Aussagekraft der Befunde? Beispiele Einmal angenommen, Sie würden im Lotto eine Million Mark gewinnen - würden Sie dann aufhören zu arbeiten oder würden Sie weiterarbeiten? Stellen Sie sich einmal vor, Sie wären verheiratet und hätten einen Sohn im Alter von etwa 16 Jahren, der seine Lehre abbrechen möchte, um Fußballprofi zu werden. Würden Sie ihn in diesem Wunsch unterstützen oder würden Sie ihm raten, zuerst seine Ausbildung zu Ende zu bringen?

44 44 4. Vermeide doppelte Stimuli & Verneinung Doppelte Stimuli Bei doppelten Stimuli sind zwei unterschiedliche Antworten möglich Beispiel: Hören Sie gerne Musik von Chopin und Wagner? Verwirrend und frustrierend für Befragte Ergebnisse unbrauchbar Doppelte Verneinung Verwirrend für Befragte Beispiel: Es ist nicht gut, wenn die Wähler nicht zur Wahl gehen. mit der Antwortskala 1 trifft überhaupt nicht zu bis 7 trifft voll und ganz zu

45 45 5. Vermeide Unterstellungen & suggestive Fragen (1) Unterstellungen Unterstellungen führen dazu, dass derjenige, der die Unterstellung nicht teilt, die Frage nicht beantworten kann Beispiel: Hat der mangelnde Respekt der Schüler vor ihren Lehrern Ihrer Ansicht nach Einfluss auf die tägliche Unterrichtsgestaltung in den Schulen? Suggestive Fragen Suggestive Fragen legen Befragtem eine Antwort nahe Befunde wertlos (Ausnahme: Legitimationsforschung) Beispiele o Finden Sie nicht auch, dass…? o Führende Wissenschaftler sind der Ansicht, …. Halten Sie diese Ansicht für richtig, oder halten Sie diese Ansicht für falsch?

46 46 Es wird ja in Dresden darüber diskutiert, am Waldschlöss- chen eine Elb-Brücke für den Straßenverkehr zu bauen. Sind Sie für oder gegen den Bau der Waldschlösschenbrücke? dafür 58% dagegen22% weiß nicht14% 5. Vermeide Unterstellungen & suggestive Fragen (2) Sind Sie dafür, statt der land- schaftszerstörenden, langen Waldschlösschenbrücke mindestens zwei Dresden- typische, kürzere und kosten- günstigere Brücken mit insgesamt höherer Entlas- tungswirkung zu bauen? dafür59% dagegen18% weiß nicht21% DNN-Barometer

47 47 6. Vermeide zu schwierige Fragen Vermeiden von Fragen, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht verfügen Verfügt die anzusprechende Zielgruppe über Informationen, die zur Beantwortung der Frage ausreichend sein könnten? Frustrationseffekt, evtl. Fragebogenabbruch Beispiel Sind in Ihrer Gemeinde bereits Maßnahmen zur Umsetzung der lokalen Agenda 21 getroffen worden?

48 48 7. Verwende eindeutige Zeitbezüge Fragen mit eindeutigen zeitlichen Bezug verwenden Bei Sachverhalten oder Meinungen, die sich auf bestimmte Zeiträume beziehen, müssen diese Zeiträume definiert werden Schlecht In der letzten Zeit... Früher In naher Zukunft... Gut Seit dem... In den letzten 12 Monaten...

49 49 8. Verwende erschöpfende & überschneidungsfreie Antwortkategorien Überschneidungsfreie Antwortkategorien Antwortkategorien müssen vom Befragten zweifelsfrei zugeordnet werden können, daher dürfen Überschneidungen nicht möglich sein Beispiel: Einkommen 0-500, ; usw. Erschöpfende Antwortkategorien Abdeckung alle möglichen Antworten durch Antwortvorgaben Beispiel: Was ist Ihr Lieblingssender? Antwortvorgaben ARD, ZDF, Arte, 3Sat Besser: Nun folgt eine Liste ausgewählter Fernsehsender. Welchen davon mögen Sie am liebsten?

50 50 9. Achte auf den Kontext Kontext der Frage darf sich nicht auf andere Fragen auswirken schwer zu kontrollieren Erfahrungen durch Pretest oder im ungünstigsten Falle bei der Datenauswertung Beispiel Frage: Alles in allem: Was halten Sie ganz allgemein von der CDU? - Antwortskala von 1 = überhaupt nichts bis 11 = sehr viel Vorfrage 1: Wissen Sie zufällig, welches Amt Richard von Weizsäcker ausübt, das ihn außerhalb des Parteiengeschehens stellt? – Mittelwert 3,4 Vorfrage 2: kein politischer Inhalt – Mittelwert 5,2 Vorfrage 3: Wissen Sie zufällig, welcher Partei Richard von Weizsäcker seit mehr als 20 Jahren angehört? – Mittelwert 6,5

51 Definiere unklare Begriffe Unklare & ungebräuchliche Begriffe vermeiden Bei Bedarf definieren Problem: Forscher verfügt meist über ausgeprägten Wissenshintergrund Betriebsblindheit Unnötige Überforderung der Befragten Beispiele Mediennutzung Was glauben Sie: In welchem Alter beginnt bei Männern normalerweise die Andropause? Mit dem Begriff Andropause umschreibt man das Eintreten hormoneller Veränderungen beim Mann, die sich auf das Gefühls- und Sexualleben auswirken können. Vergleichbar ist dieser Prozeß der Menopause bei Frauen, also den sogenannten Wechseljahren. Was glauben Sie.....

52 52 Die schlimmste Frage der Welt?

53 53 Die schlimmste Frage der Welt? Antwort-Alternative nicht ausformuliert setzt Wissen voraus (Wer ist Franco?) keine Alltagssprache (retaliatory) wertende Begriffe – Suggestivfrage (piracy) vage (Welche Gegenmaßnahmen?) Gallup Umfrage (1937): Are you in favor of direct retaliatory measures against Francos piracy? (Sind Sie für direkte Vergeltungsmaßnahmen gegen Francos Untaten?)

54 54

55 55

56 56 Literaturtipps Atteslander, P. (2000). Methoden der empirischen Sozialforschung. Berlin, New York: de Gruyter. Bortz, J. & Döring, N. (1995). Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin: Springer. Brosius, H.B., Koschel, F. (2003). Methoden der empirischen Kommunikationsforschung. Opladen: Westdeutscher Verlag. Dillman, D.A. (2006). Mail and Internet Surveys: The Tailored Design Method 2007 Update with New Internet, Visual, and Mixed-Mode Guide. New York u.a.: Wiley. Porst, R. (2000). Question Wording - Zur Formulierung von Fragebogen-Fragen. ZUMA-How-to-Reihe, Nr. 2. Online unter: Schnell, R., Hill, P. & Esser, E. (1992). Methoden der empirischen Sozialforschung. München: Oldenbourg. ZUMA – Zentrum für Umfragen, Methoden und Analysen:


Herunterladen ppt "Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung: Einführung in die Methoden der empirischen Sozialforschung II Fragebogenkonstruktion:"

Ähnliche Präsentationen


Google-Anzeigen