Philosophische Fakultät – Institut für Kommunikationswissenschaft

Slides:



Advertisements
Ähnliche Präsentationen
EINFÜHRUNG IN DIE METHODEN DER UMFRAGEFORSCHUNG
Advertisements

Entscheiden unter Unsicherheit: Heuristiken und Biases
Quanti Tutorium
Die Befragung.
Empirische Forschung Empirisch = eine wissenschaftliche Vorgehensweise betreffend, die nicht auf theoretischen Begründungen, sondern auf nachvollziehbaren.
Philosophische Fakultät – Institut für Kommunikationswissenschaft
Befragung (Interview)
Befragung (Interview)
„Wissenschaftliches Arbeiten“ Was soll denn das sein?
Versuch einer Definition Was ist Evaluation!?
Das Kontinuum-Modell von Fiske und Neuberg
Sozialraumanalyse (Ü) durchgeführt von: Katja Schuhknecht
Interview vs. Fragebogen
Erfahrungen der Profil 21- Schulen (nach 3 Jahren QmbS) Abfrage am Reflexionsworkshop
Erstellung von Fragebogen für die interne Evaluation
Profil statt Preiskampf Umsatzmotor Verkaufsgespräch
Diplomarbeit | Dlesk Peter | Juni 2008
Bouquet der Freundschaft
User-Centred Design Kosten und Gewinne des nutzerorientierten Gestaltungprozesses Irene Escudé Capdevila März 2012.
Theorien, Methoden, Modelle und Praxis
Da ist was dran ! Michael war so eine Art Typ,
Quantitative Beobachtungsmethoden
© Wortstellung im Deutschen Norbert Fries.
Ergebnisse und Wirkungen der Politik: Ein Überblick
Die Struktur von Untersuchungen
Theorie der Stichprobe
Erhebungsverfahren: Der verbale Zugang, das Gespräch, spielt in der qualitativen Forschung eine besondere Rolle. Aus Beobachtungen lassen sich subjektive.
Fragebogengestaltung
Elaboration Likelihood Model – ELM
Forschungsabend - Reihe
Liebe Mitarbeiterin, lieber Mitarbeiter,
Bildungswissenschaftliches Arbeiten in Theorie und Praxis
CALPER Publications From Handouts to Pedagogical Materials.
Bereit ???? Nimm dir 10 Minuten Zeit. Ich versuche es dir zu erklären.
Gibt es einen Zusammenhang zwischen Mitarbeiter-Zufriedenheit und Mitarbeiter-Leistung? Was wir alle aus der Erfahrung wissen, ist schwierig wissenschaftlich.
Ein kleiner Text, der zu denken gibt - das dauert nur 2 Minuten!
Gehörlose & Hörende Teil 1
Einfach so zum Lesen und Nachdenken
Projekt: Schüler verbessern ihren Unterricht
Management, Führung & Kommunikation
Thema Name des Vortragenden Ort, Datum
Da ist was dran! „Wenn es mir besser gehen würde,
Statistik – Regression - Korrelation
Der formelle Imperativ – the Imperative
Internetbasierte Fragebogenuntersuchungen und Surveys Christine Surer
Forschungsdesign Forschungsziel Methode Sample Timing
CATI-Übung 3. Begleitveranstaltung – WS 09/10 PHILOSOPHISCHE FAKULTÄT | INSTITUT FÜR SOZIOLOGIE | METHODEN DER EMPIRISCHEN SOZIALFORSCHUNG KATRIN HEUER.
Im letzten Monat hat die UNO eine weltweite Umfrage durchgeführt.
Grammatikalische Begriffe im Unterricht
Im letzten Monat hat die UNO eine weltweite Umfrage durchgeführt.
und du hast wieder mal nichts anderes zu tun, als am PC zu sitzen
Empirische Sozialforschung am Beispiel der Limburger Nordstadt
Die Fragen Wörter Wer? Was? Wann?.
Gegenstand der Psychologie
E r f a h r u n g e n.
Methoden der Sozialwissenschaften
Examen IB Geschichte.
Soziale Identität und Stress
Proseminar aus Sozialpsychologie
Theoretischen und Empirischen Vertiefung im Fach Sozialpsychologie!
Einstellungsforschung mittels Umfragen: Reliabilität der in der Umfrageforschung üblicherweise eingesetzten Instrumente Siegfried Schumann.
HEURISTIKEN.
Vorlesung Pädagogische Psychologie - Renkl 1 Lernziele Vorlesungs“ergänzung“ am I. Glogger Konkrete Studie kennenlernen Ausblick: In welche.
Kommunikation mit Patienten Rothenburg ob der Tauber 19. November 2004.
Die klassischen Methoden der historisch-vergleichenden Forschung Universität Zürich Soziologisches Institut Seminar: Methoden des internationalen Vergleichs.
German “ da - compounds ” Provided by deutschdrang. com for individual and classroom use only. May not be reproduced for any other purposes.
Peter Kaufmann Stud Sek I 06 FHNW Aarau, Posterdesign © Maria Spychiger Jasmin KlauserStud Sek I 06 FHNW Aarau,
Identifying the effects of gendered language on economic behavior
Inhalt Schriftliche Befragungen Internetgestützte Befragungen
 Präsentation transkript:

Philosophische Fakultät – Institut für Kommunikationswissenschaft Prof. Donsbach Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung Methoden der empirischen Sozialforschung II Sommersemester 2010

Gastvortrag Dr. Stipp

Ablauf Sommersemester 2010 4. Komplex Durchführung von Befragungen 16 13.04.10 Hagen Inhaltsanalysen I 17 20.04.10 Inhaltsanalysen II 18 27.04.10 Donsbach Einführung in die standardisierte Befragung 19 04.05.10 Fragebogenkonstruktion: von der Kunstlehre zur Wissenschaft 20 11.05.10 Spezielle Verfahrensformen bei persönlichen, telefonischen und schriftlichen Umfragen 21 18.05.10 Neuere Formen der quantitativen Befragung 22 01.06.10 Gastvorlesung (Thema ist noch offen)

Prof. Dr. Wolfgang Donsbach Institut für Kommunikationswissenschaft Vorlesung 19 Fragebogenkonstruktion: Von der Kunstlehre zur Wissenschaft Prof. Dr. Wolfgang Donsbach Institut für Kommunikationswissenschaft

The Art of Asking Questions (Payne 1951) Payne, S. L. (1951). The art of asking questions. Princeton: University Press. The Art of Asking Questions (Payne 1951) Tourangeau, R. (2003). Cognitive aspects of survey measurement and mismeasurement. International Journal of Public Opinion Research, 15 (1),3-7. Tourangeau, R., Rips, L. J. und Rasinski, K. (2000). The psychology of survey response. Cambridge: University Press. Scientific Paradigm for Surveys (Tourangeau 2003)

Gliederung Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

Gliederung Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

Instrumentelle Fehler Fehlerarten Unvermeidbare Fehler Vermeidbare Fehler Instrumentelle Fehler Stichprobenfehler Zeit-Fehler Fehlende Daten Meinungsklima-Fehler

Instrumentelle Fehler Fehlerarten Unvermeidbare Fehler Vermeidbare Fehler Instrumentelle Fehler Handwerk Sorgfalt Klienten

Instrumentelle Fehler Fehlerarten Unvermeidbare Fehler Vermeidbare Fehler Instrumentelle Fehler Manipulationen bei Sample Fragebogen Auswertung Präsentation

Gliederung Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

Fragebogen und Frageformen Definition: „Ein Fragebogen ist eine mehr oder weniger standardisierte Zusammenstellung von Fragen, die Personen zur Beantwortung vorgelegt werden mit dem Ziel, deren Antworten zur Überprüfung der den Fragen zugrunde liegenden theoretischen Konzepte und Zusammenhänge zu verwenden. Der Fragebogen ist das Verbindungsstück zwischen Theorie und Analyse.“ (Porst, 1998, S.21)

Grundprinzip: Nicht der Interviewer – der Fragebogen muss schlau sein“ Noelle-Neumann/Petersen 2005, 102

Frageformen

Meinungen/Einstellungen Ist die deutsche Wiedervereinigung für Sie eher Anlass zur Freude oder zur Sorge? Anlass zur Freude 58% Anlass zur Sorge 10% Teils / Teils 30% Weiß nicht 3% (DNN-Barometer September 2000, n= 514 Befragte)

Meinungen/Einstellungen „Eine Bürgerinitiative will ja einen Tunnel statt der geplanten Brücke. Der Tunnel hätte den Vorteil, dass wahrscheinlich der Titel Weltkulturerbe erhalten würde. Sein Nachteil wäre wahrscheinlich eine Bauverzögerung und höhere jährliche Betriebskosten. Würden Sie sich bei dieser Alternative für einen Tunnel oder für die im Bau befindliche Brücke entscheiden?“ Feb 2008 Mai 2008 Für Tunnel 34,1 32,6 Für Brücke 53,3 57,1 Weder noch 7,4 5 Weiß nicht / unentschieden 4,2 5,3 DNN-Barometer, Bevölkerung Dresdens ab 18 Jahre; n = 515 (Feb), 479 (Mai)

Überzeugungen/Werte (IfD) Was für eine Gesellschaft finden Sie eigentlich besser: Eine Gesellschaft, in der der Staat hauptsächlich für seine Bürger verantwortlich ist, oder eine Gesellschaft, in der die einzelnen Bürger so viel wie möglich selbst für sich zu lösen versuchen?

„Und sind Sie auch wählen gegangen?“ Ja 77% Nein 22% Anderes 1% Wissen/Verhalten „Im Juni sind ja Oberbürgermeisterwahlen. Waren Sie bei den letzten OB-Wahlen wahlberechtigt?“ Ja 83% Nein 17% „Und sind Sie auch wählen gegangen?“ Ja 77% Nein 22% Anderes 1% Wahlbeteiligung 2001: 48,1% (Erster Wahlgang) DNN-Barometer, Mai 2008, n= 1044

Eigenschaften Haben Sie selbst Schröder in der letzten Zeit im Fernsehen gesehen? Ja 78 % Nein 22 % Filter Frage 7 Und wie wirkte Schröder da auf Sie. Ich lese Ihnen jetzt einige Eigenschaften vor. Bitte sagen Sie mir immer ob Sie dieser voll und ganz, überwiegend etwas oder gar nicht zustimmen. Stimme zu Voll u. ganz überwiegend etwas gar nicht weiß nicht Warmherzig Kompetent Gewandt Sympathisch Unsicher Vertrauenswürdig Energisch Seriös Gelassen Umgänglich

Pufferfragen Ziel: Vermeidung von Ausstrahlungs- und Kontexteffekten Ausstrahlungseffekte = Nachdenken über eine Frage beeinflusst Antwort auf nachfolgende Frage Beispiel: Frage zu Arbeitslosigkeit gefolgt von Frage zu Performanz des Kanzlers Puffer: Andere Themen dazwischen Interviewer: „Ich habe Ihren Fragebogen sortiert“

Eisbrecherfrage Warum? (Trend Dezember seit 1995) Seit Ende November gibt es ja wieder den Striezelmarkt in Dresden. Finden Sie eigentlich, dass der Striezelmarkt noch immer eine Attraktion Dresdens ist oder glauben Sie das eher nicht? (N= 512 Befragte) Immer noch Attraktion 83 % Eher nicht 13 % Weiß nicht 4 % (DNN-Barometer Dezember 2004, n= 504 Befragte) Jetzt im Sommer ist ja wieder Biergartensaison und man sitzt gerne draußen, um etwas zu essen oder zu trinken. Waren Sie in diesem Jahr schon in einem Biergarten? Ja 47 % Nein 53 % (DNN-Barometer Juli 2002, n= 514 Befragte) Warum?

Filterfragen Kennen Sie eigentlich schon Politiker, die in einem der Dresdner Wahlkreise zur nächsten Bundestags-wahl als Direktkandidaten antreten? [ ja/nein ] a a ungestützte Bekanntheit Und wen kennen Sie da? [offen mit Direktverschl.] gestützte Bekanntheit Und haben Sie schon mal von ... gehört? [ ja/nein ]

Offene Fragen Vorteile Befragte können sprechen, wie sie es gewöhnt sind Sachverhalte werden angesprochen, die man vielleicht bei einer geschlossenen Befragung vergessen hat Nachteile Misst eher Verbalisierungsfähigkeit eines Befragten als Einstellungen zum Thema Misst eher Antwortbereitschaft Hoher Aufwand bei der Vercodung bei der Datenaufbereitung Sehr heterogene Antwortmuster Wichtig: Geschlossene Fragen setzen voraus, dass man die möglichen Antwortalternativen kennt

Vorteile Halboffene Fragen oder Hybridfragen mittels zusätzlicher Kategorie kann festgestellt werden, ob die Vorgaben der geschlossenen Frage allumfassend waren oder nicht wird verwandt, wenn Antwortvorgaben gut abgeschätzt aber nicht definitiv sicher erfasst werden können Nachteile Vercodungsaufwand der offenen Frage Aufweichung der Standardisierung des Interviews

Weitere Unterscheidungen für Fragen Dichotom Polytom Mit optischer Präsentation Ohne optische Präsentation Listen Kartenspiele Bildblätter Zeichnungen Animationen (Web) Beispiele (Folien)

Sonderform: Split-Ballot „Split-ballot“ = Teilen der Stichprobe Nach Zufallsprinzip, z. B. jedes zweite Interview anders Gründe: Platz- bzw. Zeitsparen (Aufteilung von Fragen auf halbe oder Drittel-Stichproben Rotation von Stimulus-Abfolgen (Vermeidung von Primacy-/Recency-Effekte) Experiment zur Wirkung von Frageformen oder anderen Stimuli (z. B. Kontexteffekte) – Beispiele folgen Beispiel: DNN-Barometer

Sonderform: Split-Ballot DNN-Barometer Mai 2006 (18) Und sind Sie für oder gegen den Bau der Waldschlösschenbrücke? Dafür 59 % Dagegen 31 % Unentschieden 10 % Split A Split B

Gliederung Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

(vgl. Petersen 2002) 63

Gliederung Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

Thematische Kontexteffekte Stimmungen als Kontexte Skalen-Verwendung Einflüsse auf das Antwortverhalten Thematische Kontexteffekte Stimmungen als Kontexte Skalen-Verwendung Reihenfolge-Effekte Interviewer-Effekte Anwesenheit anderer Personen

Thematische Kontexteffekte

Government responsibility Economic individualism Target Issue Context Set One Context Set Two Persian Gulf Lebanon Iran Rights of accused Fear of crime Civil liberties Welfare Government responsibility Economic individualism Abortion Traditional values Rape Defense spending Arms control Soviet threat Nicaragua Vietnam Cuba Tourangeau, Roger et al. (1989): Carry-over effects in attitude surveys. POQ, 53, 495-524

Approve U.S. policy in Persian Gulf Lebanon 46,6 Iran 54,2 Context Approve U.S. policy in Persian Gulf Lebanon 46,6 Iran 54,2 Neutral 42,6 Context Approve Court Decision Legalizing Abortion Traditional values 55,0 Rape 58,4 Neutral 51,7 Tourangeau, Roger et al. (1989): Carry-over effects in attitude surveys. POQ, 53, 495-524

Stimmungen als Kontexte

Stimmungen als Kontexte Experimente: Abhängigkeit der Urteile über generelles Glücklichsein/ Zufriedenheit mit Leben von Stimmung zum Zeitpunkt des Interviews Experiment 1: Induzierung von Stimmung in Exp1 durch vorangegangene Fragen nach fröhlichen und traurigen Ereignissen im eigenen Leben Signifikante Unterschiede Experiment 2: Wetter (Sonne/Regenwetter) zum Zeitpunkt des Interviews Zusätzlich varriiert: Bedeutung des Wetters (einmal gar nicht erwähnt, einmal beiläufig durch Interviewer ("By the way, how is the weather down there?"), einmal als Hauptanliegen der Umfrage deklariert ("We are intersted in how the weather affects persons moods") Schwarz, Norbert & Gerald L. Clore (1983): Mood, Misattribution, and Judgments of Well-being: Informative and Directive Functions of Affective States. JP&SPsych 45, 513-523

Erklärung Traditionelle Vorstellung: Befragte haben relativ feste Einstellungen, die im Interview abgerufen werden, wahrscheinlich falsch Stattdessen: Accessibility-Hypothese = Befragte generieren Antworten auf Basis verfügbarer Informationen und Gefühle im Moment der Befragung Kein systematischer Weg, sondern „Sampling-Prozess“, bei dem Befragte eine schnelle Auswahl aus ihren vorhandenen Einstellungen treffen In diesen Situationen „Oversampling“ der aktivierten Einstellungen Kontexte aktivieren solche Einstellungen: je näher dran am Thema, desto stärker ihr Einfluss

Skalen-Verwendung

Reihenfolge-Effekte

Experiment 1

“…the larger the proportion of time respondents spent looking at the top half of the options, the more likely they were to choose an option from that part.”

Interviewer-Effekte

Einfluss des Interviewers 2 Einflussquellen: Erfahrung, Art der Schulung demografische Merkmale (Alter, Geschlecht, Hautfarbe) Interviewer müssen keine Experten auf dem Gebiet sein Art der Interviewer-Schulung: Soziale Umgangsformen Hinweis auf Einhalten der Frageformulierung Wie viel darf bei Unverständnis erläutert werden? Umgang mit „schwierigen“ Interviewpartnern

Catania, Joseph A./Binson, Diane/ Chanchola, Jesse (1996): Effects of Interviewer Gender, Interviewer Choice, and Item Wording on Responses to Questions Concerning Sexual Behavior. Public Opinion Quarterly, vol 60, 345-375

Anwesenheit anderer Personen

Fragebogenlänge

EFFECTS OF QUESTIONNAIRE LENGTH ON PARTICIPATION AND INDICATORS OF RESPONSE QUALITY IN A WEB SURVEY MIRTA GALESIC MICHAEL BOSNJAK Public Opinion Quarterly, Vol. 73, No. 2, Summer 2009, pp. 349–360 This paper investigates how expected and actual questionnaire length affects cooperation rates and a variety of indicators of data quality in web surveys. We hypothesized that the expected length of a web-based questionnaire is negatively related to the initial willingness to participate. Moreover, the serial position of questions was predicted to influence four indicators of data quality. We hypothesized that questions asked later in a web-based questionnaire will, compared to those asked earlier, be associated with (a) shorter response times, (b) higher item-nonresponse rates, (c) shorter answers to open-ended questions, and (d) less variability to items arranged in grids. To test these assumptions, we manipulated the stated length (10, 20, and 30 minutes) and the position of questions in an online questionnaire consisting of randomly ordered blocks of thematically related questions. As expected, the longer the stated length, the fewer respondents started and completed the questionnaire. In addition, answers to questions positioned later in the questionnaire were faster, shorter, and more uniform than answers to questions positioned near the beginning.

Gliederung Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

Temporäre Determinanten (Kontexteffekte) Permanente Determinanten

ELM angewendet auf Umfrageforschung

Beispiel: Heuristiken bei Anwendung von Skalen

3 Experimente deutsches Sample, Erfolg im eigenen Leben, 11 Punkte-Skala Endpunkte: überhaupt nicht erfolgreich - sehr erfolgreich Version A: 0 –10 Version B: -5 - +5 Ergebnis: Version A: 34% gaben Werte zwischen 0 und 5. Version B: 13 %

„We conclude from the reported findings that respondents may use the numeric values provided on a rating scale to disambiguate the meaning of scale labels.“ bei 0 bis 10: legt nahe, dass Forscher Anwesenheit oder Abwesenheit von bestimmten Eigenschaften wissen will (in diesem Fall Erfolg oder Glück) bei -5 bis +5 mit Nullpunkt in der Mitte: legt nahe, dass Abwesenheit der Eigenschaft mit Null korrespondiert, während negative Punkte Anwesenheit seines Gegenteils anzeigen. Generell bei Minuspunkten: legen nahe, dass Forscher ein bipolares Konzept der Dimension unterstellt

Gliederung Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

Prüfer, Peter, Rexroth, Margrit (1996): Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten, Nr. 39, S. 95-115

Prüfer, Peter, Rexroth, Margrit (1996): Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten, Nr. 39, S. 95-115

Think Aloud-Test zentrale kognitive Technik Befragter aufgefordert, „laut zu denken“ und dabei sämtliche Gedankengänge, die zur Antwort führen bzw. führten zu formulieren. Ziel: Hinweise darauf, wie Frage oder einzelne Begriffe verstanden wurden "verbal protocols"

Was ist das beste Verfahren? Oksenberg/ Cannell/Kalton (1991) und Presser/Blair (1994): Vergleiche Übereinstimmendes Fazit: keine Methode, die in allen Problembereichen am besten ist Probleme oft erkennbar, aber nicht deren Ursache Kognitive Verfahren wie Probes und Think-Aloud-Verfahren: liefern die meisten Verständnisprobleme, aber z.B. keine Interviewerprobleme Empfehlung: Mehrere Verfahren einsetzen Fowler (1995): Einsatz von Focus Groups, kognitiven Laborinterviews und einen Feld-Pretest mit Auswertung der Antwortverteilungen Ressourcen?

Gliederung Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

Fowler, F. J. Jr. (2001): Why it is so easy to write bad questions Fowler, F. J. Jr. (2001): Why it is so easy to write bad questions. ZUMA-Nachrichten, Nr. 48, S. 49 – 66.

Interpersonal standards Psychometric standards Usability Analytische Ziele und Auskunftsfähig-keiten der Respondenten Content standards Cognitive standards Interpersonal standards Psychometric standards Usability Multi-mode capability Multi-language capability Cost effective use of survey time Kognitive Fähigkeiten des Resp. berücksichtigen Soziale Situation des Interviews berücksichtigen Validität, Reliabilität der Messungen Nutzerfreundlichkeit des Instruments Verwendbarkeit in allen Modi Verwendbarkeit in allen Sprachen Kostenbewusster Einsatz der Ressourcen von Forscher und Befragtem

Probleme internationaler Umfragen Im letzten Monat hat die UNO eine weltweite Umfrage durchgeführt. Die Frage war: "Teilen Sie uns bitte ihre ehrliche Meinung zur Lösung der Nahrungs-Knappheit im Rest der Welt mit." Die Umfrage stellte sich, nicht unerwartet, als Riesenflop heraus: In Afrika wussten die Teilnehmer nicht was "Nahrung" ist. Osteuropa wusste nicht, was "ehrlich" heißt. Westeuropa kannte das Wort "Knappheit" nicht. Die Chinesen wussten nicht, was "Meinung" ist. Der Nahe Osten fragte nach, was denn "Lösung" bedeute. Südamerika kannte die Bedeutung von "bitte" nicht. Und in den USA wusste niemand, was "der Rest der Welt" ist!

10 Gebote nach Porst (2000) Du sollst... 1. ...einfache, unzweideutige Begriffe verwenden, die von allen Befragten in gleicher Weise verstanden werden! 2. ...lange und komplexe Fragen vermeiden! 3. ...hypothetische Fragen vermeiden! 4. ...doppelte Stimuli und Verneinungen vermeiden! 5. ...Unterstellungen und suggestive Fragen vermeiden! 6. ...Fragen vermeiden, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht verfügen! 7. ...Fragen mit eindeutigem zeitlichen Bezug verwenden! 8. ...Antwortkategorien verwenden, die erschöpfend und disjunkt (überschneidungsfrei) sind! 9. ...sicherstellen, dass der Kontext einer Frage sich nicht auf deren Beantwortung auswirkt! 10. ...unklare Begriffe definieren!

Der Weg zu einem guten Fragebogen (DFG-Enquete) Zusammenstellung von Informationen zum Untersuchungsthema Nutzung von Ergebnissen aus Daten- und Fragearchiven Nutzung von Ergebnissen aus systematischer Grundlagenforschung (z.B. split-ballot-Experimente) Einbettung einzelner Fragen in ein System aussagekräftiger Indikatoren Prüfen der Zuverlässigkeit der Antworten mittels Kontrollfragen Fragebogen im Team ausarbeiten (verschiedene Sichtweisen) Intensives Pretesting Dokumentation der Ergebnisse bei der Fragebogenentwicklung und Einbettung neu gewonnener Ergebnisse in Trendreihen (Methodenforschung)   Quelle: Max Kaase (Hrsg.): Deutsche Forschungsgemeinschaft. Qualitätskriterien der Umfrageforschung. S. 24

Why is it easy to ask bad questions? Das existierende Methodenwissen wird nicht angewendet Die Regeln können im Konflikt zueinander stehen: machen Fragen in einer Hinsicht besser, in einer anderen aber schlechter Die angewendeten Testverfahren sind nicht immer aussagekräftig Es besteht ein Hang in der Wissenschaft, auf Kosten der Qualität die Vergleichbarkeit zu wahren. (Fowler 2001, S. 54)

Gliederung Alltagsnähe als generelles Problem Fehlerarten der Demoskopie Fragebogen und Frageformen Fragebogen ein sensibles Messinstrument Einflüsse auf das Antwortverhalten „Kognitive“ Fragebogengestaltung Verfahren der Evaluation von Fragebogen und Fragen Regelwerke Literatur

Literatur Abschnitte aus allgemeiner Methoden-Literatur Atteslander, P. (2000), Methoden der empirischen Sozialforschung, Berlin/New York: de Gruyter. Bortz, J. & Döring, N. (1995), Forschungsmethoden und Evaluation für Sozialwissenschaftler: Berlin: Springer. Brosius, H.B., Koschel, F. (2003). Methoden der empirischen Kommunikationsforschung. Opladen: Westdeutscher Verlag. Diekmann, A. (1995), Empirische Sozialforschung. Reinbek: Rowohlt. Friedrichs, J. (1982), Methoden der empirischen Sozialforschung, Opladen: Westdeutscher Verlag. Schnell, R., Hill, P. & Esser, E. (1992), Methoden der empirischen Sozialforschung, München: Oldenbourg.

Einführung in die standardisierte Befragung Groves, R. (1987). Research on survey data quality. Public Opinion Quarterly 52 (4). 156-172. Kaase, M. (1999). Qualitätskriterien der Umfrageforschung. Berlin: Akademie-Verlag. Wüst, A.M. (1998). Die Allgemeine Bevölkerungsumfrage der Sozialwissenschaften als Telefonumfrage. ZUMA-Arbeitsbericht 98(04). Price, V. & Neijens, P. (1997). Opinion quality in public opinion research. International Journal of Public Opinion Research 9, 336-360. Noelle-Neumann, E., Petersen, T. (2000). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin.: Springer. Koch, W. (1998). Wenn "mehr" nicht gleichbedeutend mit "besser" ist: Ausschöpfungsquoten und Stichprobenverzerrungen in allgemeinen Bevölkerungsumfragen. ZUMA-Nachrichten, 22(42). Porst, R., Ranft, S.& Ruoff, B. (1998). Strategien und Maßnahmen zur Erhöhung der Ausschöpfungsquoten bei sozialwissenschaftlichen Umfragen. Ein Literaturbericht. ZUMA-Arbeitsbericht 98(07). Rasinski, K.A. (2008). Designing Reliable and Valid Questionnaires. In: W. Donsbach M.W. Traugott (eds.): The SAGE Handbook of Public Opinion Research. Los Angeles u.a.: Sage, S. 361-373.