Philosophische Fakultät – Institut für Kommunikationswissenschaft Ringvorlesung: Einführung in die Methoden der empirischen Sozialforschung II Grundlagen der standardisierten Befragung PD Dr. Wolfgang Schweiger

Was ist eine Befragung? Befragung = Instrument zur systematischen Erhebung der Aussagen von Individuen über Kenntnisse, Erfahrungen, Verhaltensweisen, Einstellungen & Emotionen in der Gesamtbevölkerung oder in Teilgruppen

Anwendungsgebiete in der Kommunikationswissenschaft (1) Mediennutzungsforschung Welche Medientypen nutzen bestimmte Bevölkerungsgruppen in welchem Umfang? Medienwirkungsforschung Wie beeinflusst die Medienberichterstattung Meinung und Verhalten von Wählern? Welche politischen Themen hält die Bevölkerung für wichtig? Werbewirkungsforschung

Anwendungsgebiete in der Kommunikationswissenschaft (2) Kommunikatorforschung Journalistenbefragungen Befragungen von PR-Experten  Berufssoziologie Sonstiges Absolventenbefragungen

Ziele / Verwertungszusammenhänge (1) Deskription (Beschreibung) Beantwortung praktischer Forschungsfragen Publikumsforschung Konsumverhalten Markenimages ökonomische Relevanz Beschaffung von Daten zur Bevölkerungsstruktur Statistik: Volkszählung, Mikrozensus (1% der Bevölkerung) Demoskopie: politische Einstellungen, Wahlprognosen politisch-administrative Relevanz  Univariate Befunde – absolute Aussagen erforderlich

Ziele / Verwertungszusammenhänge (2) Überprüfung bzw. Verbesserung von Theorien und Hypothesen Agenda-Setting Kultivierung Mediengewalt & Jugendgewalt Uses-and-Gratifications wissenschaftliche, evtl. politische Relevanz  Multivariate Befunde – relative Aussagen über Zusammenhänge zwischen Variablen erforderlich

Ziele / Verwertungszusammenhänge (3) Instrumentalisierung von Befragungen Beeinflussung der Befragten: Befragung als Werbe- bzw. Marketing- Maßnahme Sammeln von Adressdaten Ethisch problematisch Pfui!

Beispiel – Missbrauch

Beispiel – Missbrauch (2)

Gliederung - Grundparameter einer Befragung Ausschöpfung & Stichprobe Wie viele Personen werden befragt und wie werden sie ggf. ausgewählt? Standardisierung des Fragenprogramms Wie einheitlich und geplant wird befragt? Untersuchungsdesign Wann und wie oft wird befragt? Frage- und Antworttypen Welche Fragen werden verwendet und welche Antworten sind möglich? Befragungsmodus Auf welche Weise wird befragt?

Ausschöpfung & Stichprobe

Ausschöpfung Vollerhebung Befragung aller Mitglieder einer Grundgesamtheit (GG) Vollerhebung selten möglich (z.B. Befragung maltesischer Journalisten)  Repräsentativität! Stichprobe Befragung eines Teil der Grundgesamtheit Teilgruppe als verkleinertes Abbild der Grundgesamtheit  Repräsentativität?

Stichproben & Repräsentativität Deskriptive Forschung Demoskopie oder kommerzielle Forschung Absolute Befunde nötig  Stichprobenqualität von zentraler Bedeutung Hypothesenprüfende Forschung Universitäre Grundlagenforschung Relative Aussagen ausreichend  Stichprobenqualität weniger wichtig  Je genauer Befunde über Grundgesamtheit sein sollen, desto wichtiger ist die Repräsentativität der Stichprobe.

Kriterien der Stichprobengröße Forschungsökonomie Tolerierter Standardfehler bzw. gewünschtes Konfidenzintervall Anzahl bzw. Größe der Teilstichproben / Subgruppen = Tiefe der Analyse Irrelevant: Größe der Grundgesamtheit Wichtiger: Qualität  Noelle-Neumann: „Gesetz der Großen Zahl“

Stichprobenqualität – ein klassisches Beispiel Zeitschrift Literary Digest 10 Mio. Fragebögen versandt Rücklauf: 2,3 Mio. Falsche Vorhersage Prognose: Landon: 55% - Roosevelt: 41% Ergebnis: Landon: 37% - Roosevelt: 61% George Gallup 3.000 persönliche Interviews Richtige Voraussage Ursachen bei Literary Digest Ausschöpfung gering (25 %) & verzerrt Ausgangsstichprobe: eigene Abonnenten und Telefon- & Autobesitzer Ärmere Bevölkerungsschichten unterrepräsentiert Squire, P. (1988): Why the 1936 literary digest poll failed. Public Opinion Quarterly, 52, 129-133.

Stichprobenverfahren im Überblick einstufig mehrstufig Zufallsstichproben Systematische Verfahren einfache Stichprobe geschichtete Stichprobe Klumpen- stichprobe Quoten- stichprobe Systematische Auswahl

Stichprobenverfahren im Überblick einstufig mehrstufig Zufallsstichproben Systematische Verfahren einfache Stichprobe geschichtete Stichprobe Klumpen- stichprobe Quoten- stichprobe Systematische Auswahl

Zufallsstichproben Einfache Stichproben Reine Zufallsauswahl: Jedes Element der Grundgesamtheit muss die gleiche und von Null verschiedene Chance haben, in die Stichprobe zu gelangen. Geschichtete Stichproben Vorsortierung nach einem Merkmal (Schicht), um über alle Schichten repräsentative Aussagen machen zu können Disproportional z.B. Ost- vs. Westdeutschland, Onliner vs. Offliner Klumpenstichproben Auswahl von örtlichen Sample Points (Klumpen), um nicht flächendeckend vorgehen zu müssen z.B. Bundesländer, Wahlkreise, Nielsengebiete

Stichprobenverfahren im Überblick einstufig mehrstufig Zufallsstichproben Systematische Verfahren einfache Stichprobe geschichtete Stichprobe Klumpen- stichprobe Quoten- stichprobe Systematische Auswahl

Systematische Verfahren – Quotenstichprobe Festlegen von Quoten bestimmter Merkmale in der Stichprobe entsprechend externen Merkmalen Externe Merkmale: Alter, Geschlecht, Bildung, Region Quellen externer Merkmale: Volkszählung, Mikrozensus Jeder Interviewer hält persönliche Quote ein Faustregel: Je mehr Merkmale einbezogen, … desto repräsentativer die Stichprobe desto komplizierter die Auswahl der Zielperson Keine gravierenden Unterschiede zwischen Zufalls- & Qoutenstichproben (ALLBUS-Studie)  Einfache Durchführung  Starke Verbreitung

Quotenstichprobe – unabhängige vs. kombinierte Quoten Beispiel: Unabhängige Quoten ohne Abitur mit Abitur Summe männlich 40% 10% 50% weiblich 100% Beispiel: Kombinierte Quoten ohne Abitur mit Abitur Summe männlich 25% 50% weiblich 100%

Systematische Auswahl Sinnvoll bei kleinen / schwer erreichbaren Grundgesamtheiten Bewusste Auswahl von Personen nach theoretischen und praktischen Erwägungen Ziele Repräsentativität im engen Sinn unmöglich Exploration: Erste Hinweise auf Mehrheitsverteilungen Varianz: Vertreter unterschiedlicher Positionen (vgl. qualitative Forschung) Beispiele Befragung von Medienwächtern (Medienpolitiker & Mitglieder in Rundfunkräten) Befragung von China-Korrespondenten

Mehrstufige Stichprobenbildung – Beispiel: ADM-Stichproben für Haustürinterviews ADM: Arbeitskreis deutscher Markt- und Sozialforschungsinstitute Dreistufiges Stichprobensystem 1. Stufe: Klumpen ca. 80.000 Wahlbezirke  39.000 Sample-Points (ADM-Mastersample) 2. Stufe: Random Walk Vorgegebene Startadressen und Wegbeschreibungen 3. Stufe: Auswahl der Zielperson im Haushalt „Schwedenschlüssel” „next/last birthday-Verfahren”

Stichproben & systematische Ausfälle Non-Response-Fehler = Diskrepanz zwischen Befragungsergebnis und tatsächlicher Verteilung (in GG) durch systematische Ausfälle Abdeckungsfehler: Noncontacts bestimmte Mitglieder der GG werden durch Stichprobenverfahren nicht abgedeckt, z.B. nur Telefonbesitzer bei Telefonumfragen keine Berufstätigen & Gehbehinderten bei Untertags-Befragung in Fußgängerzone Nicht-Befragbare (‚unable to answer‘) Personen, bei denen Befragung erschwert ist, z.B. Sprachprobleme, Akustikprobleme Verweigerer/Refusals Personen, die Befragungsteilnahme verweigern

Ausfälle bei Telefonbefragungen –Antwortraten Antwortraten bei University of Michigan’s Survey of Consumer Attitudes Curtin, R.; Presser,S.; Singer, E. (2005). Changes in Telephone Survey. Nonresponse over the Past Quarter Century. Public Opinion Quarterly 69, 87-98, S. 91.

Ausfälle bei Telefonbefragungen – Noncontacts Antwortraten bei University of Michigan’s Survey of Consumer Attitudes Curtin, R.; Presser, S.; Singer, E. (2005). Changes in Telephone Survey. Nonresponse over the Past Quarter Century. Public Opinion Quarterly 69, 87-98, S. 93.

Ausfälle bei Telefonbefragungen – Verweigerer Antwortraten bei University of Michigan’s Survey of Consumer Attitudes Curtin, R.; Presser, S.; Singer, E. (2005). Changes in Telephone Survey. Nonresponse over the Past Quarter Century. Public Opinion Quarterly 69, 87-98, S. 91.

Ausfälle im Zeitverlauf – Fazit 1979 bis 1996 Steigende Noncontacts Hauptursache: steigende Mobilität Seit 1996 Zunehmend Verweigerer Hauptursache: steigende ‘Befragungsmüdigkeit’ Hintergrund ‘Überfischung’ der Bevölkerung durch Befragungen Missbrauch von Befragungen als Marketing-Instrument Curtin, R.; Presser,S.; Singer, E. (2005). Changes in Telephone Survey. Nonresponse over the Past Quarter Century. Public Opinion Quarterly 69, 87-98.

Darstellung der Stichproben-Ausschöpfung Brutto-Stichprobe  Zufällige/qualitätsneutrale Ausfälle Systematische Ausfälle Noncontacts Nicht-Befragbare Verweigerer Netto-Stichprobe

Rücklaufkontrolle

Standardisierung von Befragungen

Standardisierung des Messinstruments Intensiv- Interview Leitfaden- Interview Standardisiertes Interview Offenheit = jeder Befragte wird individuell & situativ unterschiedlich befragt und kann das Interview selbst steuern  optimale Exploration (Entdeckung von Phänomenen) Standardisierung = alle Befragten werden mit vorher festgelegtem Messinstrument gleich befragt Fragen Antwortvorgaben Fragen-Reihenfolge Präsentation Interviewer & Situation  optimale Vergleichbarkeit

Untersuchungsdesigns

Untersuchungsdesigns im Überblick Einfache Befragung Querschnittstudie bzw. One-shot-study Wiederholte Befragung Trendbefragung: wiederholte Befragung mit unterschiedlichen Personen Panelbefragung: wiederholte Befragung derselben Personen Feldexperiment Einfache Befragung mit unterschiedlichen Fragebögen (Split-Ballot) z.B. Methodenexperimente Wiederholte Befragung mit unterschiedlichen Fragebögen

Trend- vs. Panelbefragung (1) 1. Welle 2. Welle Trendbefragung Durchschnitt Durchschnitt Panelbefragung

Trend- & Panelbefragung (2) Trendbefragung Vorteile Messung von Veränderungen auf Aggregatniveau (z.B. Parteipräferenz) einfach & preiswert Nachteile Gefahr ‚ökologischer Fehlschluss‘ Panelbefragung Vorteile: Messung … individueller Veränderungen individueller Ursachen für Veränderungen (S-O-R) Nachteile aufwändig Zuordnung erfordert eingeschränkte Anonymität der Teilnehmer Gewöhnungseffekt bei Teilnehmern (‚Reifung‘) Panelmortalität

Konstruiertes Beispiel ‚ökologischer Fehlschluss‘ (1) 1. Welle 2. Welle Trendbefragung 1. Welle: 50% CDU, 50% SPD 2. Welle: 50% CDU, 50% SPD  keine Veränderung CDU CDU CDU CDU Panelbefragung Person 1: keine Veränderung Person 2: keine Veränderung Person 3: keine Veränderung Person 4: keine Veränderung  keine Veränderung SPD SPD SPD SPD

Konstruiertes Beispiel ‚ökologischer Fehlschluss‘ (2) 1. Welle 2. Welle Trendbefragung 1. Welle: 50% CDU, 50% SPD 2. Welle: 50% CDU, 50% SPD  keine Veränderung SPD CDU CDU CDU Panelbefragung Person 1: Veränderung Person 2: keine Veränderung Person 3: Veränderung Person 4: keine Veränderung  50% Veränderung CDU SPD SPD SPD

Beispiel Panelbefragung - TV-Duell TV-Duell zur Wahl 2002 Repräsentative deutschlandweite Telefonbefragung Interviews t1: n=1.310 Befragte t2: n=550 Befragte t3: n=843 Befragte Donsbach, W. & Jandura, O. (2005). Urteile mit Verfallsdatum. Einflüsse auf die Wahrnehmung des ersten Fernsehduells. In Noelle-Neumann, E., Donsbach, W. & Kepplinger, H. M. (Hrsg.), Wählerstimmungen in der Mediendemokratie. Analysen auf der Basis des Bundestagswahlkampfs 2002 (S. 141-163). Freiburg, München: Alber.

TV-Duell: Untersuchungsdesign

TV-Duell: direkt danach – kein eindeutiger Sieger

TV-Duell: einige Tage später – Stoiber verliert

TV-Duell: Meinungsänderungen zum wahrgenommenen Duell-Sieger (1)

TV-Duell: Meinungsänderungen zum wahrgenommenen Duell-Sieger (2)

TV-Duell: Ursachen Meinungsänderungen Unabhängige Variablen beta Wahrgenommener Duell-Sieger laut Medien 0,16* Interpersonale Kommunikation 0,13 Allgemeine Mediennutzung: TV-Nachrichten Allgemeine Mediennutzung: Zeitung 0,00 Kandidatenpräferenz 0,08 Parteipräferenz 0,01 Soziodemographie n.s. Erklärte Varianz r=28% *p<0,05

Split-Ballot Split-Ballot Mehrere Fragebogenversionen mit unterschiedlichen Fragen Teilen der Stichprobe nach Zufallsprinzip in gleich große Teilstichproben Vorteile Platz- bzw. Zeitsparen (Aufteilung von Fragen auf halbe oder Drittel-Stichproben) Rotation von Stimulus-Abfolgen (Vermeidung von Primacy-/Recency-Effekten) Feldexperiment Methodenexperiment zur Fragebogengestaltung Paper-and-pencil-Experiment

Beispiel Split-Ballot Split A Split B DNN-Barometer Mai 2006

Feldexperiment – klassisches Beispiel: Erie County-Studie Lazarsfeld et al., 1944

Zusammenfassung Vollerhebung Zufallsstichprobe Ausschöpfung Stichprobe Quotenstichprobe Intensiv-Interview offene Fragen Standardisierung Leitfaden-Interview geschlossene Standardisiertes Interview Einfache Befragung Einmalbefragung Split-Ballot Untersuchungsdesign Mehrfach-Befragung Trend Panel