Patrick Rössler Methoden der Datenerhebung und -auswertung Vorlesung BA Kommunikationswissenschaft (G21) 1

Schema der verschiedenen Reliabilitäts-Verfahren Person 1 Person 2 Person 3 Person 4 Person 5 Person 6 Person 1 Person 2 Person 3 Person 4 Person 5 Person 6 Inter- Codierer- Reliabilität Gruppe 1 Parallel-Test (lt. Brosius/Koschel) Gruppe 2 Test-Retest / Intra-Codierer-Reliabilität Item 1 Item 2 Item 3 Item 4 Item 5 Item 6 Item A1 Item A2 Item A3 Item B1 Item B2 Item B3 Indikatormenge 1 Indikatormenge 1 Parallel-Test (lt. Diekmann) Split-Half-Test Indikatormenge 2 Indikatormenge 2 t1 t2

Formen der Zufallsauswahl 1. Einfache, systematische Zufallsauswahl  Lotterieauswahl  Listenauswahl („ziehe jedes n-te Element“) Ordnung der Elemente muss unabhängig von Untersuchungsmerkmalen sein! Beispiel: Random Digit Dialing - Telefonbefragung auf Basis des Telefonbuchs; systematische Bestimmung von Privatanschlüssen, Addition von 1 (Geheimnummern); Problem: Mehrfachanschlüsse, Handys  Gebietsauswahl nach „Random-Route“-Verfahren wenn keine zuverlässigen Listendaten vorliegen oder nicht verfügbar sind; Zufallsweg nach Begehungsanweisung, Trennung von Adressermittlung und eigentlicher Befragung aber: meist keine Befragung von „Haushalten“

Formen der Zufallsauswahl 2. Mehrstufige Zufallsauswahl relevant bei grossen oder unbekannten Stichproben  Beispiel: „ADM-Mastersample“ der deutschen Institute  Ziel: repräsentative Bevölkerungs-Personenstichproben 1. Stufe: Auswahl der Stimmbezirke = Bestimmung der Primäreinheiten gewichtete Zufallsauswahl von 120 Stichproben à 210 Stimmbezirken PPS-Sample (probability proportional to size) 2. Stufe: Auswahl der Haushalte = Bestimmung der Sekundäreinheiten pro Stimmbezirk „ Random Walk“ für Haushalte als Stichprobenelemente 3. Stufe: Auswahl der Zielperson Zufallsauswahl innerhalb eines Haushalts: „Schwedenschlüssel“ n. Alter / „Last-Birthday“-Methode, Gewichtung?

Formen der Zufallsauswahl 3. Geschichtete Zufallsauswahl Zerlegung der Gesamtstichprobe anhand eines zentralen Merkmals der Fragestellung („Schichtung“), danach Zufallsauswahl für jede Schicht  Voraussetzung: Verteilung des Schichtmerkmals in der Grund- gesamtheit ist bekannt, Merkmal für jedes Element bekannt Beispiel: Schichtung nach Berufszugehörigkeit für Medizinerstudie  disproportional geschichtete Stichprobe: Überbetonung relevanter Gruppen höherer Stichprobenansatz für interessierendes Schichtmerkmal, um valide Aussagen über diese Gruppe treffen zu können Gruppenvergleiche möglich, aber für Repräsentativschluss auf Population sind Gewichtungsfaktoren erforderlich -> Redressment

Formen der Zufallsauswahl 4. Klumpenauswahl Spezialfall der mehrstufigen Zufallsauswahl: zufällige Auswahl von Klumpen („Cluster“) = raumzeitlich eng umgrenzte Ansammlung von Elementen der Grundgesamtheit, die ein strukturell verkleinertes Abbild der jeweiligen Grundgesamtheit bilden  innerhalb der Klumpen Vollerhebung aller Elemente  sinnvoll, wenn Grundgesamtheit schwer erreichbar (Kosten) Beispiele: Wahlverhalten von Sportvereinsmitgliedern -> Zufallsauswahl der Vereine Testmarkt „Haßloch“ als bewußter, nicht-zufälliger Klumpen

Bewusste Auswahl: Quotenstichproben Hauptanwendung in der Marktforschung, aus finanziellen / organisatorischen Gründen (Ausnahme: Telefoninterview) Stichprobe wird nach vorgegebenen Regeln gezogen, die der Merkmalsverteilung in der Grundgesamtheit entsprechen  Einschränkung des Freiheitsgrads der Interviewer Beispiel: Quotierung einer allgemeinen Bevölkerungsstichprobe nach Geschlecht, Alter, Beruf, Familienstand Quotenvorgaben als Kombination aller vier Merkmale (einzelne Anteile)! Auswahl der Zielpersonen bleibt Sache des Interviewers Annahme: Interviewer trifft durch Vorgaben annähernd Zufallsauswahl (leichte Erreichbarkeit, Bekannte, Fälschung)?

Weitere bewusste Auswahlverfahren Konzentrationsprinzip: nach sachlogischen Überlegungen wird die zufällige Stichproben-ziehung auf den Teil der Grundgesamtheit konzentriert, in dem der überwiegende Teil der Elemente vermutet wird (finanzielle / organisatorische Gründe) typische Fälle: Beschränkung der Untersuchung auf Elemente mit den speziellen Merkmalen, die für die Fragestellung besonders relevant sind (z.B. Randgruppen), kein Repräsentationsschluss angestrebt Extremfälle: Beschränkung der Untersuchung auf Elemente, die die Merkmale, die für die Fragestellung besonders relevant sind, in extremer Form aufweisen; Ziel: Abstecken des Merkmalsraums (Sonderfälle: Schneeballprinzip, Experteninterviews)

Willkürliche Auswahl Merkmalsträger werden nach ihrer Verfügbarkeit ohne besondere Systematik ausgewählt kein Repräsentationsschluss auf irgendeine Grundgesamtheit möglich, da Verzerrungen unvemeidlich Beispiel Strassenumfrage: keine Zufallsauswahl, weil nicht alle Elemente die gleiche Chance besitzen, ausgewählt zu werden „Self-selected Sample“: Zeitungsbeilage, Website-Postings, TED Anwendungsgebiete: immer dann, wenn keine Repräsentativität angestrebt wird z.B. journalistisches Interview insbesondere: Test von Zusammenhangshypothesen in einem Experimentaldesign -> Kontrolle von definierten Randbedingungen, bei gleicher Verteilung zwischen Kontroll- und Experimentalgruppe

Problem: Stichprobenausfälle „Undercoverage“ Diskrepanz zwischen Ziel- & Untersuchungspopulation Beispiel „Bevölkerungsstichprobe“: deutsch, >18, Privathaushalt; nicht: Wohnsitzlose, Anstaltsinsassen, Soldaten, Ausländer usw. „Non-Response“ Ausfall durch Verweigerung, Nicht-Erreichbarkeit usw. Bruttostichprobe: Zahl gezogener Elemente stichprobenneutrale (zufällige) Ausfälle: de facto kein Teil der Population Rücklauf: Zahl realisierter Interviews Ausschöpfungsquote: Rücklauf / (Bruttostichprobe - neutrale Ausfälle) Ausfall: Verweigerung, nicht erreichbar (z.B. AB, abwesend, krank) Problem: systematische Ausfälle, Fragestellung, Item-Non-Response Ausschöpfung als ein zentrales Gütekriterium für Umfrageforschung

Zusammenfassung Grundgesamtheit und Stichprobe Repräsentativität durch Zufallsauswahl Stichprobentheorie der Zufallsauswahl Verfahren der Zufallsauswahl einfache, mehrstufige, geschichtete, Klumpenauswahl bewusste Auswahl: Quote, Konzentrationsprinzip, typische und extreme Fälle willkürliche Auswahl Stichprobenausschöpfung und Ausfälle