Strategische Ausrichtung des Teams ´Survey Operations´ Prof. Dr Strategische Ausrichtung des Teams ´Survey Operations´ Prof. Dr. Michael Bosnjak Infrastrukturangebote: Standardisierte und maßgeschneiderte Projektberatung Forschung: ´Evidenzbasiertes Survey Operations´ Universitäre Lehre, Wissensvermittlung und Nachwuchsförderung

Agenda Verortung des Teams Survey Operations im GESIS Gesamtkontext innerhalb der Abteilung SDM innerhalb des Bereichs Survey Operations GESIS Panel (seit 1/2013) Aufgaben des Teams Survey Operations (seit 10/2014) Anvisierte strategische Ausrichtung des Teams Infrastrukturangebote Forschungsschwerpunkte Universitäre Lehre und Wissensvermittlung Diskussion: SHARE-Bedarfe und –Beteiligung?

Forschungsdatenzyklus & GESIS Infrastrukturangebote Recherchieren Archivieren und Registrieren Studien planen Daten analysieren Daten erheben

Bereiche der Abteilung SDM

SO-Bereich: Team GESIS Panel seit 1/2013 Aufbau und Betrieb eines offenen, für Deutschland repräsentativen Mehrthemenpanels (Mixed Mode) 2013: Rekrutierungs- und Aufbauphase Seit 2014: Regulärer Betrieb mit knapp 5000 Panelisten Leitlinien: Standardisierung und größtmögliche Automatisierung (Einreichungsprozess, Datenbereitstellung) Maximale Transparenz (Datensatz, Instrumente, technische Berichte, etc.) Maximale Anteil an Eigenleistungen (externe Vergaben vermeiden) -> Service-relevante Erfahrungen für Bereich SO

Team Survey Operations seit 10/2014 Entwicklung von standardisierten Infrastrukturangeboten Anfragespezifische Projektberatungen Leitlinien bei der Auswahl von Themen für standardisierte Angebote: Bedarfsorientierung Kernkompetenzen innerhalb des Teams, SDM und darüber hinaus nutzend (abteilungsübergreifend, Institute einbeziehend) Vorausschauend im Hinblick auf den Forschungsdatenzyklus (abteilungsübergreifend) Bestehende Infrastrukturen nutzend (Survey Guidelines, Archiv, Wissensvermittlung)

Team Survey Operation: Schwerpunkte Standardisierte Ausschreibungsunterstützung (SDM Survey Guideline) Standardisierte Dokumentationsempfehlungen (SDM Survey Guideline) Interviewerschulung (und –zertifizierung) (Wissensvermittlungsangebot) Experimentelles Sample für das GESIS Panel (geplanter DFG Antrag)

Ausschreibungsunterstützung Zielsetzung und Aufbau des Leitfadens Voraussetzungen und Abgrenzung Grundgesamtheit und Stichprobe Erhebungsinstrumente und Erhebungsmodus Kontakt- und Interaktionsplanung (inkl. Incentives) Feldpretest Feldarbeit Daten- und Dokumentationslieferung Zeitplanung Vertragliche Eckpunkte Modus-spezifische Anforderungen Komplexe Erhebungsprojekte Panelbefragungen Haushaltsbefragungen/Multi-Actor-Befragungen Mixed-Mode Erhebungen (weitere spezifische Fälle)

Dokumentationsempfehlungen Ziel von Dokumentation Kernbestandteile einer Studiendokumentation ​Studienbeschreibung Erhebungsinstrument(e) Codebuch Daten (Inhalts-, Para- und Metadaten) Selbstarchivierung im GESIS Datorium Archivierung im GESIS Datenbestandskatalog Voraussetzungen Zugang Ablauf des Archivierungsprozesses Prospektive Dokumentations- und Archivierungsplanung gemäß DDI3.x-Lifecycle Weiterführende Informationen

Interviewerschulung Grundlagen persönlich-mündlichen Befragungen Aufgaben einer/es Interviewers/in Best practices: Ausgestaltung der Kernphasen eines Interviews Kontaktierung von Zielpersonen Durchführung eines Interviews Prozessdokumentation

Bezüge zu SO Kernthemen Survey mode(s) selection Contact and interaction protocol development Incentive scheme Field monitoring strategy/documentation Staff / interviewer selection / training Preparation Contact and data collection monitoring Incidence-based adjustments / revisions Documentation of the fielding process Fielding Data cleaning Finalization of documentation Bias analyses Construction of weights (e.g., nonresponse weights) Post-Processing

Ausrichtung des SO-Teams Infrastrukturangebote: Standardisierte und maßgeschneiderte Projektberatung Forschung: ´Evidenzbasiertes Survey Operations´ Universitäre Lehre, Wissensvermittlung und Nachwuchsförderung

Ausrichtung des SO-Teams Infrastrukturangebote: Standardisierte und maßgeschneiderte Projektberatung Forschung: ´Evidenzbasiertes Survey Operations´ Universitäre Lehre, Wissensvermittlung und Nachwuchsförderung

Infrastrukturangebote Evidenz-basierte Empfehlungen in anderen Bereichen: Gesundheitswissenschaften

Infrastrukturangebote Evidenz-basierte Empfehlungen in anderen Bereichen: Public Policy Interventions

Infrastrukturangebote Evidenz-basierte Empfehlungen in anderen Bereichen: Erziehungswissenschaften

Infrastrukturangebote ´What works, what doesn´t, and why in Survey Methodology´ Das SO Team unterstützt den Ausbau der SDM Survey Guidelines in Richtung eines umfangreichen Wissensportals. Quellen für Survey Operations-spezifische Inhalte: Übergeordnete Darstellung des SO-Phasenmodells und die einzelnen Entscheidungen unterstützende, spezifische Themen. Systematische Ableitung von Empfehlungen auf Basis der ´besten´ Evidenz gemäß Evidenzpyramide (eigene und externe Forschungsprojekte: Meta-Analysen und experimentelle Studien besonders gewichtet). Erweiterung und Pflege aus (a) Projektberatungs-dokumentation, (b) Vorschläge von Nutzerinnen des Portals, (c) team- und abteilungsübergreifendes Vorschlagswesen, (d) pro-/aktiver Einbezug von Experten.

SO-Phasenmodell Fielding Preparation Post-Processing Survey mode(s) selection Contact and interaction protocol development Incentive scheme Field monitoring strategy/documentation Staff / interviewer selection / training Preparation Contact and data collection monitoring Incidence-based adjustments / revisions Documentation of the fielding process Fielding Data cleaning Finalization of documentation Bias analyses Construction of weights (e.g., nonresponse weights) Post-Processing

Ausrichtung des SO-Teams Infrastrukturangebote: Standardisierte und maßgeschneiderte Projektberatung Forschung: ´Evidenzbasiertes Survey Operations´ Universitäre Lehre, Wissensvermittlung und Nachwuchsförderung

Fielding Preparation Post-Processing Representativeness External Validity Measurement Quality Nonresponse Bias Survey mode(s) selection Contact and interaction protocol development Incentive scheme Field monitoring strategy/documentation Staff / interviewer selection / training Preparation Contact and data collection monitoring Incidence-based adjustments / revisions Documentation of the fielding process Fielding Data cleaning Bias analyses Construction of weights (e.g., nonresponse weisghts) Finalization of documentation Post-Processing Representativeness indicators: R-indicators (Schouten), Profile matching Nonresponse bias indicators: Measurment quality indicators: Reliability measures Validity measures Time invested, homogeneity of answers, …

Laufende Projekte (Auswahl) Meta-Analysen: Aktualisierung und Erweiterung der 2008 Web-RR Meta-Analyse (mit Katja-Lozar Manfreda, U Ljubljana) Moderatoren der Reliabilität von Survey-Items (mit GESIS Team Messinstrumente) Moderatoren der Repräsentativität von Befragungen (mit Carina Cornesse, U Manheim, GIP A8) Studienqualitätsbewertungssysteme (Study DIAD, GRADE) (mit Kai Becker, FU Bozen) Nonresponse Bias & SO-Variablen (Erweiterung von Groves & Peytcheva, 2008) Quasi-experimentelle Studie: Repräsentativität von Panel-basierten Daten: Probabilistisch vesus nicht-probabilistische Panels im Vergleich (GESIS Panel gemeinsam mit Team GIP, A8 Projekt)

Ausrichtung des SO-Teams Infrastrukturangebote: Standardisierte und maßgeschneiderte Projektberatung Forschung: ´Evidenzbasiertes Survey Operations´ Universitäre Lehre, Wissensvermittlung und Nachwuchsförderung

Lehre, Wissensvermittlung, Nachwuchsförderung Universitäre Lehre Angebote der Teamleitung: Systematische Übersichtsarbeiten und Meta-Analyse (Einführungs- und Fortgeschrittenenkurse, z.B. ´Meta-Analyse mit R´) Survey Operations / Survey Implementation Team-Mitglieder mit Habilitationsabsicht sollen ihre Expertise in eigenen Lehrveranstaltungen einbringen GESIS Wissensvermittlung Alle Teammitglieder beteiligen sich aktiv an Veranstaltungen (Workshops, Summer Schools) zu SO-Themen Ideenbörse für Qualifikationsarbeiten, verbunden mit Betreuungsangebot

Diskussion SHARE-Bedarfe: Intervierschulung durch GESIS (und Zertifizierung)? Muster-Curriculumsentwicklung mit GESIS (und Akkreditierung)? Projektspezifische Schulungsbedarfe (mit GESIS)? SHARE-Beteiligung: … an der Ausgestaltung standardisierter Inhalte (GESIS Survey Guidelines)? … an einem Austausch zu konkreten SO-Inhalten?