Strategische Ausrichtung des Teams ´Survey Operations´ Prof. Dr

Präsentation zum Thema: "Strategische Ausrichtung des Teams ´Survey Operations´ Prof. Dr"—  Präsentation transkript:

1 Strategische Ausrichtung des Teams ´Survey Operations´ Prof. Dr
Strategische Ausrichtung des Teams ´Survey Operations´ Prof. Dr. Michael Bosnjak Infrastrukturangebote: Standardisierte und maßgeschneiderte Projektberatung Forschung: ´Evidenzbasiertes Survey Operations´ Universitäre Lehre, Wissensvermittlung und Nachwuchsförderung

2 Agenda Verortung des Teams Survey Operations
im GESIS Gesamtkontext innerhalb der Abteilung SDM innerhalb des Bereichs Survey Operations GESIS Panel (seit 1/2013) Aufgaben des Teams Survey Operations (seit 10/2014) Anvisierte strategische Ausrichtung des Teams Infrastrukturangebote Forschungsschwerpunkte Universitäre Lehre und Wissensvermittlung Diskussion: SHARE-Bedarfe und –Beteiligung?

3 Forschungsdatenzyklus & GESIS Infrastrukturangebote
Recherchieren Archivieren und Registrieren Studien planen Daten analysieren Daten erheben

4 Bereiche der Abteilung SDM

5 SO-Bereich: Team GESIS Panel seit 1/2013
Aufbau und Betrieb eines offenen, für Deutschland repräsentativen Mehrthemenpanels (Mixed Mode) 2013: Rekrutierungs- und Aufbauphase Seit 2014: Regulärer Betrieb mit knapp 5000 Panelisten Leitlinien: Standardisierung und größtmögliche Automatisierung (Einreichungsprozess, Datenbereitstellung) Maximale Transparenz (Datensatz, Instrumente, technische Berichte, etc.) Maximale Anteil an Eigenleistungen (externe Vergaben vermeiden) -> Service-relevante Erfahrungen für Bereich SO

6 Team Survey Operations seit 10/2014
Entwicklung von standardisierten Infrastrukturangeboten Anfragespezifische Projektberatungen Leitlinien bei der Auswahl von Themen für standardisierte Angebote: Bedarfsorientierung Kernkompetenzen innerhalb des Teams, SDM und darüber hinaus nutzend (abteilungsübergreifend, Institute einbeziehend) Vorausschauend im Hinblick auf den Forschungsdatenzyklus (abteilungsübergreifend) Bestehende Infrastrukturen nutzend (Survey Guidelines, Archiv, Wissensvermittlung)

7 Team Survey Operation: Schwerpunkte
Standardisierte Ausschreibungsunterstützung (SDM Survey Guideline) Standardisierte Dokumentationsempfehlungen (SDM Survey Guideline) Interviewerschulung (und –zertifizierung) (Wissensvermittlungsangebot) Experimentelles Sample für das GESIS Panel (geplanter DFG Antrag)

8 Ausschreibungsunterstützung
Zielsetzung und Aufbau des Leitfadens Voraussetzungen und Abgrenzung Grundgesamtheit und Stichprobe Erhebungsinstrumente und Erhebungsmodus Kontakt- und Interaktionsplanung (inkl. Incentives) Feldpretest Feldarbeit Daten- und Dokumentationslieferung Zeitplanung Vertragliche Eckpunkte Modus-spezifische Anforderungen Komplexe Erhebungsprojekte Panelbefragungen Haushaltsbefragungen/Multi-Actor-Befragungen Mixed-Mode Erhebungen (weitere spezifische Fälle)

9 Dokumentationsempfehlungen
Ziel von Dokumentation Kernbestandteile einer Studiendokumentation ​Studienbeschreibung Erhebungsinstrument(e) Codebuch Daten (Inhalts-, Para- und Metadaten) Selbstarchivierung im GESIS Datorium Archivierung im GESIS Datenbestandskatalog Voraussetzungen Zugang Ablauf des Archivierungsprozesses Prospektive Dokumentations- und Archivierungsplanung gemäß DDI3.x-Lifecycle Weiterführende Informationen

10 Interviewerschulung Grundlagen persönlich-mündlichen Befragungen
Aufgaben einer/es Interviewers/in Best practices: Ausgestaltung der Kernphasen eines Interviews Kontaktierung von Zielpersonen Durchführung eines Interviews Prozessdokumentation

11 Bezüge zu SO Kernthemen
Survey mode(s) selection Contact and interaction protocol development Incentive scheme Field monitoring strategy/documentation Staff / interviewer selection / training Preparation Contact and data collection monitoring Incidence-based adjustments / revisions Documentation of the fielding process Fielding Data cleaning Finalization of documentation Bias analyses Construction of weights (e.g., nonresponse weights) Post-Processing

12 Ausrichtung des SO-Teams
Infrastrukturangebote: Standardisierte und maßgeschneiderte Projektberatung Forschung: ´Evidenzbasiertes Survey Operations´ Universitäre Lehre, Wissensvermittlung und Nachwuchsförderung

13 Ausrichtung des SO-Teams
Infrastrukturangebote: Standardisierte und maßgeschneiderte Projektberatung Forschung: ´Evidenzbasiertes Survey Operations´ Universitäre Lehre, Wissensvermittlung und Nachwuchsförderung

14 Infrastrukturangebote
Evidenz-basierte Empfehlungen in anderen Bereichen: Gesundheitswissenschaften

15 Infrastrukturangebote
Evidenz-basierte Empfehlungen in anderen Bereichen: Public Policy Interventions

16 Infrastrukturangebote
Evidenz-basierte Empfehlungen in anderen Bereichen: Erziehungswissenschaften

17 Infrastrukturangebote
´What works, what doesn´t, and why in Survey Methodology´ Das SO Team unterstützt den Ausbau der SDM Survey Guidelines in Richtung eines umfangreichen Wissensportals. Quellen für Survey Operations-spezifische Inhalte: Übergeordnete Darstellung des SO-Phasenmodells und die einzelnen Entscheidungen unterstützende, spezifische Themen. Systematische Ableitung von Empfehlungen auf Basis der ´besten´ Evidenz gemäß Evidenzpyramide (eigene und externe Forschungsprojekte: Meta-Analysen und experimentelle Studien besonders gewichtet). Erweiterung und Pflege aus (a) Projektberatungs-dokumentation, (b) Vorschläge von Nutzerinnen des Portals, (c) team- und abteilungsübergreifendes Vorschlagswesen, (d) pro-/aktiver Einbezug von Experten.

18 SO-Phasenmodell Fielding Preparation Post-Processing
Survey mode(s) selection Contact and interaction protocol development Incentive scheme Field monitoring strategy/documentation Staff / interviewer selection / training Preparation Contact and data collection monitoring Incidence-based adjustments / revisions Documentation of the fielding process Fielding Data cleaning Finalization of documentation Bias analyses Construction of weights (e.g., nonresponse weights) Post-Processing

19 Ausrichtung des SO-Teams
Infrastrukturangebote: Standardisierte und maßgeschneiderte Projektberatung Forschung: ´Evidenzbasiertes Survey Operations´ Universitäre Lehre, Wissensvermittlung und Nachwuchsförderung

20 Fielding Preparation Post-Processing Representativeness
External Validity Measurement Quality Nonresponse Bias Survey mode(s) selection Contact and interaction protocol development Incentive scheme Field monitoring strategy/documentation Staff / interviewer selection / training Preparation Contact and data collection monitoring Incidence-based adjustments / revisions Documentation of the fielding process Fielding Data cleaning Bias analyses Construction of weights (e.g., nonresponse weisghts) Finalization of documentation Post-Processing Representativeness indicators: R-indicators (Schouten), Profile matching Nonresponse bias indicators: Measurment quality indicators: Reliability measures Validity measures Time invested, homogeneity of answers, …

21 Laufende Projekte (Auswahl)
Meta-Analysen: Aktualisierung und Erweiterung der 2008 Web-RR Meta-Analyse (mit Katja-Lozar Manfreda, U Ljubljana) Moderatoren der Reliabilität von Survey-Items (mit GESIS Team Messinstrumente) Moderatoren der Repräsentativität von Befragungen (mit Carina Cornesse, U Manheim, GIP A8) Studienqualitätsbewertungssysteme (Study DIAD, GRADE) (mit Kai Becker, FU Bozen) Nonresponse Bias & SO-Variablen (Erweiterung von Groves & Peytcheva, 2008) Quasi-experimentelle Studie: Repräsentativität von Panel-basierten Daten: Probabilistisch vesus nicht-probabilistische Panels im Vergleich (GESIS Panel gemeinsam mit Team GIP, A8 Projekt)

22 Ausrichtung des SO-Teams
Infrastrukturangebote: Standardisierte und maßgeschneiderte Projektberatung Forschung: ´Evidenzbasiertes Survey Operations´ Universitäre Lehre, Wissensvermittlung und Nachwuchsförderung

23 Lehre, Wissensvermittlung, Nachwuchsförderung
Universitäre Lehre Angebote der Teamleitung: Systematische Übersichtsarbeiten und Meta-Analyse (Einführungs- und Fortgeschrittenenkurse, z.B. ´Meta-Analyse mit R´) Survey Operations / Survey Implementation Team-Mitglieder mit Habilitationsabsicht sollen ihre Expertise in eigenen Lehrveranstaltungen einbringen GESIS Wissensvermittlung Alle Teammitglieder beteiligen sich aktiv an Veranstaltungen (Workshops, Summer Schools) zu SO-Themen Ideenbörse für Qualifikationsarbeiten, verbunden mit Betreuungsangebot

24 Diskussion SHARE-Bedarfe:
Intervierschulung durch GESIS (und Zertifizierung)? Muster-Curriculumsentwicklung mit GESIS (und Akkreditierung)? Projektspezifische Schulungsbedarfe (mit GESIS)? SHARE-Beteiligung: … an der Ausgestaltung standardisierter Inhalte (GESIS Survey Guidelines)? … an einem Austausch zu konkreten SO-Inhalten?