Philosophische Fakultät Institut für Soziologie, Lehrstuhl für Methoden der empirischen Sozialforschung Ringvorlesung Einführung in die Methoden der empirischen.

Präsentation zum Thema: "Philosophische Fakultät Institut für Soziologie, Lehrstuhl für Methoden der empirischen Sozialforschung Ringvorlesung Einführung in die Methoden der empirischen."—  Präsentation transkript:

1 Philosophische Fakultät Institut für Soziologie, Lehrstuhl für Methoden der empirischen Sozialforschung Ringvorlesung Einführung in die Methoden der empirischen Sozialforschung I Voruntersuchungen - Pretest Literatur: Faulbaum/Prüfer/Rexroth (2009): Was ist eine gute Frage? VS Verlag für Sozialwissenschaften Dresden, 26. Januar 2010

2 "Even after years of experience, no expert can write a perfect questionnaire.“ (Sudman/Bradburn 1982) Regeln für die Fragebogengestaltung können lediglich grobe Fehler vermeiden. Alle Regeln bleiben aber letztlich (noch) unvollständig. "If you don't have the resources to pilot test your questionnaire, don't do the study." (Sudman/Bradburn 1982) TU Dresden, Vorstudien - Pretest

3 I: Wie lange haben Sie in den vergangenen sieben Tagen ferngesehen?
Beispiel 1 I: Wie lange haben Sie in den vergangenen sieben Tagen ferngesehen? ZP: Oh je, vielleicht sechs Stunden. I: Wie kommen Sie jetzt darauf? ZP: Geraten, geschätzt – jeden Tag ne Stunde. Mehr jeden Tag: jeden Tag zwei Stunden. Sind 14 Stunden. Ja 14 Stunden. TU Dresden, Vorstudien - Pretest

4 Überblick Pretest-Verfahren
1) Pretest-Verfahren im Feld Standard-Pretest Behaviour Coding Problem Coding Random Probe Intensiv-Interview Qualitative Interviews Analyse der Antwortverteilungen Split-Ballot TU Dresden, Vorstudien - Pretest

5 2) Kognitive Verfahren (Labor)
Think-Aloud Probings Confidence Rating Paraphrasing Sorting-Verfahren Response Latency 3) Weitere Verfahren Focus Groups Expertendiskussionen TU Dresden, Vorstudien - Pretest

6 1) Pretest-Verfahren im Feld
Standard Pretest (Beobachtungspretest) Kaum verbindliche Regeln Stichprobengröße zwischen 10 und 200 (Quota nach Geschlecht, Alter oder Random) Interviewer: Besonders geschulte oder „normale“ Interviewer, Mitglieder der Forschungsgruppe Einmalige Befragung unter realistischen Bedingungen Beobachtung von Auffälligkeiten Kein aktives Hinterfragen Vorteile Relativ billig, ohne zu großen Zeitaufwand Befragungsdauer lässt sich gut ermitteln Grenzen Idee: Schlechte Fragen fallen auf  stimmt aber nicht: Auch auf recht erstaunliche Fragen wird geantwortet Nichtwissen und Nichtverstehen wird nicht eingestanden Wenig systematisch, „Auffälligkeiten" werden subjektiv gedeutet Relativ grob TU Dresden, Vorstudien - Pretest

7 Behaviour Coding Problem Coding
Strukturierte Verhaltensbeobachtung (Codierung des Verhaltens) von Interviewern und Interviewten Tonbandmitschnitte Problem Coding Systematische Bewertung der Verhaltensweisen der Zielperson während des Interviews Reduziertes Codesystem auf 0: adäquat und 1: nicht adäquat Nur durch geschulte Interviewer möglich TU Dresden, Vorstudien - Pretest

8 Random Probe für geschlossene Fragen
bei zufällig ausgewählten Items werden Zusatzfragen gestellt, z.B. 10 von 200 Beispiele „Bitte nennen Sie ein Beispiel für das, was Sie meinen!“ „Ich verstehe Sie, und warum haben Sie das geantwortet?“ „Können Sie mir bitte etwas mehr dazu sagen?“ TU Dresden, Vorstudien - Pretest

9 Analyse von Antwortverteilungen
Suche nach: Minimal oder nicht besetzten Kategorien Extremen Häufigkeitsverteilungen Wahl von Ausweichkategorien (Weiß nicht, verweigert usw.) Voraussetzung: relativ hohe Fallzahl TU Dresden, Vorstudien - Pretest

10 Split-Ballot Mehrere Varianten einer Frage werden eingesetzt
Vergleich der Häufigkeitsverteilungen Relativ große Stichproben erforderlich Kombination mit anderen Verfahren möglich Beispiel: ALLBUS CAPI-PAPI 2000 TU Dresden, Vorstudien - Pretest

11 2) Kognitive Verfahren Think-Aloud-Method
Ziel: Frageverständnis und Informationsbeschaffung aufdecken Think-Aloud-Method Zielperson wird zu lautem Denken aufgefordert, zugleich Tonbandaufzeichnungen während oder nach der Beantwortung bei retrospektiven Fragen (Wird vorwärts oder rückwärts gedacht?) auch bei Meinungsfragen Expertenbefragungen (Problemlösungsverhalten) hohe Anforderungen an die Zielpersonen TU Dresden, Vorstudien - Pretest

12 Beispiel: „Ich werde Ihnen jetzt gleich eine Frage stellen. Danach fordere ich Sie dazu auf, laut zu denken. Sie sollen bitte alle Gedanken laut aussprechen, die Ihnen durch den Kopf gehen. Bitte beginnen Sie damit, sobald Sie die Frage gehört haben und fahren Sie so lange fort, bis Sie zu einer Antwort gelangt sind. Das müssen natürlich keine ganzen Sätze sein. Sollten Sie einmal ins Stocken kommen, so werde ich Sie daran erinnern, weiter zu sprechen.“ „Als Sie eben die Frage beantwortet haben, an was haben Sie da gedacht? Was ist Ihnen alles durch den Kopf gegangen, bis Sie die Antwort gegeben haben?“ TU Dresden, Vorstudien - Pretest

13 Retrospective-Think-Aloud
Beispiel: Frage: Kommen wir nun zu der Demokratie in der Bundesrepublik Deutschland: Wie zufrieden oder unzufrieden sind Sie – alles in allem – mit der Demokratie, so wie sie in der Bundesrepublik besteht? Sehr zufrieden Ziemlich zufrieden Etwas zufrieden Etwas unzufrieden Ziemlich unzufrieden Sehr unzufrieden Antworten: ‚sehr zufrieden‘ „Intuitiv geantwortet, denke an meine vielen Freiheiten, meine Rechte und habe das mit anderen Ländern verglichen, und das schätze ich sehr“ ‚ziemlich unzufrieden‘ „Erstens mein Gehaltszettel und die Vorstellung an meine zukünftige Rente, auch mit Ausländerzufluss in Deutschland, mit Arbeitslosigkeit bei Jugendlichen, fehlende Perspektive in vielen Bereichen“ TU Dresden, Vorstudien - Pretest

14 Concurrent-Think-Aloud Beispiel:
Frage: Ein Mann schlägt sein 10-jähriges Kind, weil es ungehorsam war. Halten Sie das für sehr schlimm, ziemlich schlimm, weniger schlimm oder für überhaupt nicht schlimm? Antwort: „Das kommt darauf an, in was für einer Situation das ist. Ich meine, es kann Situationen geben, in denen ein Kind es extrem darauf anlegt und wo es auch mal gerechtfertigt ist, ein Kind zu schlagen. Es aber auch nicht richtig schlagen, sondern ihm mal eine Ohrfeige geben oder so. Aber es kommt halt darauf an, wenn der Mann seinen Frust gerade hat, dann ist es sehr schlimm. Eine Ohrfeige wäre nicht so schlimm. Also das kann man so nicht bewerten.“ TU Dresden, Vorstudien - Pretest

15 Probing = Zusatzfragen zu bestimmten Items
Follow-up-Probings (nach der Antwort) Post-Interview-Probings (nach dem Interview) Comprehension-Probings (Frageverständnis), Bedeutung von Begriffen, Erläuterung der Antwort Information-Retrieval-Probing (besonders für retrospektive Fragen) TU Dresden, Vorstudien - Pretest

16 Probing (unmittelbar nach der Beantwortung):
Beispiel: „Das Ziel der Nationalsozialisten war, durch den Krieg gegen die Sowjetunion den jüdischen Bolschewismus zu beseitigen.“ Probing (unmittelbar nach der Beantwortung): „Und warum haben Sie sich für diesen Skalenwert entschieden?“ ID Skalenwert Antwort auf die Nachfrage 2/ Das weiß ich nicht. Ich kann mit der Aussage nichts anfangen. 2/ Ich weiß es nicht, aber ich glaube es nicht. Habe die 2 vergeben aufgrund meines Bauchgefühls. 2/ Bin mir relativ unsicher, dachte ich nehme einen Mittelweg. Die 4 deshalb, weil ich es nicht weiß. 2/ Weil ich mir einfach nicht vorstellen kann, dass die Nationalsozialisten ein anderes Ziel hatten, als in dem Fall Land zu gewinnen. Vermute es aber, habe keinen blassen Schimmer. 2/ Ich vergebe ungern 1 und 7. Mit der 6 möchte ich relativieren und ich glaube, dass es das Ziel der Nationalsozialisten war. 2/ Es war immer das Ziel der Nationalsozialisten gegen die Juden zu handeln. TU Dresden, Vorstudien - Pretest

17 Probing nach Abschluss des Interviews:
Beispiel: „Hinter der offiziellen Kritik am Kommunismus haben viele Nazis und Mitläufer nach 1945 den alten nationalsozialistischen Antibolschewismus versteckt.“ Probing nach Abschluss des Interviews: „Was verstehen Sie unter nationalsozialistischem Antibolschewismus?“ ID Skalenwert Antwort auf die Nachfrage 3/01 5 Das sind Leute, die gegen den Bolschewismus waren, also gegen linke Ideale. Und nationalsozialistisch ist dann noch eine Stufe mehr, die extrem dagegen waren. 3/02 weiß nicht Das war offensichtlich. Nationalsozialismus ging total gegen den Kommunismus. 3/03 6 Das war im Dritten Reich alles, was mit Kommunismus verbunden war, dass man das alles abgelehnt hat. 3/04 3 Das weiß ich nicht so genau. Bolschewismus gleich Kommunismus. Die drei soll die Mitte sein, weil ich es nicht so genau weiß. 3/05 3 Oh je, da kann ich nicht viel dazu sagen, das weiß ich eigentlich gar nicht. TU Dresden, Vorstudien - Pretest

18 Paraphrasing = nach der Antwort die Frage mit eigenen Worten wiederholen Beispiel: Fragetext: „Im Vergleich dazu, wie andere hier in Deutschland leben: glauben Sie, dass Sie Ihren gerechten Anteil erhalten, mehr als Ihren gerechten Anteil, etwas weniger oder sehr viel weniger?“ Antworten – Paraphrasing: Glauben Sie, dass Sie in Ihrer jetzigen Tätigkeit, verglichen mit anderen in Deutschland lebenden, den gerechten Anteil bekommen, weniger gerecht, einigermaßen gerecht oder ganz ungerecht? Dass ich sagen sollte, dass ich im Vergleich zu anderen Bevölkerungsteilen über Maßen vom Sozialstaat profitiere. Ob ich eigentlich mit dem, was ich besitze, was ich habe, mit dem, was ich tun kann, zufrieden bin. TU Dresden, Vorstudien - Pretest

19 Response Latency Bei CATI Messung der Antwortzeit
Lange Reaktionszeiten deuten auf Probleme hin Interpretationsspielraum TU Dresden, Vorstudien - Pretest

20 Confidence Rating = Verlässlichkeit der eigenen Antwort schätzen:
„Wie sicher waren Sie sich bei Ihrer Antwort: sehr sicher, eher sicher, eher unsicher, sehr unsicher?“ TU Dresden, Vorstudien - Pretest

21 Vorteile kognitiver Verfahren
Relativ schnelle Durchführung Geringe Kosten Bei verschiedenen Stadien der Frageentwicklung einsetzbar Nachteile kognitiver Verfahren Aufgrund der geringen Fallzahl schwierig zu verallgemeinern Keine Aussagen zum Fragebogen als Ganzes TU Dresden, Vorstudien - Pretest

22 3) Weitere Verfahren Focus Groups
Frühphase: Hinweise auf Akzeptanz und Verständnis des Themas der Befragung bzw. auch einzelner Begriffe und Fragen für schriftliche Fragebögen: Ausfüllen, dann Wiederholung des Fragebogens und Diskussion der Eindrücke beachte Gruppensituation TU Dresden, Vorstudien - Pretest

23 Fazit: Es reicht nicht aus, nur ein Verfahren einzusetzen, um alle möglichen Probleme bei der Fragekonstruktion zu erkennen. TU Dresden, Vorstudien - Pretest