Experimentelle und quasi-experimentelle Designs LV 1975: SE Methoden der empirischen Sozialforschung (WS 2003) Sabine Gisch-Boie Ulrike Steindl Wien, 14.11.2003

Inhalt Überblick: Experimentelle und quasi-experimentelle (Forschungsplanungs-) Designs Vorexperimentelle Designs Experimentelle Designs Von der Verantwortungsdiffusion zur experimentellen Spieltheorie Quasi-Experimente und Evaluationsforschung

Überblick: Experimentelle und quasi-experimentelle Designs Was wir dazu wissen sollten... Bestandteil der Forschungsplanung Bestimmung von Vergleichsgruppen und dem Modus der Aufteilung von Untersuchungspersonen auf die Vergleichsgruppen als „Varianzkontrolle“ Zuweisung zu Vergleichsgruppen kann „vor“, „zufällig“ oder „nach“ der Datenerhebung erfolgen (3 Klassen der Varianzkontrolle) Experimentelle Designs Quasi-experimentelle Designs Ex-post-facto-Designs (vorexperimentelle Designs) Wird häufig zur (Kausal-)Hypothesenüberprüfung verwendet Reduktion verzerrender Effekte von Drittvariablen

Vorexperimentelle Designs: XO Experimenteller Stimulus X ist gefolgt von der Beobachtung O, ohne Berücksichtigung von Kontroll- oder Vergleichsgruppen, bzw. Angabe zur Versuchs- und Vergleichsgruppe  sind deshalb unvollständig (Designs falscher Vergleichswerte) Vergleichsmöglichkeit fehlt Beobachtungen sind nur für eine Kategorie/Spalte der unabhängigen Variablen sinnvoll Beim XO-Design ist die Varianz der unabhängigen Variable null, beim Design falscher Vergleichswerte ist die Varianz der abhängigen Variable null  Es lassen sich keine Zusammenhangshypothesen überprüfen, da es ohne Varianz von Variablen keine Vergleichsmöglichkeit gibt. O1XO2: Vorher-Nachher-Messung: Reifungsprozess zwischen den Bezugspunkten möglich  wenig zuverlässig!

Experimentelle Designs (1/3) 3 Grundbedingungen: Bildung mindestens zweier experimenteller Gruppen Versuchspersonen werden den experimentellen Gruppen nach Zufallsverfahren (Randomisierung) zugewiesen unabhängige Variable wird vom Forscher „manipuliert”, d.h. vom Forscher präsentiert Experimentelles Design: Vorher-Nachher-Messung: Experimentelles Design (m-Kategorien): Vier-Gruppen-Versuchsplan (von Solomon):

Experimentelle Designs (2/3): Randomisierung Randomisierung neutralisiert sämtliche, auch unbekannte Drittvariablen Mögliche Fehlerquellen der Randomisierung: Hawthorne-Effekt/Reaktivität ( Blind-/Doppelblindversuche einsetzen) Subjektive Bewertung des Zuteilungsergebnisses (Verlierer-Gewinner-Problem)  Einschränkung der Fehleranfälligkeit durch Matching, Gruppenmatching, paarweises Matching möglich

Experimentelle Designs (3/3): Validität Bei der Prüfung der Versuchspläne auf Validität wird unterschieden in: interne Validität: Ausblenden von Störvariablen (Fehlerquellen: Reifung, Selektionsfehler) externe Validität: Generalisierbarkeit experimenteller Effekte (Fehlerquellen: Interaktionseffekte, Wechselwirkungen

Experiment zur Diffusion von Verantwortung Hypothese: Je größer die Zahl der Zuschauer in einer Hilfeleistungssituation, desto geringer ist die individuelle Wahrscheinlichkeit, dass eine bestimmte Person Hilfe leistet. Resultat: Gruppengröße Reaktion Zeit bis zur Reaktion Zwei-Personen 85 % 52 sec Drei Personen 62 % 93 sec Sechs Personen 31 % 166 sec

Quasi-Experimente Experimente ohne Randomisierung Bei Untersuchung von Effekten von rechtlicher, wirtschaftlicher oder sozialer Maßnahmen Zentrales Problem: eventuelle Drittvariableneffekte Versuchsanordnung mit nicht gleichartiger Kontrollgruppe und Zeitreihen Experimente

Versuchsanordnung mit nicht gleichartiger Kontrollgruppe (1/2) Vorher-Nachher-Messung ohne Zufallsaufteilung: O1 X O2 Maßnahmengruppe O3 O4 Kontrollgruppe (Wichtig: Vorher-Messung!)

Versuchsanordnung mit nicht gleichartiger Kontrollgruppe (2/2): Probleme und Maßnahmen Nicht-Vergleichbarkeit der Gruppen Systematischer Ausfall von Probanden Gruppen-Matching od. paarweises Matching Nachträgliche Kontrolle von Drittvariablen mit mulitvariaten statistischen Verfahren Verzerrung durch Drittvariable Wartegruppe Bei Verdacht explizit messen Regressionseffekte (=statistische Tendenz zur Mitte) Zeitreihen-Designs

Zeitreihen Experimente (1/2) Design einer Zeitreihe O1 O2 O3 O4 X O5 O6 O7 O8 Vorher Trends Nachher Trends (evt. Problem: Einfluss von anderen Faktoren als X) Design mehrfacher Zeitreihen O1 O2 O3 X O4 O5 O6 O7 O8 O9 O10

Zeitreihen Experimente (2/2) Beispiel: Schwarzfahrer in Hamburg und Bremen in %

Mögliche Fehlerquellen der Evaluationsforschung Versuchsanordnung Drittvariable, Regressionseffekte, Reifung etc. Erfolgsmessung Festlegung der Erfolgskriterien und deren Messung Berücksichtigung eventueller Nebenwirkungen Bewertung der Wirkungen/Nebenwirkungen einer Maßnahme (Kosten-Nutzen-Analyse) Divergierende Interessen Zeitrahmen