Effekte, Effektstärken, und Interpretation von Effekten

Präsentation zum Thema: "Effekte, Effektstärken, und Interpretation von Effekten"—  Präsentation transkript:

1 Effekte, Effektstärken, und Interpretation von Effekten
Seminar Forschungsmethoden der Sozialpsychologie Johannes Ullrich Effekte, Effektstärken, und Interpretation von Effekten

2 Mittelwertsdifferenzen
Zwei Gruppenmittelwerte (treatment vs. control), Vorurteile gegenüber Offenbachern Bogus Pipeline (Jones & Sigall, 1971) Studie 1

3 Mittelwertsdifferenzen
Zwei Gruppenmittelwerte (treatment vs. control), Vorurteile gegenüber Offenbachern Bogus Pipeline (Jones & Sigall, 1971) Studie 1 Studie 2

4 Mittelwertsdifferenzen
Vergleich von Mittelwertsdifferenzen unmöglich ohne Information über Variabilität der Daten SDpooled Studie Studie

5 Standardisierte Mittelwertsdifferenzen
Cohen's d .2 = klein .5 = mittel .8 = groß Studie 1 Studie 2

6 Kovarianz Zusammenhang zwischen zwei Variablen
Einstellung zu gesundem Essen und gesundes Essverhalten Studie 1 Cov = 30 Studie 2 Cov = 70

7 Korrelation Pearson's r klein = .1 mittel = .3 groß = .5 Studie 1

8 Zusammenhänge zwischen Effektstärken
Differenzen durch Variabilität (Fehlerterme) teilen bekannt aus ANOVA und t-Tests Unterschied: Abhängigkeit von Stichprobengröße

9 Zusammenhänge zwischen Effektstärken
r und d sind mit Zusammenhangs- bzw. Unterschiedshypothesen assoziiert sind aber in einander transformierbar ermöglicht Vergleiche von Effektstärken nicht nur zwischen Replikationsstudien, sondern auch zwischen verschiedenen Designs und Variablen

10 Meta-Meta-Analyse von Richard et al. (2003, Review of General Psyc)

11 Zwischenfazit 1 Effekt = Beziehung zwischen X und Y, egal ob X treatment vs. control oder kontinuierliche Variable Standardisierung (Relativierung an Variabilität der Daten) macht Effekte leichter interpretierbar

12 Interpretation von Effekten: Das "Label"
1992 National Assessment of Educational Progress Mathematik-Ergebnisse für Schüler der 8. Klasse, getrennt nach Staat und Hautfarbe Aus Wainer & Brown (2004)

13 Simpson's Paradox Ensteht bei der Aggregation von gruppierten Daten, wenn die Gruppenmitgliedschaft mit der Aggregatvariable und der abhängigen Variable korreliert! Aus Wainer & Brown (2004)

14 "Natürliche" Gewichtung der Subgruppen-Mittelwerte bei der
Errechnung eines Gesamtmittelwerts Standardisierte Gewichtung anhand der national repräsentativen Subgruppengröße Simpson's Paradox 1992 National Assessment of Educational Progress Mathematik-Ergebnisse für Schüler der 8. Klasse, getrennt nach Staat und Hautfarbe Aus Wainer & Brown (2004)

15 Zwischenfazit 2 Standardisierung alleine garantiert noch keine Interpretierbarkeit Simpson's Paradox nur eine Variante des "Drittvariablenproblems" Label bezieht sich auf X und Y, aber Z hängt auch mit X und Y zusammen (und A, B, C, ... möglicherweise auch)

16 Kausalität John Stuart Mill (1806-1873):
Ursache geht der Wirkung voraus Zusammenhang Ursache-Wirkung Ausschluß von Alternativerklärungen

17 Kausalität John Stuart Mill (1806-1873):
Ursache geht der Wirkung voraus Zusammenhang Ursache-Wirkung Ausschluß von Alternativerklärungen X Y

18 Kausalität X Y X Y X Y

19 Ursachen Streichholz als Ursache eines Waldbrands Inus condition:
„Insufficient but Nonredundant part of an Unnecessary but Sufficient condition“ (Mackie, 1974) Deterministisch (Physik) vs. probabilistisch (Humanwissenschaften)

20 Kausale Effekte Definiert über Counterfactuals (kontrafaktische Überlegungen) Yt(u) - Yc(u) Effekt in Rubin's Causal Model: Unterschied zwischen dem, was man bei einer Person in der Treatment-Bedingung beobachten würde, und dem, was man bei derselben Person – unter denselben Umständen – in der Kontroll-Bedingung beobachten würde „Fundamentales Problem des kausalen Schließens“

21 Der ideale Vergleich Yt(u) - Yc(u)
Wird am besten angenähert durch experimentelle Methoden Zufallszuweisung von Untersuchungseinheiten (Recipients) zu verschiedenen Bedingungen Zwischen den Bedingungen wird die vermutete Ursache systematisch variiert (Manipulation), wobei alle weiteren Umstände möglichst konstant gehalten werden Aspirin Placebo

22 Übung Prosoziales Verhalten bei Männern und Frauen
Welche methodischen Probleme gibt es, die die Validität der Schlussfolgerungen gefährden können? Wie valide ist die Schlussfolgerung im letzten Satz des Berichts? 1 'überhaupt nicht' bis 11 'völlig valide'

23 Übung Stimulus-Sampling (Wells & Windschitl, 1999):

24 Probleme mit Experimenten
Künstliche Bedingungen und Generalisierbarkeit Ethische Bedenken Manchmal bestimmt der Effekt die Fragestellung, und die Ursache ist schwer manipulierbar (Krankheiten, soziale Probleme), wie in Kriminalgeschichten: „Wer ist der Mörder?“

25 Alternativen zu Experimenten
Keine Zufallszuweisung, aber Kenntnis von quantitativer Zuweisungsvariable Interrupted Time Series Design Regression Discontinuity Design Nicht-äquivalente Designs, "Beobachtungsstudien"

26 Interrupted Time Series Design
Große Anzahl von Beobachtungen auf einer Variablen im Zeitverlauf Kenntnis des Zeitpunkts eines Treatments Veränderung in Intercept oder Slope Sofortiger oder verzögerter Effekt? Punktueller oder andauernder Effekt?

27 Datenquelle: Statistisches Bundesamt

28 Datenquelle: Statistisches Bundesamt

29 Regression-Discontinuity Design
Bsp.: Finanzielle Zuschüsse für aus der Haft entlassene Menschen, wenn sie in den letzten 12 Monaten mind. 652 Stunden im Gefängnis gearbeitet haben. Senkt das die Rückfallquote?

30 Regression-Discontinuity Design

31 Kriminalgeschichten "Schmudellige" Kriminalgeschichten: Keine Zufallszuweisung, keine quantitative Zuweisungsvariable Der ideale Vergleich ist auch in "schmuddeligen" Kriminalgeschichten die Grundlage für alle weiteren Überlegungen Wie und warum weicht ein Forschungsdesign von dem idealen Vergleich ab?

32 Schlussfazit Effekte leichter interpretierbar durch:
Standardisierung (z.B. d oder r) Kontrolle oder Kenntnis des Mechanismus der Zuweisung von Personen (und/oder Stimuli) zu den verschiedenen Stufen einer Treatment-Variable Validität von Schlussfolgerungen über empirische Ergebnisse hängt von der Passung von Effekt und Label ab