1 Analyse konstruierter Daten … mit EffectLite Ref.: Marie Grahl, Victoria Paul, Katja Peilke.

Präsentation zum Thema: "1 Analyse konstruierter Daten … mit EffectLite Ref.: Marie Grahl, Victoria Paul, Katja Peilke."—  Präsentation transkript:

1 1 Analyse konstruierter Daten … mit EffectLite Ref.: Marie Grahl, Victoria Paul, Katja Peilke

2 2 Gliederung 1. Unser Datensatz 2. Unser Modell:  Pfaddiagramm  Modellgleichung  Testen der Unverfälschtheit  Spezifikation der Modellparameter

3 3 1.Unser Datensatz  Treatment – Variable: X 0  Kontrollgruppe X 0  Kontrollgruppe X 1  Psychotherapie X 1  Psychotherapie X 2  Hausarzt X 2  Hausarzt  Potentielle Kovariaten: Z1-6  Neediness Z1-6  Neediness Z7  Geschlecht Z7  Geschlecht (0 = m, 1 = w) (0 = m, 1 = w)  Outcome Variablen: Y 1 Y 2 Y 3  drei parallele Tests, jeweils nach dem Treatment gemessen

4 4 Deskriptive Daten N Männlich: 0 3512 Weiblich: 1 1488 X 0 Kontrollgruppe 1251 X 1 Psychotherapie 2508 X 2 Hausarzt 1241 GESAMT5000 MeanSD Y1Y1Y1Y198.8114.412 Y2Y2Y2Y298.8614.430 Y3Y3Y3Y398.8414.442

5 5 Deskriptive Daten

6 6

7 7 Neediness und Behandlungswahrscheinlichkeit  Unterschiedliche Behandlungswahrscheinlichkeiten sind der Grund, warum der PFE nicht dem ACE entspricht (Gesamtpopulation)! NeedinessZGeschlecht P(X 1 | Z = z) P(X 2 | Z = z) P(X 2 | Z = z) 10 0,85714 = 12/14 0,07143 = 1/14 20 0,71429 = 10/14 0,14286 = 2/14 30 0,57143 = 8/14 0,21429 = 3/14 40 0,42857 = 6/14 0,28571 = 4/14 51 0,35714 = 5/14 61 0,14286 = 2/14 0,42857 = 6/14

8 8 Ungleiche Behandlungwahrscheinlichkeiten in Abhängigkeit von der Bedürftigkeit der Person impliziert, dass die allgemeine Gleichung für den bedingten Erwartungswert…  E(Y|X=x) = ∑ u E(Y|X=x,U=u) · P(U=u|X=x) Differenzen sind PFE’s Differenzen sind PFE’s...nicht der Gleichung für den kausal unverfälschten Erwartungsert entspricht  CUE(Y|X=x) = ∑ u E(Y|X=x,U=u) · P(U=u) Differenzen sind ACE’s Differenzen sind ACE’s

9 9 1. Schritt:Prüfen der Modelle der KTT für Outcome - Variablen Y 1, Y 2, Y 3 2. Schritt: Bildung von fünf Indikatorvariablen für die sechsstufige Kovariate Z „Bedürftigkeit“ 3. Schritt:Aufstellen der Modellgleichung und Parametrisieren der Funktionen von Z 4. Schritt: Aufstellen eines Pfaddiagramms für das Gesamtmodell 5. Schritt: Spezifikation der Modellparameter

10 10 T-Test für abhängige Stichproben Prüfung des Paralleltestmodells mit SPSS

11 11 η Y als latente Variable für Y1-3  Prüfung des Paralleltestmodells mit LISREL ηYηY Y1 Y2 Y3 Chi-Quadrat = 4.44 df = 4 p-Wert = 0.34932 RMSEA = 0.005 5.04 203.13

12 12 Berechnung mit EffectLite Modell ohne Kovariate

13 13 Testen der Unverfälschtheit  Unverfälschtheit impliziert durch Unkonfundiertheit der Treatment Regression Treatment Regression oder der Kovariaten-Treatment Regression Kovariaten-Treatment RegressionE(Y|X) E(Y|X, Z)

14 14 Unkonfundiertheit impliziert …  Unverfälschtheit von E(Y|X)E(Y|X,Z) E(Y|X=j)E X=j (Y|Z) PFE jk PFE jk (Z)  Durchschnittliche Stabilität PFE jk = E[PFE jk (W)]PFE jk (z) = E Z=z [PFE jk;Z=z (W)]  Generalisierbarkeit auf Subpopulationen Unkonfundiertheit von E(Y|X) impliziert Unkonfundiertheit von E W=w (Y|X)

15 15 Testen der Unkonfundiertheit - der Treatment Regression -  Nutzung der dritten Formulierung Für jede Abbildung W = f(U) der beobachteten Unitvariable gilt: Für jede Abbildung W = f(U) der beobachteten Unitvariable gilt: E X=j (Y) = E[E X=j (Y|W)] für alle Werte j = 0, 1, …, J.

16 16 Berechnung mit EffectLite Modell mit Kovariate „Bedürftigkeit“

17 17 Modellgleichung E(Y|X,Z) = g 0 (Z) + g 1 (Z) · I X=1 + g 2 (Z) · I X=2 Parametrisierung der g – Funktionen g 0 (Z)→ (β 00 + β 01 · I Z=1 + β 02 · I Z=2 + β 03 · I Z=3 + β 04 · I Z=4 + β 05 · I Z=5 ) + g 1 (Z)→ (β 10 + β 11 · I Z=1 + β 12 · I Z=2 + β 13 · I Z=3 + β 14 · I Z=4 + β 15 · I Z=5 ) · I X=1 + g 2 (Z)→ (β 20 + β 21 · I Z=1 + β 22 · I Z=2 + β 23 · I Z=3 + β 24 · I Z=4 + β 25 · I Z=5 ) · I X=2  Für Geschlecht ein I Z=6 und die Interaktionen, d.h. die Produkte von I Z=6 und den anderen Indikatorvariablen

18 18 Pfaddiagramm für das Gesamtmodell Y1 Y2 Y3 ηYηY ε ε ε Z1 Z2 Z3 Z4 Z5 1 1 1 β 01 für X = 0 β 02 β 03 β 04 β 05

19 19 Pfaddiagramm Y1 Y2 Y3 ηYηY ε ε ε Z1 Z2 Z3 Z4 Z5 1 1 1 β 01 +β 11 für X = 1 β 02 +β 12 β 03 +β 13 β 04 +β 14 β 05 +β 15

20 20 Pfaddiagramm Y1 Y2 Y3 ηYηY ε ε ε Z1 Z2 Z3 Z4 Z5 1 1 1 β 01 +β 21 für X = 2 β 02 +β 22 β 03 +β 23 β 04 +β 24 β 05 +β 25

21 21 Berechnung mit EffectLite Modell mit Kovariate „Bedürftigkeit“

22 22... mit Kovariate Group 1 - Control group 0 Effect E(g1) 10.406 Effect E(g1) 10.406 Std.error 0.147 Std.error 0.147 Effect/Std.error 70.838 Effect/Std.error 70.838 Effect size 0.700 Effect size 0.700 Group 2 - Control group 0 Effect E(g2) 0.354 Effect E(g2) 0.354 Std.error 0.177 Std.error 0.177 Effect/Std.error 1.997 Effect/Std.error 1.997 Effect size 0.024 Effect size 0.024... ohne Kovariate Group 1 - Control group 0 Effect -1.804 !!! Effect -1.804 !!! Std.error 0.494 Std.error 0.494 Effect/SE -3.654 Effect/SE -3.654 Effect size -0.121 Effect size -0.121 Group 2 - Control group 0 Effect -0.553 !!! Std.error 0.632 Effect/SE -0.875 Effect size -0.037 Effect size -0.037 *** Detailed analysis of the effects ***

23 23 Modellgleichung = (118,845 - 51,12 · I Z=1 -38,246 · I Z=2 - 29,925 · I Z=3 - 26,937 · I Z=4 - 6,918 · I Z=5 ) + (4,56 + 9,7 · I Z=1 + 3,952 · I Z=2 + 7,649 · I Z=3 + 11,365 · I Z=4 + 1,383 · I Z=5 ) · I X=1 + (-7,689 +15,398 · I Z=1 + 5,212 · I Z=2 + 10,398 · I Z=3 + 0,995 · I Z=4 + 15,650 · I Z=5 ) · I X=2 Modellgleichung E(Y|X,Z) = g 0 (Z) + g 1 (Z) · I X=1 + g 2 (Z) · I X=2

24 24 LISREL Pfaddiagramm X = 0

25 25 LISREL Pfaddiagramm X = 1

26 26 LISREL Pfaddiagramm X = 2

27 27  Falsifikation der Hypothese der Unkonfundiertheit durch Falsifikation folgender Hypothese: E[E X=j (Y|W)] – E X=j (Y) = 0 für alle Werte j = 0, 1, …, J.

28 28 Unkonfundiertheit (3) E X=j (Y) = E X=j [E X=j (Y|W)] EffectLite Output Group means of the outcome variable(s) Group Outcome Mean Std.dev. Adj.mean SE(Adj.mean) Group Outcome Mean Std.dev. Adj.mean SE(Adj.mean) 0 Y 99.848 14.863 93.233 0.244 0 Y 99.848 14.863 93.233 0.244 1 Y 98.044 12.624 103.639 0.203 1 Y 98.044 12.624 103.639 0.203 2 Y 99.295 16.480 93.588 0.256 2 Y 99.295 16.480 93.588 0.256  93.233 – 99.848 = - 6.615 ≠ 0 95% Konfidenzintervall für Bsp.: SE Y0 = 14.863 / √1251 = 0.420  Mean: 99.848 ± 0.420 · 1.96  [99.025 ; 100.67]  adjustierten Mean: 93.233 ± 0.244 · 1.96  [ 92.755 ; 93.711]

29 29 Testen der Unkonfundiertheit - der Kovariaten – Treatment Regression -  Nutzung der dritten Formulierung Für jede Abbildung W = f(U) der beobachteten Unitvariable gilt: Für jede Abbildung W = f(U) der beobachteten Unitvariable gilt: E X=j,Z=z (Y) = E[E X=j,Z=z (Y|W)] für alle Werte j = 0, 1, …, J.

30 30 Berechnung der Biases Baseline bias jk = E(τ k |X=j) – E(τ k |X=k) Effect bias jk = E(τ jk |X=j) – ACE jk E(τ 0 |X=0) = Σ τ 0 (u) ·P(U=u|X=0) = 101,857 E(τ 0 |X=1) = Σ τ 0 (u) ·P(U=u|X=1) = 85,143 E(τ 0 |X=2) = Σ τ 0 (u) ·P(U=u|X=2) = 101,857 E(τ 10 |X=1) = Σ τ 10 (u) ·P(U=u|X=1) = 11,238 E(τ 20 |X=2) = Σ τ 20 (u) ·P(U=u|X=2) = -1,238

31 31

32 32 E(τ 0 |X=0) = 101 6/7 E(τ 0 |X=1) = 85 1/7 E(τ 0 |X=2) = 101 6/7 Baseline bias 10 = E(τ 0 |X=1) - E(τ 0 |X=0) = -16,714 Baseline bias 20 = E(τ 0 |X=2) - E(τ 0 |X=0) = 0,000 Effect bias 10 = E(τ 10 |X=j) – ACE 10 = 11,238 – 10 = 1,238 Effect bias 20 = E(τ 20 |X=j) – ACE 20 = - 1,238 – 0 = -1,238

33 33 PFE 10 = ACE 10 + baseline bias 10 + effect bias 10 = 10 + (-16,714) + 1,238 = - 5,476 = 10 + (-16,714) + 1,238 = - 5,476 PFE 20 = ACE 20 + baseline bias 20 + effect bias 20 = 0 + 0 + (-1,238) = -1,238 = 0 + 0 + (-1,238) = -1,238

34 34 Gewichtung der Outcome- Variable Y w ≡ Y·W  W ≡ ∑ I x=j · P(X=j)/P(X=j|U) E(Y W |X=j) = E(τ j ) E(Y W |X=j) - E(Y W |X=k) = ACE jk Nachteil: große Standardfehler!

35 35 Berechnung mit EffectLite Modell mit gewichteten Outcome - Variablen

36 36 Modellvergleich  Unser Modell (Modell 1) Treatment - Variable: X  X 0 = Kontrollgruppe Outcome - Variablen: Y1-3  latent, Ladungen auf 1 Kovariaten: Neediness 1-5  manifest stochastisch  Modell 2 Annahme gleicher Outcome – Fehlervarianzen über alle X  Modell 3 Outcome - Variablen: Y1-3  manifest  Modell 4 Kovariaten: Neediness 2-6  manifest stochastisch  Modell 5 Kovariate: Geschlecht  manifest stochastisch  Modell 6 (nicht berechnet) Kovariaten: Neediness 1-5 und Geschlecht  manifest stochastisch