1 Analyse konstruierter Daten … mit EffectLite Ref.: Marie Grahl, Victoria Paul, Katja Peilke

2 Gliederung 1. Unser Datensatz 2. Unser Modell:  Pfaddiagramm  Modellgleichung  Testen der Unverfälschtheit  Spezifikation der Modellparameter

3 1.Unser Datensatz  Treatment – Variable: X 0  Kontrollgruppe X 0  Kontrollgruppe X 1  Psychotherapie X 1  Psychotherapie X 2  Hausarzt X 2  Hausarzt  Potentielle Kovariaten: Z1-6  Neediness Z1-6  Neediness Z7  Geschlecht Z7  Geschlecht (0 = m, 1 = w) (0 = m, 1 = w)  Outcome Variablen: Y 1 Y 2 Y 3  drei parallele Tests, jeweils nach dem Treatment gemessen

4 Deskriptive Daten N Männlich: Weiblich: X 0 Kontrollgruppe 1251 X 1 Psychotherapie 2508 X 2 Hausarzt 1241 GESAMT5000 MeanSD Y1Y1Y1Y Y2Y2Y2Y Y3Y3Y3Y

5 Deskriptive Daten

6

7 Neediness und Behandlungswahrscheinlichkeit  Unterschiedliche Behandlungswahrscheinlichkeiten sind der Grund, warum der PFE nicht dem ACE entspricht (Gesamtpopulation)! NeedinessZGeschlecht P(X 1 | Z = z) P(X 2 | Z = z) P(X 2 | Z = z) 10 0,85714 = 12/14 0,07143 = 1/ ,71429 = 10/14 0,14286 = 2/ ,57143 = 8/14 0,21429 = 3/ ,42857 = 6/14 0,28571 = 4/ ,35714 = 5/ ,14286 = 2/14 0,42857 = 6/14

8 Ungleiche Behandlungwahrscheinlichkeiten in Abhängigkeit von der Bedürftigkeit der Person impliziert, dass die allgemeine Gleichung für den bedingten Erwartungswert…  E(Y|X=x) = ∑ u E(Y|X=x,U=u) · P(U=u|X=x) Differenzen sind PFE’s Differenzen sind PFE’s...nicht der Gleichung für den kausal unverfälschten Erwartungsert entspricht  CUE(Y|X=x) = ∑ u E(Y|X=x,U=u) · P(U=u) Differenzen sind ACE’s Differenzen sind ACE’s

9 1. Schritt:Prüfen der Modelle der KTT für Outcome - Variablen Y 1, Y 2, Y 3 2. Schritt: Bildung von fünf Indikatorvariablen für die sechsstufige Kovariate Z „Bedürftigkeit“ 3. Schritt:Aufstellen der Modellgleichung und Parametrisieren der Funktionen von Z 4. Schritt: Aufstellen eines Pfaddiagramms für das Gesamtmodell 5. Schritt: Spezifikation der Modellparameter

10 T-Test für abhängige Stichproben Prüfung des Paralleltestmodells mit SPSS

11 η Y als latente Variable für Y1-3  Prüfung des Paralleltestmodells mit LISREL ηYηY Y1 Y2 Y3 Chi-Quadrat = 4.44 df = 4 p-Wert = RMSEA =

12 Berechnung mit EffectLite Modell ohne Kovariate

13 Testen der Unverfälschtheit  Unverfälschtheit impliziert durch Unkonfundiertheit der Treatment Regression Treatment Regression oder der Kovariaten-Treatment Regression Kovariaten-Treatment RegressionE(Y|X) E(Y|X, Z)

14 Unkonfundiertheit impliziert …  Unverfälschtheit von E(Y|X)E(Y|X,Z) E(Y|X=j)E X=j (Y|Z) PFE jk PFE jk (Z)  Durchschnittliche Stabilität PFE jk = E[PFE jk (W)]PFE jk (z) = E Z=z [PFE jk;Z=z (W)]  Generalisierbarkeit auf Subpopulationen Unkonfundiertheit von E(Y|X) impliziert Unkonfundiertheit von E W=w (Y|X)

15 Testen der Unkonfundiertheit - der Treatment Regression -  Nutzung der dritten Formulierung Für jede Abbildung W = f(U) der beobachteten Unitvariable gilt: Für jede Abbildung W = f(U) der beobachteten Unitvariable gilt: E X=j (Y) = E[E X=j (Y|W)] für alle Werte j = 0, 1, …, J.

16 Berechnung mit EffectLite Modell mit Kovariate „Bedürftigkeit“

17 Modellgleichung E(Y|X,Z) = g 0 (Z) + g 1 (Z) · I X=1 + g 2 (Z) · I X=2 Parametrisierung der g – Funktionen g 0 (Z)→ (β 00 + β 01 · I Z=1 + β 02 · I Z=2 + β 03 · I Z=3 + β 04 · I Z=4 + β 05 · I Z=5 ) + g 1 (Z)→ (β 10 + β 11 · I Z=1 + β 12 · I Z=2 + β 13 · I Z=3 + β 14 · I Z=4 + β 15 · I Z=5 ) · I X=1 + g 2 (Z)→ (β 20 + β 21 · I Z=1 + β 22 · I Z=2 + β 23 · I Z=3 + β 24 · I Z=4 + β 25 · I Z=5 ) · I X=2  Für Geschlecht ein I Z=6 und die Interaktionen, d.h. die Produkte von I Z=6 und den anderen Indikatorvariablen

18 Pfaddiagramm für das Gesamtmodell Y1 Y2 Y3 ηYηY ε ε ε Z1 Z2 Z3 Z4 Z β 01 für X = 0 β 02 β 03 β 04 β 05

19 Pfaddiagramm Y1 Y2 Y3 ηYηY ε ε ε Z1 Z2 Z3 Z4 Z β 01 +β 11 für X = 1 β 02 +β 12 β 03 +β 13 β 04 +β 14 β 05 +β 15

20 Pfaddiagramm Y1 Y2 Y3 ηYηY ε ε ε Z1 Z2 Z3 Z4 Z β 01 +β 21 für X = 2 β 02 +β 22 β 03 +β 23 β 04 +β 24 β 05 +β 25

21 Berechnung mit EffectLite Modell mit Kovariate „Bedürftigkeit“

22... mit Kovariate Group 1 - Control group 0 Effect E(g1) Effect E(g1) Std.error Std.error Effect/Std.error Effect/Std.error Effect size Effect size Group 2 - Control group 0 Effect E(g2) Effect E(g2) Std.error Std.error Effect/Std.error Effect/Std.error Effect size Effect size ohne Kovariate Group 1 - Control group 0 Effect !!! Effect !!! Std.error Std.error Effect/SE Effect/SE Effect size Effect size Group 2 - Control group 0 Effect !!! Std.error Effect/SE Effect size Effect size *** Detailed analysis of the effects ***

23 Modellgleichung = (118, ,12 · I Z=1 -38,246 · I Z=2 - 29,925 · I Z=3 - 26,937 · I Z=4 - 6,918 · I Z=5 ) + (4,56 + 9,7 · I Z=1 + 3,952 · I Z=2 + 7,649 · I Z=3 + 11,365 · I Z=4 + 1,383 · I Z=5 ) · I X=1 + (-7, ,398 · I Z=1 + 5,212 · I Z=2 + 10,398 · I Z=3 + 0,995 · I Z=4 + 15,650 · I Z=5 ) · I X=2 Modellgleichung E(Y|X,Z) = g 0 (Z) + g 1 (Z) · I X=1 + g 2 (Z) · I X=2

24 LISREL Pfaddiagramm X = 0

25 LISREL Pfaddiagramm X = 1

26 LISREL Pfaddiagramm X = 2

27  Falsifikation der Hypothese der Unkonfundiertheit durch Falsifikation folgender Hypothese: E[E X=j (Y|W)] – E X=j (Y) = 0 für alle Werte j = 0, 1, …, J.

28 Unkonfundiertheit (3) E X=j (Y) = E X=j [E X=j (Y|W)] EffectLite Output Group means of the outcome variable(s) Group Outcome Mean Std.dev. Adj.mean SE(Adj.mean) Group Outcome Mean Std.dev. Adj.mean SE(Adj.mean) 0 Y Y Y Y Y Y  – = ≠ 0 95% Konfidenzintervall für Bsp.: SE Y0 = / √1251 =  Mean: ± · 1.96  [ ; ]  adjustierten Mean: ± · 1.96  [ ; ]

29 Testen der Unkonfundiertheit - der Kovariaten – Treatment Regression -  Nutzung der dritten Formulierung Für jede Abbildung W = f(U) der beobachteten Unitvariable gilt: Für jede Abbildung W = f(U) der beobachteten Unitvariable gilt: E X=j,Z=z (Y) = E[E X=j,Z=z (Y|W)] für alle Werte j = 0, 1, …, J.

30 Berechnung der Biases Baseline bias jk = E(τ k |X=j) – E(τ k |X=k) Effect bias jk = E(τ jk |X=j) – ACE jk E(τ 0 |X=0) = Σ τ 0 (u) ·P(U=u|X=0) = 101,857 E(τ 0 |X=1) = Σ τ 0 (u) ·P(U=u|X=1) = 85,143 E(τ 0 |X=2) = Σ τ 0 (u) ·P(U=u|X=2) = 101,857 E(τ 10 |X=1) = Σ τ 10 (u) ·P(U=u|X=1) = 11,238 E(τ 20 |X=2) = Σ τ 20 (u) ·P(U=u|X=2) = -1,238

31

32 E(τ 0 |X=0) = 101 6/7 E(τ 0 |X=1) = 85 1/7 E(τ 0 |X=2) = 101 6/7 Baseline bias 10 = E(τ 0 |X=1) - E(τ 0 |X=0) = -16,714 Baseline bias 20 = E(τ 0 |X=2) - E(τ 0 |X=0) = 0,000 Effect bias 10 = E(τ 10 |X=j) – ACE 10 = 11,238 – 10 = 1,238 Effect bias 20 = E(τ 20 |X=j) – ACE 20 = - 1,238 – 0 = -1,238

33 PFE 10 = ACE 10 + baseline bias 10 + effect bias 10 = 10 + (-16,714) + 1,238 = - 5,476 = 10 + (-16,714) + 1,238 = - 5,476 PFE 20 = ACE 20 + baseline bias 20 + effect bias 20 = (-1,238) = -1,238 = (-1,238) = -1,238

34 Gewichtung der Outcome- Variable Y w ≡ Y·W  W ≡ ∑ I x=j · P(X=j)/P(X=j|U) E(Y W |X=j) = E(τ j ) E(Y W |X=j) - E(Y W |X=k) = ACE jk Nachteil: große Standardfehler!

35 Berechnung mit EffectLite Modell mit gewichteten Outcome - Variablen

36 Modellvergleich  Unser Modell (Modell 1) Treatment - Variable: X  X 0 = Kontrollgruppe Outcome - Variablen: Y1-3  latent, Ladungen auf 1 Kovariaten: Neediness 1-5  manifest stochastisch  Modell 2 Annahme gleicher Outcome – Fehlervarianzen über alle X  Modell 3 Outcome - Variablen: Y1-3  manifest  Modell 4 Kovariaten: Neediness 2-6  manifest stochastisch  Modell 5 Kovariate: Geschlecht  manifest stochastisch  Modell 6 (nicht berechnet) Kovariaten: Neediness 1-5 und Geschlecht  manifest stochastisch