Anwendungsseminar: Kausale Modellbildung Datenanalyse mittels Effect Lite Projekt: Schulbasierte Einflüsse auf die soziale (In-)Toleranz von Jugendlichen Antje Arnold Karolin Rohrberg

Gliederung Hypothesen in Effect Lite unser Datensatz 3. Berechnung mit Effect Lite 4. Zusammenfassung

Erinnerung: Was kann man damit analysieren? Vorteile? Effect Lite Erinnerung: Was kann man damit analysieren? Vorteile? Effect Lite Analyse von Mittelwertdifferenzen zwischen Gruppen unter Berücksichtigung mehrerer manifester oder latenter Outcome-Variablen Analyse bedingter und durchschnittlicher Effekte unter Berücksichtigung mehrerer manifester oder latenter Kovariaten Vorteile von Effect Lite + keine zusätzlichen Annahmen über die Homogenität der Varianzen (im univariaten Fall) oder der Kovarianzmatrizen (im multivariaten Fall) zwischen den Gruppen notwendig + latente Outcome-Variablen und latente Kovariaten + Interaktionen zwischen Kovariaten und Treatmentvariablen möglich + Analyse der bedingten Effekte gegeben die Kovariaten + durchschnittliche Effekte bei Interaktion des Treatments mit einer oder mehreren Kovariaten

Regressionsgleichung: daraus ergibt sich: Hypothese 1: Hypothesen in Effect Lite a) dichotomes treatment Regressionsgleichung: daraus ergibt sich: Hypothese 1: Ordinatenabschnitt = alpha 0 Steigungskoeffizient = alpha 1 Ho: Es gibt keinen Effekt, der Steigungskoeffizient alpha1 ist null.

a) dichotomes treatment - Hypothese 1: KG EG Es sind eigentlich nur werte (verbindung der punkte nur der anschauung wegen) Ho: keine Unterschiede zwischen KG und EG bzgl. outcome

Regressionsgleichung: Hypothese 1: Hypothese 2: Hypothese 3: b) dichotomes treatment + dichotome Kovariate Regressionsgleichung: Hypothese 1: Hypothese 2: Hypothese 3: Regressionsgleichungen: sind die selben: 2. ergibt sich aus der ersten g0(Z)=(y00+y01Z)  Ordinatenabschnitt = alpha 0 g1-0(Z)= (y10+y11Z)  Steigungskoeffizient = alpha1 H1: Steigungskoeffizient = 0 H2: Effekt der Kovariate in KG , da X=0 (KG)  hinterer Term fällt weg so kann man schauen, ob Kovariate Z einen Einfluss in KG hat H3:Interaktionseffekt =0

b) - Hypothese 1: z =1 wahrer Effekt z =2 KG EG Ho: Mittelwerte sind gewichtet (adjustiert) mit den häufigkeiten in den gruppen z=1 und z=2 Ho: keine Unterschiede zwischen KG und EG bzgl. outcome wahrer Effekt ist 0

. . b) - Hypothese 2: z =1 z =2 KG EG Ho: keine Unterschiede in den Kovariate-Ausprägungen in KG bzgl. outcome d.h. es gibt keine Unterschiede von vorn herein (ohne treatment )

b) - Hypothese 3: z =1 Interaktion z =2 KG EG Ho: kein Interaktionseffekt zwischen Kovariate und treatment bzgl. outcome d.h. in beiden Bedingungen wirkt treatment gleich

2. unser Datensatz Quelle: Abteilung Pädagogische Psychologie Projekt: Schulbasierte Einflüsse auf die soziale (In-)Toleranz von Jugendlichen  Ethik Teilstudie Untersuchungsgegenstand: explizite Erfassung von Vorurteilen bei Schülern treatment: Unterrichtseinheit „Urteilen“ im Ethikunterricht (Teil des Lehrplans) treatment: 1 Unterrichtseinheit = 8 Unterrichtsstunden Inhalt lt. Lehrplan: Vorurteile und ihre Funktionen kritisches Hinterfragen von Info´s sokratisches Gespräch Urteilen und Entscheiden (Gedankenexp., Dilemma thematisieren)

2. unser Datensatz N = 173 männlich: 91 weiblich: 82 Alter: 13 –16 Jahre Æ  13,9 Jahre  Klasse 8 Gymnasium: 121 Regelschule: 52 EG: 81 KG: 92 Erhebung zu 2 Zeitpunkten 3 Regelschule, 3 Gymnasien in Thüringen pro Schule zwei 8. Klassen erhoben warum gerade 8.Klassen: da nur in 8.Klasse in beiden Schultypen die selbe Unterrichtseinheit gelehrt wird, deshalb vergleichbar (Regelschule – Gymnasium) Lehrer waren innerhalb einer Schule über die zwei Klassen hinweg konstant (die gleichen)

erhobene Konstrukte politische Einstellungen  Intoleranz  SDO  politische Partizipationsbereitschaft .... individuelle Variablen  Motivation zur Vorurteilsvermeidung  Empathie  Perspektivenübernahme  Offenheit .... Schulvariablen  Klassenklima  Strenge  Leistungsdruck  Ethikunterricht ...

relevante Konstrukte Intoleranz besteht aus 6 Items z.B. „Ausländer sollten grundsätzlich ihre Ehepartner unter ihren eigenen Landsleuten auswählen.“ „Zuwanderer erhöhen die Kriminalitätsrate.“ 4 stufige Ratingskala Bildung des MW (z_intol) korrekte Identifikation von Vorurteilen 6 Aussagen ja/nein z.B. „Im Allgemeinen haben Professoren mehr Bücher.“ „Im Allgemeinen sind Professoren vergesslicher.“  Summenscore gebildet (z_vu_jn ) Reliabilitäten: Nur auf Nachfrage Intoleranz t1 = .76 Intoleranz t2= .80

3. Berechnung a) mit Effect Lite Ho: Es gibt keine Unterschiede zwischen KG und EG bzgl. Intoleranz dichotomes treatment: Unterricht KG = 0 EG = 1 outcome: Intoleranz-Wert zu T2 Kovariate: ----

Berechnung a) mit Effect Lite 0 = KG, markieren notwendig outcome manifest - direkt gemessen outcome Kovarianz, nur anzuklicken, wenn Varianz für beide Gruppen bzgl. treatment gleich ist  dichotomes treatment, ohne Kovariate

Berechnung a) mit Effect Lite Nur falls Steyer nachfragt: was in unterer Abbildung zu sehen Chi-Quadrat differenzentest zwischen 2 Chi-Quadrat-Werten (der 2 getesteten Modelle) Effektlite vergleicht zwei Modelle: 1 constrained (restrikitv)model (jeweiliges gamma wird auf 0 gesetzt, das andere frei geschätzt) und 1 unconstrained model (beide gamma fei geschätzt) Siehe Aufzeichnungen Freiheitsgrade ???? Warum 1 ??? Keine Ahnung

Berechnung a) mit Effect Lite Hypothese 1: p-Wert: 0.7033  nicht signifikant  kein Unterschied zwischen EG und KG hinsichtlich Intoleranz Mean Gruppe 0 – Gruppe 1 Effekt = Differenz der Mittelwerte (2,287 – 2,252 = 0,036) Gruppe 1 – Gruppe 0  wenn Werte in EG höher sind, dann Effekt = positive Zahl ( = + 0,036)  bei uns: höhere Werte = höhere Intoleranz  in EG der Fall wenn Differenz negativ wird, dann war Wert in EG niedriger als in KG  Effekt ist ne negative Zahl ( = - 0,036) Standadfehler = Standardabweichung ( Std.dev)geteilt durch die Wurzel der Stichprobengröße Standardfehler: angepaßter..Merkmalsverteilung Standardabweichung: kennwerteverteilung Effektschätzung = Effekt : Standardfehler = 0.036 : 0.093 = 0.381  t-verteilt, signifikant bei –1.96  nicht signifikant   Effect size = Effektstärke = Effekt : Standardfehler in KG = 0.034 : 0.594 = 0.060  ist auch t-verteilt, signifikant bei –1.96  nicht signifikant Effekt im Verhältnis zur Streuung (Std.error) in KG  aussagekräftiger je nach Streuung der Verteilung Gruppe in der was passiert im Vergleich

korrekte Identifikation von Vorurteilen Berechnung a) mit Effect Lite korrekte Identifikation von Vorurteilen

Berechnung b) mit Effect Lite dichotomes treatment: Unterricht outcome: Intoleranz-Wert zu T2 Kovariate: Geschlecht

b) - Hypothesen Hypothese 1 - Ho: Es gibt keine Unterschiede zwischen der KG und der EG hinsichtlich der Intoleranz. Hypothese 2 – Ho: Es gibt keine Unterschiede zwischen Mädchen und Jungs (Kovariate = Geschlecht) in der KG bzgl. Intoleranz. Hypothese 3 – Ho: Es gibt keinen Interaktionseffekt zwischen Geschlecht (Kovariate) und Unterricht (treatment) bzgl. Intoleranz. H3: in beiden Bedingungen wirkt der Unterricht gleich.

Berechnung b) mit Effect Lite fixiert: gleiche Anzahl von Auspräung z.B. Männer und Frauen, von vornherein gegeben Variable stochastisch: wenn nicht gleichwahrscheinlich, unterschiedliche Anzahl von Männern und Frauen !!

Berechnung b) mit Effect Lite Ho 1: wahrer Effekt = 0  bestätigt Ho 2: keine Unterschiede zwischen Jungs und Mädchen in KG bzgl. Intoleranz  bestätigt Ho 3: keine Interaktion zwischen Geschlecht und treatment bzgl. Intoleranz  bestätigt Hypothese 2: nicht signifikant keine Unterschiede zwischen Jungs und Mädchen in der KG zu T2 (Simson Paradox – nicht vorhanden)   Hypothese 3: nicht signifikant Interaktionseffekt zwischen Kovariate und treatment bzgl. outcome nicht vorhanden Training wirkt nicht besser bei Mädchen oder Jungs

Berechnung b) mit Effect Lite KG EG z =1  Mädchen z =0  Jungs grafische Veranschaulichung der Hypothesen Folie 23

Berechnung b) mit Effect Lite tabelle 1 : über beide Gruppen Jungs und Mädchen, in KG und EG Effekt: Differenz der adjustierten Mittelwerte ( Folie 24: 2,277-2,255 =0,022) …ist auch berechenbar über tabelle 2 (0,016x87 +0,029x79 = 3,683 /166 = 0,022) Standadfehler = wie wird er berechnet?? Effektschätzung = Effekt : Standardfehler  t-verteilt, signifikant bei –1.96  nicht signifikant   Effect size = Effektstärke = Effekt : Standardfehler in KG   ist auch t-verteilt, signifikant bei –1.96  nicht signifikant Effekt im Verhältnis zur Streuung (Stderror) in KG  aussagekräftiger je nach Streuung der Verteilung Gruppe in der was passiert im Vergleich Tabelle 2: immer KG und EG (da Kovariatstufen nie im output erscheinen) für beide Gruppen (KG,EG) – einzelne Ergebnisse annäherend gleich  keine Unterschiede Prinzipiell wenn große unterschiede  Hinweis auf Zuweisungsstrategie (dann nicht randomisiert, z.B. die, für die Training von vorn herein effektiver ist, sind auch in trainingsgruppe)

Berechnung b) mit Effect Lite g0(z) = 2.277 – 0.046 z g1-0(z) = 0.064 – 0.085 z Gleichung  Berechnung der Werte, die man für Gruppen erwartet (Jungs-KG, Jungs-EG, Mädchen-KG, Mädchen-EG) Adjustierte MW- kausale unverfälschte EW nicht unbedingter MW, sondern adjustiert (gewichtet um die Häufigkeiten in den einzelnen Zellen, in den Subpopulationen: mehr Jungs als Mädchen) Adjustierter MW ergibt sich auch aus Gleichung siehe links oben (gewichtet berechenbar bei Kovariaten: Berechnung mit adjusted Mean = adjustiert z.B. am Geschlecht adjustiert leicht erhöhte /erniedrigte Werte (so auch der p-Wert in1.Hypothese verändert vgl. p-Wert ohne Kovariate Hypothese 1) Theoretisch also so: Wenn alle vier Zellen (Männer-KG, Männer-EG, Mädchen-KG, Mädchen-EG)gleich besetzt (Anzahl), dann sollten die p-Werte der Berechnung a) Hypothese1 und Berechnung b) hypothese 1 gleich sein.

Berechnung b) mit Effect Lite Kovariate: Schultyp: Gymnasium – Regelschule keine signifikanten Ergebnisse

Berechnung b) mit Effect Lite outcome: korrekte Identifikation der Vorurteile Kovariate: Geschlecht Ho 3: signifikantes Ergebnis d.h. Interaktion zwischen Geschlecht und treatment bzgl. Identifikation

Berechnung b) mit Effect Lite KG EG z =1  Mädchen z =0  Jungs

Berechnung b) mit Effect Lite Erklärung: Effekt hat einen negativen Wert, das heißt das die Werte in KG größer sind, als in EG  d.h. die Korrekte Identifikation der Vorurteile war in KG besser (haben mehr korrekt als Vorurteile identifiziert) Gamma11 = 0,874 (der ZxX-Parameter der g1-0(z) –funktion) …ist positiv, da treatment für höher kodierte Gruppe (Mädchen=1) besser wirkt  nur innerhalb der EG gibt’s die Unterschiede zwischen Mädchen und Jungen Koeffizient ist positiv  Mädchen (z=1) zeigen bessere Ergebnisse in EG, d.h. sie profitieren stärker als Jungs (z=0)

Berechnung b) mit Effect Lite outcome: korrekte Identifikation der Vorurteile Kovariate: Schultyp Ho 2: Tendenz, dass es Gruppenunterschiede zwischen Schultyp bzgl. Identifikation in der KG gibt

Berechnung b) mit Effect Lite Koeffizient ist positiv  Gymnasiasten (z=1) zeigen höhere Werte bzgl. der Identifikation ggü. Regelschülern (z=0) in der KG

. . Berechnung b) mit Effect Lite z =1  Gymnasium z =0  Regelschule KG EG . z =1  Gymnasium . z =0  Regelschule

4. Zusammenfassung keine signifikanten Effekte des treatments bezogen auf Intoleranz und korrekte Identifikation der Vorurteile Intoleranz: keine Signifikanz bei Betrachtung der Kovariaten Geschlecht  keine Unterschiede und Veränderung bei Jungs und Mädchen Schultyp  keine Unterschiede und Veränderungen bei Gymnasiasten und Regelschülern

4. Zusammenfassung korrekte Identifikation von Vorurteilen: Geschlecht: signifikante Interaktion  Mädchen können nach dem Training Vorurteile besser identifizieren Schultyp: Tendenz zu Unterschieden in KG  Gymnasiasten haben höhere Identifikationswerte als Regelschüler Gründe: ..... eventuelle Gründe: unterschiedliche Unterrichtsgestaltung/unterschiedliches Material/ nicht standardisiert (jeder Lehrer macht's anders) Wahl der Items/bzw. der Messung von Vorurteilen  Validität??? Hypothese fraglich: Können individuelle Einstellungen durch Unterricht beeinflußt/geändert werden. davon geht aber Schulgesetz aus  evtl.Vorurteile schon relativ stabil in 8.Klasse (bei jüngeren evtl. Effekte)

Danke für Eure Aufmerksamkeit !!! Prätest Treatment Posttest Design outcome: zintol Kovariate: eintol Ho: Gibt es Unterschiede im Vorfeld? Haben sie gleiches Ausgangsniveau? Latentes outcome zintol als parallele Testhälften über Lisrel dann Berechnung – latent - in Effect Lite