Arbeitsgruppe: Multivariate Verfahren: Probleme und Lösungsansätze

Präsentation zum Thema: "Arbeitsgruppe: Multivariate Verfahren: Probleme und Lösungsansätze"—  Präsentation transkript:

1 Arbeitsgruppe: Multivariate Verfahren: Probleme und Lösungsansätze
Welcher "Bias" liegt bei der Berechnung von Effektgrössen latenter Variablen aus Strukturgleichungsmodellen vor? Werner W. Wittmann Otto-Selz-Institut der Universität Mannheim, Germany Arbeitsgruppe: Multivariate Verfahren: Probleme und Lösungsansätze Leitung und Organisation: Prof. Dr. Karin Schermelleh-Engel Diskutant: Prof. Dr. Andreas Klein 49. Kongress der Deutschen Gesellschaft für Psychologie September 2014, Bochum

2 Warum vermute ich einen „Bias“ bei der Berechnung von Effektgrössen aus Strukturgleichungsverfahren (SEM)? Effekte aus SEM erscheinen mir bei vielen meiner eigenen Studien als außergewöhnlich hoch. Ich werde versuchen diese Problematik über die zwei wichtigsten Gleichungen der Psychologie zu erläutern. Wie lauten diese beiden Gleichungen? 1)Die Brogden/Cronbach/Gleser (BGC) Kosten-Nutzen-Gleichung 2) Die Brunswik‘sche Linsengleichung entwickelt von Ledyard Tucker und angereichert durch psychometrische Prinzipien im Sinne der psychometrischen Meta-Analyse à la Hunter und Schmidt.

3 Die Brogden/Cronbach/Gleser Kosten-Nutzen Gleichung für Interventionen
Effect size for the intervention or program (d) Time the effect holds on in years (T) The number of subjects treated or trained (N) Total costs per treated or trained subject (C) The standard deviation of productivity (SDPROD) per year in € The proportional overlap of an effect or a path coefficient related to productivity (a) These informations can be used in the following cost-benefit equation. to estimate the total net benefit in € Here you find the central cost-benefit equation. which reminds us that the language of business is dollars and not correlation coefficients. Be aware that we as program evaluators always have to translate what we find in our research to other audiences not educated in the sophisticated research tools developed and used in psychological and social science research. So often we have to learn and consider the language and technical terms of others and have to develop communication skills and tricks to the educated lay stakeholders. Visualization tools are very helpful. U = N * T * SDPROD * d * a – N * C Net-Utility = Quantity * Quality Cost

4 Die BGC Kosten-Nutzen Gleichung für Auswahlstrategien:
U=NPOS*rCR,PR*SDPROD*Z‘*DISC-NPOS*C/SR U: Utility(benefit) of selection strategy in € NPOS: Number of positions to be filled rCR.PR: Validity (Pearson r) of strategy SDPROD: Standard deviation of productivity of those working on the job Z‘ : Average score of those selected on the assessment instrument in z-scores (mean=0;sd=1) SR: Proportion of those selected.i.e. the selection rate DISC: Discounting factor of utility given someone stays T- years on the job C: Cost of selection strategy per tested applicant DISC= ((1+i)T – 1)/(i*(1+i)T) i : Discounting proportion. e.g. the average inflation rate per year As a homework solve that equation to find out the break-even validity coefficient. similar to the break-even-point effect size we computed for interventions. Try an example of our own. what that break-even validity coefficient is. when you assess 1000 applicants for 100 open positions and you charge the company with 1000 $ per tested applicant. To compute Z‘ you need to know the selection rate SR and then look up the ordinate(Phi) of the normal curve at that selection rate from top down. Z‘= Phi/SR.

5 Pfaddiagramme mit manifesten oder mit latenten Konstrukten.
Produktivität in seiner Währung Reasoning MINT Leistungen Produktivität in $$$$ oder €€€€€ MINT Leistungen Reasoning

6 Ein einfaches Beispiel aus einer SEM Analyse des Zusammenhanges latenter Leistungen in MINT-Fächern zu einem latenten Reasoning-Intelligenzfaktor

7 Das gleiche Beispiel, aber nun mit aggregierten MINT Leistungswerten und aggregierten Reasoningwerten -.44 -.50 Die kanonische Korrelation zwischen den Prädiktoren und den Kriterien ist

8 Warum erhalten wir solch unterschiedliche Efffektgrössen (Validitätskoeffizienten)? Welcher Wert ist der richtige: -.66; -.44 or -.50? Welchen Wert sollte man in die BGC Kosten-Nutzengleichung einsetzen? -.50 -.44

9  Louis Guttman ( ) Kommunalität ist eine „lower bound“ Schätzung der Reliabilität. Die Verwendung von „lower bound“ Schätzungen zur Minderungskorrektur führt daher zu einer Überschätzung der Effektgrößen. SEM verwendet die kommunalitätsbasierte Varianz bei der Schätzung der latenten Faktoren, deshalb ? Falls ein Konstrukt einen großen Anteil spezifischer wahrer Varianz enthält, so ist die Überschätzung umso dramatischer.

10 The Brunswik‘sche Linsengleichung für den Zusammenhang von Prädiktoren (PR) und Kriterien (CR)
Selection effects due to restriction (enhancement) of range 1 Danger to overestimate 1 Danger to underestimate Sampling error 1 Danger to overestimate (positive error) 1 Danger to underestimate (negative error) Psychometric reliability of predictor and criterion 2 Dangers to underestimate Construct reliability of predictor and criterion 2 Dangers to underestimate (lack of symmetry) Es gibt 6 Gefahren einen Effekt zu unterschätzen und 2 Gefahren einen wahren Effekt zu überschätzen!

11 Der wahre Effekt gemäß psychometrischer Theorie dargestellt in der Linsengleichung
Diese Gleichung korrigiert die Minderung und Restriktion/Erweiterung des Ranges und Zufallsfehler. Die psychometrische Metaanalyse à la Hunter und Schmidt verwendet implizit diese Linsengleichung.

12 Die Wahl zwischen den verschiedenen Koeffizienten.
Kennen wir die Reliabilitäten der Prädiktoren und der Kriterien? SEM verwendet die gemeinsame Varianz als die wahre Varianz. Diese Kommunalitäten sind „lower-bound“ Schätzungen der Reliabilitäten. Daher besteht die Gefahr der Überschätzung des Zusammenhangs zwischen den latenten Konstrukten falls diese einen bedeutsamen Anteil wahrer spezifischer Varianz enthalten. Das Cronbach alpha ist eine kommunalitätsbasierte Schätzung der Reliabilität, deshalb berechnen wir es für die Prädiktoren und die Kriterienmenge.

13 Cronbach alphas: Für die Menge der drei naturwissenschaftlichen Schulnoten: Für die Menge der figuralen, verbal und numerischen Reasoningwerte: Zur Korrektur der Korrelation (Effektgrösse) der beiden Summenwertewe müssen wir den beobachteten Effekt von .44 durch Quadratwurzel aus dem Produkt der beiden Reliabilitäten, d.h. -.44/SQRT(.687 x .645) dividieren. Diese Minderungskorrektur ergibt den Wert von: -.660 Das ist genau die Effektgröße die wir durch SEM erhalten! Wir wissen jedoch aus anderen Forschungsarbeiten, dass die Reliabilität der Reasoningskala des Berliner Intelligenztest (BIS IV), den wir hier verwendeten, deutlich höher ausfällt und im Bereich zwischen liegt. Die auf Kommunalitäten basierende lower-bound Schätzung, die in SEM verwendet wird, ist deshalb eine Unterschätzung der Reliabilität die nach Minderungskorrektur zu Überschätzungen der Effekte führt. Es gibt substantielle wahre spezifische Varianzen in den Summenskalen aufgrund wahrer spezifischer figuraler, wahrer spezifischer verbaler und wahrer spezifischer numerischer Reasoningvarianz. Diese wahren Varianzquellen werden aber nicht in die latenten SEM-Konstrukte eingeschlossen.

14 Weitere Probleme bei der Berechnung von Effektgrößen: a) Via formative oder reflektive Konstrukte? b) Das Problem des Generalitätsniveaus!

15 Ein „multiple-act“ Kriterium: Sollten wir es als ein formatives oder als ein reflektives Konstrukt konzipieren?

16 Ein anderes „multiple-act“ Kriterium
Ein anderes „multiple-act“ Kriterium. Worin besteht der Unterschied zum vorhergehenden Kriterium? Antwort: Es ist ein Konstrukt auf einer tieferen Generalitätsebene.

17 Die Bedeutung des Linsenmodells in Bezug auf Generalitätsebenen und formative oder reflektive Konstrukte und zur Berechnung von Effektgrößen. Generality- level Prä Intervention (PR-Box) Post Intervention ES II,II Level I ES II,I Aggregierte manifeste Variablen Level II ES I,I Level 0 Manifeste Variable ES 0,0 Boosting reliability via aggregation hints to c)! But is No: This depends on the symmetry between predictor and out come measures. This principle I coined as Brunswik symmetry and it is mapped in the lens model equation as the product RPR,RCR

18 Die Bedeutung der Brunswik-Symmetrie in Bezug auf das Generalitätsniveau und für die Berechnung von Effektgrößen latenter Variablen. Generality- level Prä Intervention (PR-Box) Post Intervention ES II,II Level I ES I,I ES II,I Latente Variable Level II ES 0,0 Level 0 Manifeste Variable Reliability of a latent variable is by definition perfect, i.e. 1.0! ES depends on the symmetry between predictor and outcome measures

19 Vergleich der Effektgrössen berechnet für „single act“ und „multiple act“ Ergebniskriterien aus einer Programmevaluationsstudie des deutschen Gesundheitssystems (N= 456) Glass delta 1) Health status 2) Physical well-being 3) Mental well-being 4) Physical resilience 5) Emotional resilience 6) General well-being 7) Physical achievement potential 8) Mental achievement potential 9) Potential for stress relaxation 10) Ability to communicate well 11) Self-confidence 12) Ability to cope with disappointments 13) Ability to deal with daily hassles Durchschnitt aller 13 „single act“ Kriterien Das „multiple act“ Kriterium (Summenwert) 0.587 0.581 1.164 0.630 0.913 0.805 0.584 0.551 0.856 0.418 0.679 0.749 0.677 0.708 (deutlich grösser wegen höherer Reliabilität)

20 Erbringt eine Meta-Analyse die wahren Effektgrößen
Erbringt eine Meta-Analyse die wahren Effektgrößen? Die überraschende Antwort auf diese Frage lautet: Nein!!!! In Meta-Analysen kennen wir meist die Interkorrelationen der verschiedenen Ergebnisvariablen nicht. Sollte die Interkorrelationmatrix der Ergebnisvariablen vorliegen so können wir die Dimensionalität der Kriterien berechnen. Aber wir haben nie die Rohdaten um die Effektgrößen auf den höheren Aggregationsebenen zu berechnen. Nur Sekundäranalysen aufgrund der ursprünglichen Rohdaten können dies leisten. Meta-Analysen von Studien, die die Dimensionalität der Kriterienmasse vernachlässigen werden meistens die Effektgrößen der zu synthetisierenden Studien unterschätzen.

21 Zusammenfassung und Schlussfolgerungen
Falls Sie Forschungsarbeiten kennen, die Antworten geben wieviel Geld Onkel Dagobert in seinem Safe hatte, nachdem er die adäquate Effektgröße in die BGC Gleichung einsetzte um Kosten-Nutzen zu erfassen, so lassen Sie es mich wissen. Formative Konstruktes enthalten wahre(reliable) gemeinsame Varianz und wahre(reliable) spezifische Varianz. Reflektive Konstrukte enthalten nur wahre (reliable) gemeinsame Varianz. Was ist die bessere, angemessenere Operationalisierung der Konstrukte an denen wir interessiert sind? Nur Theorien geben Hinweise, aber ich muss gestehen, dass ich im Gegensatz zu vielen überzeugt bin, dass dies meist formative Konstrukte sind, wie z.B. GDP/c Konstrukte in den Wirtschaftswissenschaften. Die Alternative zu SEM its PLS. PLS verwendet formative Konstrukte, hat jedoch in den Augen der „SEM community“ andere Defizite. Klassische Meta-Analysen, unterliegen der Gefahr die Effekte zu unterschätzen. Meta-Analysen auf der Basis von SEM (MASEM) werden die Effekte überschätzen. Der Weg zur Schätzung der wahren Effekte von Interventionen und Vorhersagen ist komplizierter als gedacht. Danke für Ihre Aufmerksamkeit.