Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Die ökonomische Bedeutung psychologischer Interventionen und warum wir sie alle unterschätzen Werner W. Wittmann Universität Mannheim 45. Kongress der.

Ähnliche Präsentationen


Präsentation zum Thema: "Die ökonomische Bedeutung psychologischer Interventionen und warum wir sie alle unterschätzen Werner W. Wittmann Universität Mannheim 45. Kongress der."—  Präsentation transkript:

1 Die ökonomische Bedeutung psychologischer Interventionen und warum wir sie alle unterschätzen Werner W. Wittmann Universität Mannheim 45. Kongress der Deutschen Gesellschaft für Psychologie Nürnberg, 17. – 21. September 2006

2 Gliederung Lokalkolorit Welche methodischen Fehler begehen wir in Forschung und Evaluation Was wissen wir über die Effektivität unserer Interventionen Eine einfache Idee, die Effektstärke am break- even Punkt und die Abschätzung eines ROI (return on investment) Koeffizienten Ausgewählte Beispiele

3 Ludwig Erhard: Franke und Begründer der sozialen Marktwirtschaft, Wirtschaftsminister und Bundeskanzler, Vater des Wirtschaftswunders Ökonomie ist zu 50% Psychologie!

4 Die Anwendungsfelder psychologischer Interventionen und Strategien nach Pawlik (1976) Auswahlstrategien Modifikationsstrategien Personen Bedingungen Personalauswahl Schüler- und Studenten= auswahl Laufbahnberatung Counseling Berufsberatung Erziehungsberatung Personalentwicklung Training Therapie Arbeitsplatzgestaltung Organisationsentwicklung Umweltgestaltung Familientherapie

5 Evidenzbasierte Interventionen und Strategien? Wissen wir was wir tun? Welche monetär und nicht monetär bewertbare Evidenzen kann die Psychologie vorweisen? Nur nichtmonetär bewertbare Evidenzen? Der Stellenwert systematischer Evaluationsforschung und Programmevaluation Meta-Analysen zu Synthese der Evidenz von Interventionen, Strategien und Programmen

6 Die Konzeption der fünf Datenboxen Bewertungs- bereich Kriterien- zielbereich Programm Behandlung Intervention Ausgangslage Nordwest-Pfad EVA-Box KR-Box NTR-Box PR-Box ETR-Box r ETR-KR r NTR-KR r PR-KR r PR-NTR r PR-ETR Südwest-Pfad

7 The Brunswik-lens-equation for relating experimental treatment (ETR) to criteria (CR) Selection effects due to restriction (enhancement) of range 1 Danger to overestimate 1 Danger to underestimate Psychometric reliability of experimental treatment and criterion 2 Dangers to underestimate Construct reliability of experimental treatment and criterion 2 Dangers to underestimate (lack of symmetry) Sampling error 1 Danger to overestimate (positive error) 1 Danger to underestimate (negative error) There 6 dangers to underestimate against 2 dangers to overestimate A true effect size!

8

9 The beauty of Brunswik symmetry ETR-Box PR-Box CR-Box ETR - Experimental Treatment Box PR - Predictor Box CR - Criteria Box NTR - Nonexperimental Treatment Box NTR-Box

10 Validität der einzelnen eignungsdiagnostischen Verfahren Leistungstests Arbeitsproben Assessment Center Biograph. Fragebogen Zeugnisnoten Med. Begutachtung Intelligenztests Gruppengespräche Interview Referenzen Bewerbungsunterlagen Graphologie Individuelle Gespräche Persönlichkeitstests

11 Einsatzhäufigkeit der einzelnen eignungsdiagnostischen Verfahren Leistungstests Arbeitsproben Assessment Center Biograph. Fragebogen Zeugnisnoten Med. Begutachtung Intelligenztests Gruppengespräche Interview Referenzen Bewerbungsunterlagen Graphologie 10%020%30%40%50%60%70%80%90%100% Individuelle Gespräche Persönlichkeitstests

12 Asymmetrien zwischen Validität und Einsatzhäufigkeit: Konsequenz hohe Opportunitätskosten

13 The cost-benefit equation for selection decisions: U: Utility(benefit) of selection strategy in $ N POS : Number of positions to be filled r CR.PR : Validity (Pearson r) of strategy SD PROD : Standard deviation of productivity of those working on the job Z : Average score of those selected on the assessment instrument in z-scores (mean=0,sd=1) SR: Proportion of those selected,i.e. the selection rate DISC: Discounting factor of utility given someone stays T-years on the job C: Cost of selection strategy per tested applicant DISC= ((1+i) T – 1)/(i*(1+i) T ) i : Discounting proportion, e.g. the average inflation rate per year U=N POS *r CR,PR *SD PROD *Z*DISC-N POS *C/SR

14 Evaluating Programs With Kirkpatricks Four Levels: Outcome criteria very popular in training and marketing research Level 1-Reaction Level 2-Learning Level 3-Behavior Level 4-Results Source: Kirkpatrick,D.L.(1998) Evaluating training programs.The four levels (2 nd ed.). San Francisco:Berrett-Koehler Publishers,Inc.

15 Level 4 - Results Results can be defined as the final results that occurred because the participants attended the program. The final results can include increased production, improved quality, decreased costs, reduced frequency and/or severity of accidents, increased sales, reduced turnover, and higher profits. It is important to recognize that results like these are the reason for having some training programs. Therefore, the final objectives of the training program need to be stated in these terms.

16 Die Brogden-Cronbach-Gleser Kosten-Nutzen-Analyse von Interventionen, das Dornröschen der Kosten-Nutzen-Analyse: Folgende Kennwerte werden aus der Evaluationsforschung benötigt. a)Effektgrößemaße für die Intervention (d) b)Die Wirkungsdauer des Effektes (T) c)Die Anzahl der Trainierten,Therapierten,Rehabilitierten (N) d)Die Gesamtkosten pro Person (K) e)Die Standardabweichung der Produktivität (SD PROD ) f)Die proportionale Überlappung des Effektes zur Produktivität (a) Diese Informationen können in folgender Nutzengleichung zusammengefasst werden, um den gesamten Nettonutzen (U) zu schätzen.

17 Die Standardabweichung der Produktivität, das Dornröschen Kosten-Nutzen-Gleichung Ökonomen scheiterten SD Prod zu schätzen und ins Leben zu erwecken Zwei Psychologen, Frank Schmidt und Jack Hunter gelang es jedoch erste brauchbare Schätzungen vorzulegen Die Faustregel 40-70% des Gehalts L. Erhard hätte dies sicherlich gefreut basieren diese Schätzungen doch auf Prinzipien der Marktwirtschaft Wann erhalten beide endlich den Nobelpreis für Ökonomie?

18 Meta-Analyse, der Königsweg zur Evidenz: Drei Männer und Ansätze der Ersten Stunde Gene Glass Frank Schmidt Robert Rosenthal

19 Meta-analysis results of the relationship between design and evaluation features and the effectiveness of organizational training (Arthur et al. 2003) Training design and evaluation features No. Of data points (k)N Sample- weighted M d Corrected SD % Variance due to sampling error Evaluation criteria Reaction Learning23415, Behavioral12215, Results261,

20 Frage: Unter welchen Rahmenbedingungen wiegt der Nutzen die Kosten gerade auf? Frage: Welche Effektstärken müssen wir dafür wenigstens erzielen? Antwort: Über Break-Even-Point Analyse Bruttonutzen = Kosten N * T * SD PROD * d * a = N * K Antwort: Die einfache Idee:

21 Effect size at the break-even-point an example: Assume that a training program total cost C=8000$ per trainee, The effect holds on for two years (T= 2). The outcome measure assessing communications skills to improve costumer oriented selling has an overlap of a=.60 with productivity. Yearly salary in that job category is 40000$ and we use the 70% estimate, thus SD PROD = 28000$. d = 8000$/(2*.60*28000$); d =.24 In Cohens classification this is an effect close to a small one and meta-analysis results might additionally hint that programs similar to the one we use or want to evaluate have still larger effects.

22 Das Return on Investment Konzept (ROI) Vergleichen wir nun unseren Effekt am break-even-point mit den Effekten,die wir aus Meta-Analysen kennen, so können wir den ROI-Koeffizienten für diese Interventionen abschätzen: ROI= d Metanalyse / d break-even In unserem Beispiel aus der Meta-Analyse von Arthur et al. ist der Effekt für Results (monetär) d=.62 also : ROI(Personaltraining) =.62/.24 = 2.58 Solche ROIs sind beträchtlich und lassen erheblichen Spielraum für Sensitivitätsanalysen, d.h. auch unter konservativen Szenarien bleiben sie in einer Höhe mit der psychologische Interventionen absolut konkurrenzfähig zu anderen Investitionsentscheidungen sind.

23 Problem: Nobody is satisfied just getting back the money invested after a year. The amount of money returned after a year should be larger. Thus this quotient of money invested to money returned, which is labeled as ROI should be larger then one, i.e. : ROI > 1 But how much larger? To get a feeling what ROI-coefficients are considered as impressive we can look at other areas! Interest rates mirror this for example. As psychologists we have to compete against other stakeholders with respect to investment decisions. Should someone invest money in programs we have to offer or would that investment result into a waste of money or opportunity costs? How can we a-priori answer such a question? THE RETURN ON INVESTMENT CONCEPT (ROI)

24 Computing an effect size necessary to compete with others claiming to have a certain ROI Other competitor about investments may claim having a ROI=2, which means after a year for each dollar the investor get two dollars back. Impressive indeed. Can we compete, what effect size do we have to demonstrate to get a similar ROI? Well d necessary = ROI* d Break-Even and using data from the example above: d necessary = 2 *.24 d necessary =.48! This is a medium sized effect only. So shouldnt we be confident in competing?

25 Lipsey and Wilson (1993) effect size distribution

26 Evidenz aus umfassenden Evaluationsstudien zur Ergebnisqualität in der psychosomatischen Rehabilitation mit mindestens einem Katamnesezeitpunkt (Auswahl) 1 Studien mit Zugang zu den Primärdaten (Stand August 2000)

27

28 Frage: Wie groß ist das Dornröschen SD PROD ? Antwort: Vielen Dank an Frank Schmidt und Jack Hunter! Deren systematische Forschungsarbeiten haben gezeigt, dass SD PROD über viele Berufsfelder hinweg zwischen 40 % und 70 % des Jahreseinkommens lag. Die neueren Untersuchungen, auch unsere eigenen, zeigten Werte von 70 % und größer! Bei 13 Monatsgehältern wären dies 13 * 2.000,- Euro =26.000,- Euro, davon 70 % SD PROD = ,- Euro Die proportionale Überlappung unserer Ergebnismaßes sei: a=.60 (bei einem rein monetären Maß ist a=1.0)

29 Die Effektstärke am Break-Even-Point ist damit: ! Meta-Analysen liefern Evidenz, ! daß wir weit über dem Break Even liegen

30 Problem: Natürlich ist niemand zufrieden, wenn er/sie gerade die Investitionskosten wieder nach einem Jahr zurück bekommt. ROI sollte größer EINS sein! ROI > 1 aber wieviel? Wie groß sind ROIs in anderen Lebensbereichen? Nehmen wir an, wir möchten ROI = 2 Wie groß muss dann unsere Effektstärke d sein? d = 2*d break-even ; allgemein d gewünscht = ROI * d break-even In der Beispielrechnung muß die Reha dann folgenden Effekt zeigen: DAS RETURN ON INVESTMENT KONZEPT (ROI) d= 2*.37; d.h.: d=.74

31 Effektgröße d für EMEK_27 EQUA-Studie (Schmidt, Nübling, Steffanowski & Wittmann, 2002) EMEK_27 vor Reha: EMEK_27 nach Reha: d = (17,1 – 12,0) / 5,3 d = 0,96 Der Effekt beträgt fast eine ganze Standardabweichung. Dem durchschnittlichen Patienten geht es insgesamt besser als 84 % der Patienten vor der stationären psychosomatischen Rehabilitation! ROI = d / d BREAK-EVEN = 0,96/0,37; ROI = 2,59 !

32 Monetär bewertbare Nutzenaspekte (Zielke, 1995) (Objektiv erhobene Daten in Einzelbetriebskrankenkassen aus Baden-Württemberg, Nordrhein- Westfalen, Rheinland-Pfalz) Errechnete Kosten-Nutzen-Relation je Patient (Gesamt)1 : 2,49ROI = 2,49 je erwerbstätiger Patient1 : 3,46ROI = 3,46

33 Annahme: Eine Einrichtung erzeugt eine durchschnittliche Effektstärke vond = 1,00 im Laufe eines Jahres werden 1000 Patienten behandelt:N = 1000 Der Behandlungseffekt hält 2 Jahre (T) lang an: T = 2 Die Kosten pro Patient betragen - direkt 5.000,- (Behandlungskosten) - indirekt 3.000,- (Lohnfortzahlung für 1,5 Monate): K = 8.000,- Die Standardabweichung der Produktivität beträgt 70% des Jahresgehaltes (13 * 2.000,- = ,-) ergibt: SD PROD = ,- Der erzielte Globaleffekt korreliert zu.60 mit der Produktivität: a=.60 OPPORTUNITÄTSKOSTEN Ein Beispiel zur Veranschaulichung der Konsequenzen falscher gesundheitspolitischer Entscheidungen U = , ,- U = ,- Millionen an entgangenem Nutzen (Opportunitäten) = Opportunitätskosten Wir setzten die Werte in unsere Kosten-Nutzengleichung ein: U = N * T * SD PROD * d * a - N * K ; d.h. U = 1000 * 2 * * 1 *, * 8.000

34 Demands on the workforce CP SNOWs distinction of the two cultures Buz Hunts question: Will we be smart enough? Camilla Benbow and David Lubinskis focus on tilted profiles in aptitude and achievement

35 Tilted Profiles VERBAL QUANT Upper third Middle third Lower third QUANT VERBAL QUANT

36 Tilted Profiles as demands of the workplace QUANT VERBAL

37 Tilted Profiles as demands of a different workplace VERBAL QUANT

38 Even Profiles of still another one VERBAL QUANT

39

40

41

42 EQS PATH-Diagram: PISA_causalmodel1 List of the 24 countries used for this model analysis: AUT BEL CAN CHE CZE DNK ESP FIN FRA GBR GER GRC HUN IRL ITA JPN NLD NOR POL PRT SVK SWE USA STMORALE: Student moral index SCMATEDU: Quality of educational materials PROPMATH: proportion of math teachers A detailed description of these indices is to be found in VariableInformation_Schoolindices.doc IQ_COUNT: Country IQ from Lynn&Vanhanen ZRE:2: Logrealgdp from Lynn&Vanhanen with oil and socialism dummies partialled out. AUS

43

44

45 Zusammenfassung und Empfehlungen Die Psychologie hat die Effektivität ihrer Interventionen in zahlreichen Grundlagen- und Anwendungsfeldern beeindruckend nachgewiesen Leider besteht noch immer die Gefahr ökonomisch bedeutsame Effekte durch Defizite der Forschungsmethodologien nicht zu entdecken Meta-Analyse-Techniken sind einer der größten Exportschlager der psychologischen Methoden geworden Kosten-Nutzen-Analysen sind auch für viele psychologische Interventionen realisierbar Ängste, bezüglich monetärer Effektivität erscheinen vollkommen unbegründet Wenden Sie die vorgeschlagenen Methoden in ihrem Anwendungsbereich an und sie werden erstaunt sein und sich fragen warum sie nicht schon längst solche Analysen durchgeführt haben.


Herunterladen ppt "Die ökonomische Bedeutung psychologischer Interventionen und warum wir sie alle unterschätzen Werner W. Wittmann Universität Mannheim 45. Kongress der."

Ähnliche Präsentationen


Google-Anzeigen