Werner W. Wittmann Universität Mannheim, Lehrstuhl Psychologie II

Präsentation zum Thema: "Werner W. Wittmann Universität Mannheim, Lehrstuhl Psychologie II"—  Präsentation transkript:

1 Werner W. Wittmann Universität Mannheim, Lehrstuhl Psychologie II
Varianten der Veränderungsmessung auf dem Prüfstand: Probleme der Konsistenz / Inkonsistenz und Validität von direkten, indirekten und quasi-indirekten Assessmentstrategien Werner W. Wittmann Universität Mannheim, Lehrstuhl Psychologie II Jürgen Schmidt Privatinstitut für Evaluation und Qualitätssicherung im Gesundheits- und Sozialwesen (eqs.)mbH, Karlsruhe Hauptstadtkongress Medizin und Gesundheit, in Berlin Vortrag Zusätzliche verwendete Folien: fig17b.cdr fig17c.cdr fig17d.cdr fig104b.cdr fig67b.cdr 11. REHA-Kolloquium VDR München, März 2002

2 Intervention (REHA-Maßnahme)
Veränderungsmessung: Messzeitpunkte und subjektiver Aggregationsraum VARIANTE INDIREKT Vor der Intervention Frage XV Nach der Intervention Frage XN0 Frage XN1 Frage XN2 Katamnese- zeitpunkt 1 Katamnese- zeitpunkt 2 Intervention (REHA-Maßnahme) Beginn Ende Aggregations- zeitraum: • Heute • Letzte Woche • Letzter Monat • Letztes Jahr • Schon seit mehreren Jahren Aggregations- zeitraum: • Heute • Eine Woche • Einen Monat • Ein Jahr • Seit Ende der Intervention

3 Veränderungsmessung: Messzeitpunkte und subjektiver Aggregationsraum VARIANTE DIREKT
Vor der Intervention Nach der Intervention Frage DXN0 Frage DXN1 Frage DXN2 Intervention (REHA-Maßnahme) Beginn Ende Katamnese- zeitpunkt 1 Katamnese- zeitpunkt 2 Aggregations- zeitraum: • Heute • Letzte Woche • Letzter Monat • Letztes Jahr • Schon seit mehreren Jahren Aggregations- zeitraum: • Ein Tag • Eine Woche • Einen Monat • Ein Jahr • Seit Ende der Intervention Implizite Veränderung im Vergleich zu vorher

4 Veränderungsmessung: Messzeitpunkte und subjektiver Aggregationsraum VARIANTE QUASI-INDIREKT
Vor der Intervention Frage XV Intervention (REHA-Maßnahme) Beginn Aggregations- zeitraum: • Heute • Letzte Woche • Letzter Monat • Letztes Jahr Nach der Intervention Frage XN0 Frage XN1 Frage XN2 Ende Katamnese- zeitpunkt 1 Katamnese- zeitpunkt 2 Aggregations- zeitraum: • Heute • Eine Woche • Einen Monat • Ein Jahr • Seit Ende der Intervention Wie war mein Zustand vor der Intervention?

5 Rahmenbedingungen: Die Datengrundlage für direkte und indirekte Veränderungsmessung

6 Die Bedeutung der Brunswik-Symmetrie in den Generalitätsebenen für die Berechnung der Effektgrößen
ES II,I ES II,II Latente Variablen- ebene Manifeste Variablen- ebene Ordnung I Ordnung II Ordnung 0 Generalitäts- ebenen Vor der Intervention Nach der Intervention ES I,I ES 0,0 Reliabilitätssteigerung durch Aggregation spricht für c)! Aber ist NEIN: Dies ist abhängig von der Symmetrie zwischen Treatment und Ergebnismaßen!

7 Kosten-Nutzen-Analyse von REHA-(Trainings-/Therapie-) Maßnahmen
Ökonomischer Nutzen (netto) von Trainings- (Therapie-) Maßnahmen in DM. Anzahl der trainierten (therapierten) Personen. NT Standardisierte Mittelwertsdifferenz von trainierten (therapierten) versus nicht trainierten (therapierten) Personen. Hier ist dies der Vorher-/Nachher-Vergleich d (N-V) Zeitdauer des Trainings- (Therapie-) Erfolgs in Jahren (wie lange hält der Therapieerfolg an? T Standardabweichung der Produktivität von nicht trainierten (therapierten) Personen bezogen auf 1 Jahr. Für die ökonomische Bewertung wären hier die Zahlen einzusetzen, bezogen auf Personen, die nicht rechtzeitig eine Reha-Maßnahme erhalten. SDKR Kosten des(der) REACT- (Trainings-/Therapie-) Maßnahme pro Person. KT

8 Effektgröße am Break-Even-Point
Um wieviel besser sind wir als Return on Investment (ROI): Welche Effektgröße können wir berichten ?

9 Varianten der Effektgrößenberechnung
Unterschiede Division durch gepoolte Standardabweichung Vorher/Nachher ESCOHEN Division durch die Standardabweichung Vorher Idee: Immer die Standardabweichung der Population derjenigen verwenden, die die Intervention nicht erhalten hatten. ESGLASS Division durch die Standardabweichung der Nachher/Vorher-Differenzwerte ESDIFF ESCOHEN (d) und ESDIFF sind zur Abbildung von Interventionseffekten mit unerwünschten Problemen behaftet ! EMPFEHLUNG: Wenn immer möglich ESGLASS (delta) verwenden ! WARUM ?

10 Wenn SN  SV, bzw. SN = K . SV ist, dann liegt bei:
Antwort: ESCOHEN vermengt Haupt- und Interaktionseffekte. Wenn SN  SV, bzw. SN = K . SV ist, dann liegt bei: a) K > 1 Varianzerweiterung vor mit der Konsequenz: ESCOHEN < ESGLASS b) K < 1 Varianzhomogenisierung vor mit der Konsequenz: ESCOHEN > ESGLASS c) Nur bei K = 1, und SN = SV ESCOHEN = ESGLASS

11 ESDIFF führt wegen des Devisors S(N-V) zu noch schwerwiegenderen Problemen, da:
Bei SN = SV hängt alles von der Vorher/Nachher-Korrelation ab. a) Bei r = .50  ESDIFF = ESGLASS = ESCOHEN b) Bei 0 < r < .50  führt ESDIFF zu einer Unterschätzung c) Bei r > .50  führt ESDIFF zu einer Überschätzung d) Bei zunehmend perfekter Stabilität r  1.0 geht ESDIFF  bei r = 1.0 ist ESDIFF gar nicht mehr definiert.

12 Welche Messstrategie bildet die Ergebnisqualität am besten ab ?
Vorteile Nachteile/Probleme Aufwendiger Effektgrößen-Berechnung Indirekt Erinnerungsfehler BIAS Unter- oder Überschätzung Effektgrößen-Berechnung Quasi-Indirekt (retrospektiv) Effektgrößen-Berechnung nur möglich, wenn Vergleichsgruppen vorhanden sind. Wird wirklich Veränderung gemessen oder nur der Poststatus? Ökonomisch Direkt

13 Welche Messstrategie ist nun besser ?
Der Blickwinkel der Gütekriterien: A) Reliabilität B) Vorhersage- Konstrukt- Interne- Statistische Schlussfolgerungs- VALIDITÄT Sie erhalten einige Antworten in diesem Symposium aus den Forschungsprogrammen der Lübecker und der Karlsruher/Mannheimer Arbeitsgruppen Aber es sei Ihnen versichert: Viele Fragen bleiben noch offen! „Further research is needed“ Wir würden uns freuen, wenn Sie dabei mitmachen würden.