Werner W. Wittmann Universität Mannheim, Lehrstuhl Psychologie II Varianten der Veränderungsmessung auf dem Prüfstand: Probleme der Konsistenz / Inkonsistenz und Validität von direkten, indirekten und quasi-indirekten Assessmentstrategien Werner W. Wittmann Universität Mannheim, Lehrstuhl Psychologie II Jürgen Schmidt Privatinstitut für Evaluation und Qualitätssicherung im Gesundheits- und Sozialwesen (eqs.)mbH, Karlsruhe Hauptstadtkongress Medizin und Gesundheit, 16.-18.05.2001 in Berlin Vortrag Zusätzliche verwendete Folien: fig17b.cdr fig17c.cdr fig17d.cdr fig104b.cdr fig67b.cdr 11. REHA-Kolloquium VDR München, 04. - 06. März 2002

Intervention (REHA-Maßnahme) Veränderungsmessung: Messzeitpunkte und subjektiver Aggregationsraum VARIANTE INDIREKT Vor der Intervention Frage XV Nach der Intervention Frage XN0 Frage XN1 Frage XN2 Katamnese- zeitpunkt 1 Katamnese- zeitpunkt 2 Intervention (REHA-Maßnahme) Beginn Ende Aggregations- zeitraum: • Heute • Letzte Woche • Letzter Monat • Letztes Jahr • Schon seit mehreren Jahren Aggregations- zeitraum: • Heute • Eine Woche • Einen Monat • Ein Jahr • Seit Ende der Intervention

Veränderungsmessung: Messzeitpunkte und subjektiver Aggregationsraum VARIANTE DIREKT Vor der Intervention Nach der Intervention Frage DXN0 Frage DXN1 Frage DXN2 Intervention (REHA-Maßnahme) Beginn Ende Katamnese- zeitpunkt 1 Katamnese- zeitpunkt 2 Aggregations- zeitraum: • Heute • Letzte Woche • Letzter Monat • Letztes Jahr • Schon seit mehreren Jahren Aggregations- zeitraum: • Ein Tag • Eine Woche • Einen Monat • Ein Jahr • Seit Ende der Intervention Implizite Veränderung im Vergleich zu vorher

Veränderungsmessung: Messzeitpunkte und subjektiver Aggregationsraum VARIANTE QUASI-INDIREKT Vor der Intervention Frage XV Intervention (REHA-Maßnahme) Beginn Aggregations- zeitraum: • Heute • Letzte Woche • Letzter Monat • Letztes Jahr Nach der Intervention Frage XN0 Frage XN1 Frage XN2 Ende Katamnese- zeitpunkt 1 Katamnese- zeitpunkt 2 Aggregations- zeitraum: • Heute • Eine Woche • Einen Monat • Ein Jahr • Seit Ende der Intervention Wie war mein Zustand vor der Intervention?

Rahmenbedingungen: Die Datengrundlage für direkte und indirekte Veränderungsmessung

Die Bedeutung der Brunswik-Symmetrie in den Generalitätsebenen für die Berechnung der Effektgrößen ES II,I ES II,II Latente Variablen- ebene Manifeste Variablen- ebene Ordnung I Ordnung II Ordnung 0 Generalitäts- ebenen Vor der Intervention Nach der Intervention ES I,I ES 0,0 Reliabilitätssteigerung durch Aggregation spricht für c)! Aber ist NEIN: Dies ist abhängig von der Symmetrie zwischen Treatment und Ergebnismaßen!

Kosten-Nutzen-Analyse von REHA-(Trainings-/Therapie-) Maßnahmen Ökonomischer Nutzen (netto) von Trainings- (Therapie-) Maßnahmen in DM. Anzahl der trainierten (therapierten) Personen. NT Standardisierte Mittelwertsdifferenz von trainierten (therapierten) versus nicht trainierten (therapierten) Personen. Hier ist dies der Vorher-/Nachher-Vergleich d (N-V) Zeitdauer des Trainings- (Therapie-) Erfolgs in Jahren (wie lange hält der Therapieerfolg an? T Standardabweichung der Produktivität von nicht trainierten (therapierten) Personen bezogen auf 1 Jahr. Für die ökonomische Bewertung wären hier die Zahlen einzusetzen, bezogen auf Personen, die nicht rechtzeitig eine Reha-Maßnahme erhalten. SDKR Kosten des(der) REACT- (Trainings-/Therapie-) Maßnahme pro Person. KT

Effektgröße am Break-Even-Point Um wieviel besser sind wir als Return on Investment (ROI): Welche Effektgröße können wir berichten ?

Varianten der Effektgrößenberechnung Unterschiede Division durch gepoolte Standardabweichung Vorher/Nachher ESCOHEN Division durch die Standardabweichung Vorher Idee: Immer die Standardabweichung der Population derjenigen verwenden, die die Intervention nicht erhalten hatten. ESGLASS Division durch die Standardabweichung der Nachher/Vorher-Differenzwerte ESDIFF ESCOHEN (d) und ESDIFF sind zur Abbildung von Interventionseffekten mit unerwünschten Problemen behaftet ! EMPFEHLUNG: Wenn immer möglich ESGLASS (delta) verwenden ! WARUM ?

Wenn SN  SV, bzw. SN = K . SV ist, dann liegt bei: Antwort: ESCOHEN vermengt Haupt- und Interaktionseffekte. Wenn SN  SV, bzw. SN = K . SV ist, dann liegt bei: a) K > 1 Varianzerweiterung vor mit der Konsequenz: ESCOHEN < ESGLASS b) K < 1 Varianzhomogenisierung vor mit der Konsequenz: ESCOHEN > ESGLASS c) Nur bei K = 1, und SN = SV ESCOHEN = ESGLASS

ESDIFF führt wegen des Devisors S(N-V) zu noch schwerwiegenderen Problemen, da: Bei SN = SV hängt alles von der Vorher/Nachher-Korrelation ab. a) Bei r = .50  ESDIFF = ESGLASS = ESCOHEN b) Bei 0 < r < .50  führt ESDIFF zu einer Unterschätzung c) Bei r > .50  führt ESDIFF zu einer Überschätzung d) Bei zunehmend perfekter Stabilität r  1.0 geht ESDIFF  bei r = 1.0 ist ESDIFF gar nicht mehr definiert.

Welche Messstrategie bildet die Ergebnisqualität am besten ab ? Vorteile Nachteile/Probleme Aufwendiger Effektgrößen-Berechnung Indirekt Erinnerungsfehler BIAS Unter- oder Überschätzung Effektgrößen-Berechnung Quasi-Indirekt (retrospektiv) Effektgrößen-Berechnung nur möglich, wenn Vergleichsgruppen vorhanden sind. Wird wirklich Veränderung gemessen oder nur der Poststatus? Ökonomisch Direkt

Welche Messstrategie ist nun besser ? Der Blickwinkel der Gütekriterien: A) Reliabilität B) Vorhersage- Konstrukt- Interne- Statistische Schlussfolgerungs- VALIDITÄT Sie erhalten einige Antworten in diesem Symposium aus den Forschungsprogrammen der Lübecker und der Karlsruher/Mannheimer Arbeitsgruppen Aber es sei Ihnen versichert: Viele Fragen bleiben noch offen! „Further research is needed“ Wir würden uns freuen, wenn Sie dabei mitmachen würden.