Untersuchungsdesigns und statistische Methoden in der Evaluationsforschung Markus Wirtz.

Präsentation zum Thema: "Untersuchungsdesigns und statistische Methoden in der Evaluationsforschung Markus Wirtz."—  Präsentation transkript:

1 Untersuchungsdesigns und statistische Methoden in der Evaluationsforschung
Markus Wirtz

2 Evaluationsforschung:
Bewertung der Konzeption, der Implementierung und des Nutzens von Angeboten und Programmen Zwei wesentliche Grundfragen der Evaluation 1. Welche Systemkomponenten haben Einfluss auf outcome-relevante Merkmalsausprägungen? (hypothesengerierend, deskriptive Analyse; Qualitätssicherung) 2. Verändern sich durch ein Programm Merkmalsausprägungen im gewünschten Sinne? (hypothesenbestätigend, Programmevaluation, kausale Interpretation angestrebt)

3 Erhebungszeitpunkte und eingesetzte Erhebungsverfahren
Forschungsdesigns: Erhebungszeitpunkte und eingesetzte Erhebungsverfahren  Wann muss was wie erhoben werden, damit z.B. die Wirksamkeit eines Programms nachgewiesen werden kann? Statistische Methoden: Frage der Signifikanz und der empirischen Relevanz Ausschluss von Zufall als Ursache der gefundenen Veränderungen Vergleich empirische Effektstärke und geforderte Effektstärke

4 Die Interpretation eines statistischen Analyseergebnisses
wird wesentlich durch das Erhebungsdesign mitbestimmt Ergebnis: Die Befindlichkeit nach einer Chemotherapie korreliert negativ mit der Gesamtbehandlungsdauer. Schlussfolgerung: Je kürzer die Therapie, desto besser!

5 Korrekte Schlussfolgerung:
Behandlungsdauer Befindlichkeit zu Beginn Befindlichkeit nach der Therapie Befindlichkeit Entlassung 16. B 8. B t0 4. B 2. B Interindividuelle Vergleiche lassen keinen direkten Schluss auf intraindividuelle Verläufe zu!!!!!!

6  r(Behandlungsdauer, Befindlichkeit) = 0
 r(Behandlungsdauer, Befindlichkeitsbesserung) >> 0

7 Wissenschaftliche Forschungsdesigns werden eingesetzt,
um eindeutig angeben zu können, welche Schlussfolgerungen zulässig sind und welche nicht. um Fehler bei der Interpretation zu vermeiden. Statistische Methoden werden eingesetzt, um Zufallseinflüsse abschätzen und als Ursache von Effekten ausschließen zu können.

8 Zentrale Determinanten des Studiendesigns
1.) Beschreibung des status quo (deskriptiver Ansatz) vs. Vergleich von Alternativen (Treatment/Subpopulationen) 2.) Fragestellung: Zusammenhang: Korreliert die Motivation des Patienten mit dem Therapieerfolg Unterschied: Haben zwei Interventionen unterschiedliche Postwert zur Folge Veränderung: Verändert sich die Belastung im Verlauf der Intervention

9 3.) Ausmaß interner und externer Validität
Intern: Sind die Effekte in der AV eindeutig auf das Treatment zurückzuführen Extern: Sind ähnliche Effekte in natürlichem Setting zu erwarten? Auf welche Anwendungssituationen können Ergebnisse übertragen werden? 4.) Grenzen der Realisierbarkeit  mangelnde Ressourcen  Erhöhung der Gefahr von drop-outs durch Anforderungen an die Teilnehmer  u.U. ist eine Randomisierung a) nicht möglich und b) inhaltlich nicht sinnvoll

10 Die drei wichtigsten Forschungsansätze
1. Deskriptiver Ansatz 2. Experimenteller Ansatz 3. Quasi-Experimenteller Ansatz 4

11 1. Deskriptiver Ansatz Charakterisierung des Forschungsgegenstandes/ Ist-Zustand Liefert keine Informationen über kausale Beziehungen, interne Validität ist nicht gefordert Ziel: Informationen über Phänomene, Populationen etc., externe Validität ist gefordert 5

12 Spezialfälle der Deskriptiven Analyse
Exploratorische Analyse Ziele: Generierung von Ideen auf einem bisher nicht beforschten Gebiet Wenige Vorgaben: Sammlung von möglichst viel deskriptiver Information Wird meist zu Beginn einer Studiensequenz eingesetzt 7

13 Spezialfälle der Deskriptiven Analyse
Prozeßevaluation Ziel: Identifizierung des Implementationsgrades eines Programms, Beschreibung der Barrieren etc.. IST-SOLL-Vergleiche: Gegenüberstellung des geplanten mit dem implementierten Programm Controlling / Entwicklung eines neuen Programms 8

14 Vorteile des Deskriptiven Ansatzes:
Generell geringere Kosten (i. A. von N, Anzahl der Meßebenen/Datenquellen, Komplexität der Datenerhebung) Einfache Implementation/Durchführung Kurze Zeitspannen bei der Ergebnisrückmeldung Einfache Datenanalysen Ergebnisse sind leicht zu kommunizieren 9

15 Grenzen des Deskriptiven Ansatzes
Keine Aussagen bzgl. kausaler Verknüpfungen möglich Es wird nicht klar, welche Variationen die Ausprägungen der Zielgrößen verändern würden 10

16 2. Experimenteller Ansatz
Empirische Überprüfung einer kausalen Verknüpfung von zwei oder mehr Variablen Systematische Variation der unabhängigen Variablen (UV)  nur die unabhängige(n) Variable(n) erklärt die Unterschiede in den UV-Bedingungen Randomisierte Zuweisung der Beobachtungseinheiten zu den Versuchsbedingungen Kontrolle von systematischen Verzerrungen zum Zeitpunkt der Zuweisung 11

17 Kerlinger (1973) MAX-MIN-KON Prinzip
MAXimiere die systematische Varianz (Variation der experimentellen Bedingungen) MINimiere die Fehlervarianz (accuracy of assessment) KONtrolliere externe (systematische) Varianzquellen (Homogenität der Bedingungen) 12

18 Beispiel: Es soll die Wirksamkeit eines Treatments
nachgewiesen werden (Prä-Post-Design) E-Gruppe Prä Treatment Post R K-Gruppe Prä XXXXXX Post

19 * Hypothese bestätigt, wenn eine signifikante Interaktion vorliegt und
die Mittelwertsunterschiede hypothesenkonform sind (geringe Unterschiede prä, deutlicher Unterschied post)  Überprüfung mittels Kontrasten (Tukey, Scheffe) *

20 Interaktionseffekt: Der Effekt einer UV ist abhängig
von der Ausprägung der anderen UV  nur zum Postzeitpunkt soll es günstig sein, der Experimtalgruppe anzugehören.

21

22

23

24

25 Post-Design (ohne Baseline)
E-Gruppe Treatment Post R K-Gruppe XXXXXX Post *

26 Mehrgruppen-Prä-Post-Design
E-Gruppe 2 Prä Treatment B Post R E-Gruppe 1 Prä Treatment A Post K-Gruppe Prä XXXXXX Post

27 Mehrfaktorielles-Prä-Post-Design
E-Gruppe 3 Prä Tr. A + Tr. B Post E-Gruppe 2 Prä Tr. A Post R E-Gruppe 1 Prä Tr. B Post K-Gruppe Prä XXXXXXX Post Besonders interessant, wenn Interaktionseffekte auftreten können

28 Eigenschaften des experimentellen Ansatzes:
Maximierung der internen Validität durch Kontrolle konfundierter Variablen Strenge Kontrolle der Versuchsbedingungen kann sich negativ auf die externe Validität auswirken 14

29 Multiple Experimental- und Kontrollgruppen (Solomon Vier-Gruppen-Plan)
Mehrgruppen-Prä-Post-Design E-Gruppe 2 Prä Treatment Post E-Gruppe 1 Treatment Post R K-Gruppe 2 Prä XXXXXX Post K-Gruppe 1 XXXXXX Post 21

30 Präferenz für A oder keine
Single Consent Design (nach Zelen) Präferenz für A oder keine Treatment A Treatment A Präferenz für B Treatment B R Patienten Treatment B Treatment B R = Randomisierung

31 Double Consent Design (nach Zelen)
Präferenz A oder keine Treatment A Treatment A Präferenz B Treatment B R Patienten Treatment B Präferenz A Treatment A Präferenz B oder keine Treatment B R = Randomisierung

32 Comprehensive Cohort Design
Präferenz zu-gunsten von A Treatment A Treatment A keine Präferenz Patienten R Treatment B Präferenz zu-gunsten von B Treatment B R = Randomisierung

33 Quasiexperiment Gruppenvergleich ohne randomisierte Gruppenzuweisung
u.U. Vergleich natürlicher Gruppen E-Gruppe Prä Treatment Post R K-Gruppe Prä XXXXXX Post

34 Zentrale Probleme des Quasiexperiments:
1.) Relevante Störvariablen können mit Gruppenzugehörigkeit und AV korreliert sein Beispiel ‚Freiwilligkeit als Störvariable‘: Für einer stärker psychologisch orientierte Schmerzbehandlung entscheiden sich Patienten mit geringerer Belastung.

35 2.) Relevante Störvariablen können direkt mit
der Wirksamkeit des Treatments konfundiert sein Beispiel ‚Freiwilligkeit‘ als Störvariable: negative Einstellung  Reaktanz  geringere Wirksamkeit Nachgewiesen Wirksamkeit nicht auf Kontrollgruppe übertragbar

36 Wichtige Designelemente zur Erhöhung
der internen Validität Einsatz mehrerer AV: Bestätigend und Alternativen ausschließend Wiederholte Treatmentphasen Prämessung beim Quasi-Experiment noch wichtiger als bei randomisierter Zuweisung Kovariaten erheben, die Aufschluss über systematische Gruppenunterschiede geben können  Analyse der Gruppenselektion Parallelisierung; matched pairs

37 Paralellisierung ist auch bei Experimenten immer günstig R G1
Parallelisierung Gruppenebene Matched-pairs Einzelebene E K E K Paar 1 Paralellisierung ist auch bei Experimenten immer günstig R Paar 2 G1 G2 G3 Paar N

38 Es sollten aber immer möglichst umfassend Variablen
Parallelisierung  wenige überprüfte Einflussvariable werden bei Gruppenbildung berücksichtigt Es sollten aber immer möglichst umfassend Variablen erhoben werden, die potentiell mit der UV und AV korreliert sind  statistische Kontrolle (partielle Korrelationen, Kovarianzanalyse)  statistische ‚Homogenisierung‘ der Vergleichgruppen 32

39 Vorteile des Quasiexperiments
Annäherung an das experimentelle Design Interne Validität durch statistische Kontrolle erhöht (keine experimentelle Kontrolle) Anwendung: Wenn experimentelle Designs nicht durchgeführt werden können 37

40 Grenzen des Quasiexperiments
Unsicherheiten bezüglich des Vergleichs von Exp.- und Kontroll-Gruppe (Verzerrungen??) Statistische Kontrolle nur bei bekannten Störgrößen möglich 38

41 Regressionseffekte - Regression zur Mitte
 Bei Prä-Post-Messungen liegen die Werte einer Gruppe mit extremen Merkmalsausprägungen in der Prä-Messung tendenziell näher am Mittelwert bei der Postmessung  Werte im Bereich des Mittelwerts (Prä) liegen aber tendenziell extremer in der Postmessung Maximum Minimum MW Prä Post Prä Post Kontroll Treatment

42 Grundforderungen für Studien
zur Therapieevaluation (Metzler & Krause, 1997) 1. Kontrollgruppendesign: Kontrolle eine oder mehrere Behandlungsstandards 2. Genaue Populationsdefiniton (externe Validität) 3. Studie muss prospektiv angelegt sein 4. Es ist unzulässig, dass die Therapeuten über die Zugehörigkeit zu Kontroll- bzw. Experimentalgruppe entscheiden ( Randomisierung)

43 Grundforderungen für Studien
zur Therapieevaluation (Metzler & Krause, 1997) 5. Dem Patienten ist die Alternativbehandlung nicht bekannt; Erfolgsbeurteilung durch unabhängige Dritte 6. Compliance zentrale Kovariate; drop-out entscheidendes Akzeptanzkriterium 7. Zielkriterien müssen Relevanz für Patienten besitzen; deutliche Abgrenzung von Surrogatkriterien 8. Konfirmatorische Überprüfung der Studienergebnisse

44 Checkliste für die Planung und Darstellung
empirischer Studien nach Wilkinson (1999) Methodik I Design Welche Studienform wurde mit welchem Ziel gewählt? Gibt es mehrere Ziele der Studie? Population Über was soll eine Aussage gemacht werden? (Teilnehmer, Bedingungen oder Studien?) Stichprobe Wie wurde die Stichprobe gewählt? Fand eine Stratifizierung nach bestimmten Merkmalen statt? Sampling-Techniken; Repräsentativität der Datenquellen Zuordnung Wenn möglich, eine randomisierte Zuordnung wählen. Bei nicht-randomisiertem Vorgehen sollte confounder (Kovariaten) erhoben werden.

45 Methodik II Variablen Beschreiben Sie genau die gemessenen Variablen! Was für einen Zusammenhang gibt es mit den Zielen der Studie? Instrumente Welche Instrumente (Fragebögen, psychophysiolog. Messungen, etc.) wurden verwendet? Wie valide und reliabel sind diese? missing Wie kam es zu fehlende Werten? Ablehnung, Tod, Datenverlust? Drop-out-Analyse Stichproben- Ist die Stichprobe groß genug? größe & Ausreichende Teststärke/Power? Teststärke

46 Notwendiger Stichprobenumfang
N groß N klein klein Tatsächlicher Wirkungsunterschied groß klein nachzuweisende Mindestdifferenz groß Skalenniveau des Zielmerkmals nominal ordinal metrisch grob Skalierung des Zielmerkmals fein multivariat Anzahl der Zielmerkmale univariat heterogen Patientenpopulation homogen unkontrolliert unerwünschte Einflussgrößen kontrolliert

47 Resultate I Probleme Berichten Sie zuerst die Probleme bei der Daten- erhebung. Sichtung Look at your data! Grafiken Immer eine grafische Kontrolle der Ergebnisse durchführen. Möglicherweise können hierbei falsche Eingaben, geringe Varianzen etc. erkannt werden Test Die Komplexität des statistischen Testverfahrens sollte ausreichend aber möglichst gering sein. Programme Berichten Sie keine Ausgabe eines Statistik- programmes, welche Sie nicht verstehen.

48 Resultate II Voraus- Überprüfen Sie immer die Voraussetzungen der setzungen jeweiligen Verfahren. Hypothesen Berichten Sie den genauen p-Wert und nicht nur, ob Ihr Ergebnis signifikant wird. Effekt Geben Sie für die primären Outcome-Werte immer größen Effektstärken an. Konfidenz- Für Schätzungen sollten immer Konfidenzintervalle intervalle angegeben werden. Korrekturen Bei einer Vielzahl von Ergebnisparametern sollte immer eine Korrektur nach Bonferoni angewendet werden. Grafische Zentrale Ergebnisse sollten in aussagekräftigen Grafiken Darstellung veranschaulicht werden

49 Resultate III Kausalitäten Bei nicht-randomisierten Studien möglichst nicht kausal Schließen. Tabellen & Nie komplexe Darstellungen verwenden, wenn es Grafiken auch einfacher geht.

50 Diskussion Interpre- Überlegen Sie sich immer, in wie weit Ihre tation Ergebnisse generalisierbar sind. Spekula- Spekulationen sind erlaubt, sollten aber tionen möglichst sparsam verwendet werden und als solche gekennzeichnet sein.