Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Small-study effects und Reporting-Bias. cochrane training Schritte eines systematischen Cochrane Reviews 1.Fragestellung festlegen 2.Auswahlkriterien.

Ähnliche Präsentationen


Präsentation zum Thema: "Small-study effects und Reporting-Bias. cochrane training Schritte eines systematischen Cochrane Reviews 1.Fragestellung festlegen 2.Auswahlkriterien."—  Präsentation transkript:

1 Small-study effects und Reporting-Bias

2 cochrane training Schritte eines systematischen Cochrane Reviews 1.Fragestellung festlegen 2.Auswahlkriterien definieren 3.Methoden definieren 4.Studien suchen 5.Auswahlkriterien anwenden 6.Daten extrahieren 7.Bias-Risikos der Studien bewerten 8.Ergebnisse analysieren und darstellen 9.Ergebnisse interpretieren und Schlussfolgerungen ziehen 10.Review optimieren und aktualisieren

3 cochrane training Übersicht ‘Small-study effects’ erkennen Reporting-Bias verstehen Siehe im Handbuch Kapitel 10

4 cochrane training Zur Erinnerung: Zufallsfehler Wenn mehrere Studien einen Effekt schätzen, ist jede Studie vom Zufallsfehler betroffen Die Schätzer liegen verteilt um den wahren Effekt – einige niedriger, einige höher Zufalls- fehler Wahrer Effekt Effekt- schätzer Quelle: Julian Higgins

5 cochrane training Zufallsfehler und kleine Studien Beim Zufallsfehler wird angenommen, dass… kleine Studien weniger genau sind wie große Studien die Schätzer weiter um den Mittelwert streuen Small-study effects wenn kleine Studien konsistent positive oder negative Ergebnisse haben als große Studien eine mögliche Ursache für Heterogenität verschiedene Erklärungen möglich

6 cochrane training Small-study effects erkennen Muss für jeden Endpunkt einzeln bewertet werden Verfügbare Methoden: Funnel Plots Statistische Tests Sensitivitätsanalysen Ggf. StatistikerIn um Rat fragen

7 cochrane training Funnel Plots Tragen Effektgröße gegen Studiengröße auf Studiengröße wird meist durch ein Maß wie Standardfehler angegeben Studien streuen um den kombinierten Effektschätzer Größere Studien am oberen Ende, kleinere Studien weiter unten Man erwartet, dass kleine Studien breiter streuen Ein symmetrischer Graph sieht wie ein umgekehrter Trichter (‘funnel’) aus In RevMan können Funnel Plots erstellt werden Ist in der Regel sinnvoll interpretierbar ≥ 10 Studien mit verschiedener Größe vorhanden sind

8 cochrane training Symmetrischer Funnel Plot Standardfehler Effekt Quelle: Matthias Egger & Jonathan Sterne

9 cochrane training Asymmetrischer Funnel Plot Effekt Standardfehler Quelle: Matthias Egger & Jonathan Sterne Unpublizierte Studien

10 cochrane training Asymmetrischer Funnel Plot Effekt Standardfehler Quelle: Matthias Egger & Jonathan Sterne Kleine Studien haben alle positive Effektschätzer RR

11 cochrane training Kolloide vs. Kristalloide für Volumenersatztherapie Adaptiert von: Perel P, Roberts I. Colloids versus crystalloids for fluid resuscitation in critically ill patients. Cochrane Database of Systematic Reviews 2011, Issue 3. Tod

12 cochrane training Magnesium bei Herzinfarkt Adaptiert von: Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2.

13 cochrane training Gründe für Asymmetrie im Funnel Plot Zufall Artefakte Einige statistische Größen sind mit dem Standardfehler korreliert, z.B. OR Klinische Unterschiede Unterschiedliche Studienpopulation in kleinen Studien Implementierung ist anders in kleinen Studien Methodische Unterschiede Größeres Bias-Risiko in kleinen Studien Reporting-Bias Quelle: Egger M et al. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997; 315: 629

14 cochrane training “verbesserte” Funnel Plots mit Konturen Quelle: Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: /bmj.d4002

15 cochrane training Asymmetrie durch Heterogenität Quelle: Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: /bmj.d4002

16 cochrane training Tests für Funnel-Plot-Asymmetrie Ist die Assoziation zwischen Studien- und Effektgröße größer als zufällig zu erwarten wäre? Drei Tests werden empfohlen Sie haben generell eine geringe stat. Power, um Reporting- Bias auszuschließen Zusätzlich sollte Form des Funnel Plot betrachtet werden In der Regel nur sinnvoll interpretierbar ≥ 10 Studien versch. Größe vorhanden sind Siehe im Handbuch Kapitel

17 cochrane training Sensitivitätsanalyse Wie stark wirkt sich ein Effekt durch kleine Studien auf die Ergebnisse aus? Bei Bedarf StatistikerIn fragen bevor Sie fortfahren Falls Heterogenität (I 2 > 0), die Schätzer aus dem Fixed-effect und dem Random-effects Modell vergleichen Gibt es einen Unterschied? Wenn ja, gibt es einen Grund, warum die Intervention in kleineren Studien wirksamer bzw. weniger wirksam sein könnte? Selektionsmodelle (z.B. ‘trim & fill’) und andere Methoden

18 cochrane training Adaptiert von Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2. Sensitivitätsanalyse

19 cochrane training Übersicht Small-study effects erkennen Reporting-Bias verstehen

20 cochrane training Nicht verfügbar (unpubliziert) Evtl. verfügbar (Doktorarbeiten, Konferenzbeiträge, kl. Journale) Leicht verfügbar (Medline- indexiert) Aktiv verbreitet (News, Pharma- Firmen) Quelle: Matthias Egger Verbreitung von Evidenz

21 cochrane training Reporting-Bias Verbreitung von Forschungsergebnissen wird von Art und Richtung der Ergebnisse beeinflusst Statistisch signifikante (‘positive’) Ergebnisse werden eher publiziert… …und werden daher mit höherer Wahrscheinlichkeit in einem Review berücksichtigt Dies führt zur Überschätzen von Effekten Da große Studien sehr wahrscheinlich publiziert werden, sind v.a. kleine Studien betroffen Für Ihren Review sind die nicht-signifikanten Ergebnisse genauso wichtig wie die signifikanten

22 cochrane training Evidenz für Reporting-Bias Quelle: Stern JM, Simes RJ. Publication bias: evidence of delayed publication in a cohort study of clinical research projects BMJ 1997;315: Anteil nicht publizierter Studien Jahre seit Durchführung Signifikant Nicht-signifikanter Trend Null

23 cochrane training Geplant Durchgeführt Eingereicht Zitiert Publiziert ‘Positive’ Studien werden … eher zur Publikation eingereicht und akzeptiert (Publikationsbias) schneller publiziert (Time-Lag Bias) in mehreren Artikeln publiziert (Multiple publication bias) auf Englisch publiziert (Sprach-Bias) in indexierten ‘high-impact’ Journalen publiziert (Location-Bias) von anderen zitiert (Zitationsbias) Quelle: Julian Higgins Auch ‘positiv’ Endpunkte werden bevorzugt berichtet (Outcome Reporting Bias)

24 cochrane training Beispiel: Alpha-Blocker bei Bluthochdruck Nur 10 Studien gefunden, die jedoch verschiedene Dosierungen verwendet haben Medikamente wurden von Behörden zugelassen. Daher mussten auch Studien durchgeführt und Ergebnisse eingereicht worden sein Aber nur wenige Studien wurden gefunden Für viele Dosierungen, die von Behörden akzeptiert wurden, gab es keine publizierte Evidenz Für einige Dosierungen gab es überhaupt keine publizierten Daten Quelle: Nancy Santesso and Holger Schünemann. Based on Heran BS, Galm BP, Wright JM. Blood pressure lowering efficacy of alpha blockers for primary hypertension. Cochrane Database of Systematic Reviews 2009, Issue 4

25 cochrane training Beispiel: Antidepressiva Quelle: Moreno, S. G., A. J. Sutton, et al. Novel methods to deal with publication biases: secondary analysis of antidepressant trials in the FDA trial registry database and related journal publications. BMJ 2009, 339.

26 cochrane training Folgen des Publikationsbias Hopewell S, McDonald S, Clarke MJ, Egger M. Grey literature in meta-analyses of randomized trials of health care interventions. Cochrane Database of Systematic Reviews 2007, Issue 2.

27 cochrane training Was bedeutet das für meinen Review? Vorbeugen Eine umfangreiche Suche in mehreren Quellen Suche von ‘grey literature’, nicht-englischsprachiger Literatur; Handsuche Studienregister Erkennen ‘ Small-study effects ’ sollten gesucht werden Sensitivitätsanalyse, um ihre möglichen Auswirkungen zu untersuchen Publikationsbias ist nicht die einzige Erklärung Es gibt kein Allheilmittel Gefundene ‘Small-study effects’ sollten weiter untersucht werden Im Review sollte zur Wahrscheinlichkeit von Reporting-Bias Stellung genommen werden

28 cochrane training Was sollte im Protokoll geschrieben werden Wie Reporting-Bias bewertet wird (‘Assessment of reporting biases’) Optionale Verwendung von Funnel plots oder statistischer Asymmetrie- Tests

29 cochrane training Fazit In Ihrem Review sollten Sie nach sog. ‘Small-study effects’ suchen Zahlreiche mögliche Ursachen in Betracht ziehen Mögliche Auswirkungen von Reporting-Bias beachten Wenn unsicher, Rat von StatistikerIn einholen

30 cochrane training Quellen Sterne JAC, Egger M, Moher D (editors). Chapter 10: Addressing reporting biases. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version [updated March 2011]. The Cochrane Collaboration, Available from Egger M et al. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997; 315: 629 Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ 2011;342:d4002 doi: /bmj.d4002 Danksagung Zusammengestellt von Miranda Cumpston Basierend auf Unterlagen von Jonathan Sterne, Matthias Egger, Julian Higgins, David Moher, Nancy Santesso, Holger Schünemann, Cochrane Bias Methods Group, des Australasian Cochrane Zentrums und Cochrane Applicability and Recommendations Methods Group Englische Version freigegeben vom Cochrane Methods Board Übersetzt in Kooperation zwischen dem Deutschen Cochrane Zentrum (Jörg Meerpohl, Laura Cabrera, Patrick Oeller), der Österreichischen Cochrane Zweigstelle (Barbara Nußbaumer, Peter Mahlknecht, Isolde Sommer, Jörg Wipplinger) und Cochrane Schweiz (Erik von Elm, Theresa Bengough)


Herunterladen ppt "Small-study effects und Reporting-Bias. cochrane training Schritte eines systematischen Cochrane Reviews 1.Fragestellung festlegen 2.Auswahlkriterien."

Ähnliche Präsentationen


Google-Anzeigen