Auswahl der Studien.

Präsentation zum Thema: "Auswahl der Studien."—  Präsentation transkript:

1 Auswahl der Studien

2 Schritte eines systematischen Cochrane Reviews
Fragestelllung festlegen Auswahlkriterien definieren Methoden definieren Studien suchen Auswahlkriterien anwenden Daten extrahieren Bias-Risikos der Studien bewerten Ergebnisse analysieren und darstellen Ergebnisse interpretieren und Schlussfolgerungen ziehen Review optimieren und aktualisieren Nachdem Sie die Literatursuche durchgeführt haben, müssen Sie als nächsten Schritt die Literatur sichten und jene Studien identifizieren, die die Ein- und Ausschlusskriterien erfüllen. Siehe Kapitel 7 im Handbuch

3 Bias Minimierung in der Auswahl
Die Auswahl der Studien beinhaltet subjektive Bewertungen und kann die Ergebnisse des Reviews stark beeinflussen Vergleichen Sie daher jeden Artikel mit den vorab festgelegten Ein- und Ausschlusskriterien Schriftliche Zusammenfassungen oder Checklisten können hilfreich sein Zwei AutorInnen sollten unabhängig voneinander Studien auswählen Diskussionen können Klarheit schaffen und Unstimmigkeiten oder Lücken bei den Auswahlkriterien aufzeigen Zu Beginn: Pilot-Auswahl anhand einiger Artikel Wie wird Uneinigkeit gelöst? Z.B. durch Diskussion untereinander oder mit einer dritten Person Die Entscheidung welche Studien ein- und welche ausgeschlossen werden, ist wahrscheinlich die wichtigste Entscheidung, die Sie treffen müssen, bestimmt sie doch die Ergebnisse, die Sie finden werden, um die Forschungsfrage zu beantworten. Es ist essentiell jeden möglichen Bias im Entscheidungsprozess zu minimieren. Jeder Artikel, der im Rahmen der Literatursuche identifiziert wurde, muss sorgsam mit den Einschlusskriterien abgeglichen werden und muss alle Einschlusskriterien erfüllen um eingeschlossen zu werden. Das ist der Grund warum es unerlässlich ist, klare, vorab definierte Kriterien aus dem Protokoll zu haben. Diese helfen dabei, diese Entscheidung so objektiv wie nur möglich zu treffen und vermeiden fehlerhafte ad hoc Entscheidungen beim Einschluss von Studien. Eine schriftliche Zusammenfassung oder Checkliste, die für AutorInnen während der Durchsicht griffbereit ist, kann hilfreich sein – egal ob in Papier- oder in elektronischer Form (Excel sheet). Sobald eine Studie ein Einschlusskriterium nicht erfüllt, kann sie ausgeschlossen werden und braucht nicht mehr weiter beachtet zu werden. HANDOUT: Beispiel einer Checkliste für Auswahlkriterien Um das Bias-Risiko zu minimieren, sollten zwei AutorInnen unabhängig voneinander die Studien auswählen. Eine zweite Sichtweise hilft, besonders wenn nicht eindeutig ist, ob die Studie den Einschlusskriterien entspricht oder nicht. Die dadurch entstehende Diskussion über die Entscheidung stellt sicher, dass die Kriterien ordentlich und konsistent angewendet werden. Es kann auch hilfreich sein, wenn ein Autor/eine Autorin, der die Studien auswählt, kein inhaltlicher Experte ist. So können Vorurteile gegenüber bestimmten Studien oder Interventionen vermieden werden. Die Diskussion über schwierige Entscheidungen kann auch aufzeigen, ob Auswahlkriterien nicht klar definiert sind, bzw. ob die Kriterien von verschiedenen AutorInnen unterschiedlich interpretiert werden. Es ist hilfreich, den Auswahlprozess an einigen Studien vorab zu testen, um eventuelle Unklarheiten zu identifizieren und die Checkliste oder die Beschreibung der Auswahlkriterien für die AutorInnen eindeutiger zu definieren. Obwohl Sie es vermeiden sollten, in dieser Phase noch Veränderungen an den Auswahlkriterien durchzuführen, könnte es notwendig sein, eine Ergänzung oder Änderung, die zum Zeitpunkt der Protokollerstellung noch nicht vorhersehbar war, vorzunehmen. Wenn dies der Fall ist, sollten Sie transparent sein und im Review alle Änderungen anführen. Änderungen, die die Reichweite (Scope) des Reviews ändern, sollten mit der Review Gruppe abgestimmt werden. Wenn beide AutorInnen alle eingeschlossenen Studien begutatchet haben, sollten sie zusammenkommen und ihre Ergebnisse diskutieren und mögliche noch bestehende Unstimmigkeiten identifizieren, bevor die finale Entscheidung über die eingeschlossenen Studien getroffen wird. Stellen Sie sicher, dass Sie vorab überlegen, wie Uneinigkeiten gelöst werden – zum Beispiel, durch Diskutieren bis Konses erreicht wird, oder durch die Entscheidung einer/s dritten Autors/in. [Falls jemand fragt: es ist möglich den Auswahlprozess verblindet durchzuführen, z.B. indem die Artikel so verändert werden, dass Informationen über AutorInnen, Ort, Journal und Ergebnisse entfernt werden. Das ist zeitaufwendig und es ist nicht bewiesen, dass diese Vorgehensweise einen Vorteil bringt.] [Falls jemand fragt: Übereinstimmung kann mittels Kappa Statistik gemessen werden, das ist aber nicht erforderlich (siehe Handbuch: Methoden der Kalkulation).]

4 Anwendung in der Praxis
Prüfen Sie Titel und Abstracts Könnte der Artikel alle Einschlusskriterien erfüllen? Entfernen Sie offensichtlich irrelevante Studien, aber seien Sie eher einschließend Beschaffen Sie die Volltexte und prüfen Sie diese Erfüllt der Artikel alle Einschlusskriterien? Gruppieren Sie Artikel, die zur gleichen Studie gehören Sie brauchen alle Artikel, um eine endgültige Entscheidung zu treffen Achten Sie auf AutorInnen, Studienname, Ort, Intervention, Teilnehmer, Baseline Daten, Registrierungsnummer Achten Sie auf Berichtigungen, Kommentare und Widerrufe Kontaktieren Sie AutorInnen, falls weitere Informationen benötigt werden Ein typischer Auswahlprozess beginnt mit den Suchergebnissen. Die Mehrheit der Treffer wird in Form von Titeln und Abstracts von den elektronischen Datenbanken abgerufen. Manchmal werden nur Titel und Schlagworte verfügbar sein, manchmal werden Sie sofort auf den Volltext zugreifen können. Als ersten Schritt werden Titel und Abstracts gelesen, alle Datensätze die offensichtlich nicht ein oder mehrere Einschlusskriterien erfüllen, werden entfernt. Es ist wichtig in dieser Phase einschließend vorzugehen und im Zweifel einen Artikel einzuschließen, da der Abstract nur begrenzte Information bereitstellt und möglicherweise im Volltext noch überraschende andere Informationen enthalten sind. In manchen Fällen können offensichtlich irrelevante Artikel bereits von einem Autor entfernt werden, obwohl die beste Vorgehensweise nach wie vor, dass Beurteilen durch zwei AutorInnen ist. Wenn die klar auszuschließenden Studien entfernt wurden, können Sie fortfahren und die Volltexte der verbleibenden Artikel besorgen. Studien müssen alle Einschlusskriterien erfüllen, aber seien Sie sicher, dass Sie alle Informationen haben, um diese Entscheidung zu treffen. Einige Studien werden in mehr als einem Artikel berichtet, aber Studien – nicht einzelne Artikel – sind die primäre Einheit eines Reviews. Sie müssen herausfinden welche Publikationen von der gleichen Studie berichten und diese zusammenführen, bevor Sie alle Informationen über diese Studie haben – vergessen Sie nicht Berichtigungen, Kommentare und Widerrufe, die möglicherweise gedruckt wurden, zu beachten. Beachten Sie, dass sogar Reviews von Trials zusätzliche Daten, die nicht im Original-Artikel angeführt wurden, enthalten können – z.B. kontrollieren Sie besonders Berichte über kombinierte Medikamentenstudien. In manchen Fällen, ist die Information, die Sie haben nicht ausreichend um eine Entscheidung über die Studie zu treffen. In so einem Fall, sollten Sie die AutorInnen der Studie kontaktieren und wenn möglich nähere Details einfordern.

5 Studien ohne verwendbare Daten?
Studien müssen eingeschlossen werden, wenn Sie die Einschlusskriterien erfüllen Ergebnisse die in unüblich er Form berichtet werden, sollten trotzdem im Review angeführt werden Studien, die keine relevante Endpunkte berichten, haben diese aber vielleicht gemessen – Gefahr der selektiven Berichterstattung von Endpunkten (selective reporting) Nur falls der Review vorab Endpunkte als Einschlusskriterien definiert hat, können Studien, die über diese Endpunkte nicht berichten, ausgeschlossen werden Manchmal stoßen Sie auf Studien, die zwar die Einschlusskriterien erfüllen – in Bezug auf Population, Intervention, Vergleiche und Studiendesign, aber scheinbar keine brauchbaren Ergebnisse berichten. Es kann verführerisch sein, solche Studien auszuschließen – das ist jedoch nicht der richtige Weg. Erstens: systematische Reviews bemühen sich umfassend über alle durchgeführten Studien, die versuchen eine bestimmte Frage zu beantworten, zu berichten. Über Studien zu berichten – auch wenn diese keine verwertbaren Daten liefern – ist Teil dieses vollständigen Bildes der verfügbaren Forschungsergebnisse. Zweitens: herauszufinden ob eine Studie verwendbare Daten bereitstellt, ist nicht immer so offensichtlich. Manchmal berichten Studien Ergebnisse in einem Format, das auf den ersten Blick nicht vertraut und sinnvoll wirkt. Diese Studien und Ergebnisse müssen aber eingeschlossen werden, um ein vollständiges Bild der verfügbaren Evidenz zu liefern – wir werden in anderen Präsentationen noch genauer darauf eingehen, wie mit unterschiedlichen Arten von Daten umgegangen werden soll. Sollten Sie über etwas stolpern, bei dem Sie sich gar nicht sicher sind, wie Sie damit umgehen sollen, holen Sie sich Rat bei einem Statistiker. Wenn die Studie keine Ergebnisse, die von Interesse sind, berichtet, heißt das nicht unbedingt, dass in der Studie diese Ergebnisse nicht gemessen wurden. Vielleicht haben die AutorInnen die Ergebnisse in der Publikation einfach nicht angeführt. Wir wissen ja, dass das Berichten von Ergebnissen manchmal selektiv vorgenommen wird und das positive oder statistisch signifikante Ergebnisse wahrscheinlicher in veröffentlichten Artikeln vorkommen. Dies ist als selektive Ergebnisberichterstattung (selective outcome reporting) bekannt. Um diesen Bias nicht in Ihren Review einfließen zu lassen, sollten Sie solche Studien nicht ausschließen, weil die AutorInnen es nicht schafften die Ergebnisse zu berichten. Es ist möglich, dass Sie zusätzliche Informationen für die Ergebnisse, die für Sie von Interesse sind, erhalten, wenn Sie die AutorInnen der Studie kontaktieren. Auch wenn Sie ganz sicher sind, dass die Studie nicht die relevanten Ergebnisse erhoben hat, müssen Sie auf Ihre vorab festgelegten Auswahlkriterien zurückgreifen, bevor Sie eine Studie ausschließen. Wenn Sie spezifische Ergebnisse in den Einschlusskriterien angeführt haben, dann können Sie völlig legitim eine Studie ausschließen, die nicht diese Ergebnisse gemessen hat. Waren Ergebnisse aber nicht Teil Ihrer Auswahlkriterien, dann sollten Sie die Studie einschließen und im Review beschreiben, um so ein vollständiges Bild der durchgeführten Studien in diesem Bereich abzubilden, auch dann, wenn die Studie nichts zur Ihren Ergebnissen beiträgt.

6 Berichten von ausgeschlossenen Studien
Ergebnisteil Ergebnisse der Suche, einschließlich Anzahl gefundender und ausgeschlossener Studien in jeder Phase Tabelle “Characteristics of excluded studies” Liste der wichtigsten ausgeschlossenen Studien mit Hauptauschlussgrund Führen Sie alle Studien auf, die scheinbar die Einschlusskriterien erfüllen, dies aber bei genauer Betrachtung nicht tun Es ist nicht notwendig Studien aufzuführen, die offensichtlich nicht die Einschlusskriterien erfüllen Während des gesamten Auswahlprozesses, sollten Sie genaue Aufzeichnungen über ausgeschlossene Studien führen. Im Ergebnisteil des Reviews, wird von Ihnen eine Zusammenfassung aller in der Suche identifizierten Quellen und die Anzahl der ausgeschlossenen Studien in jeder Phase des Auswahlprozesses gefordert (z.B.: Anzahl ausgeschlosseneer Artikel auf “Titel und Abstract”-Ebene, Anzahl gelesener Volltexte, Anzahl an Artikel, die schlussenndlich in den Review eingeschlossen wurden). Hier sollten auch kurz die Gründe für die Ausschlüsse angeführt werden (z.B. so viele ausgeschlossen, aufgrund der falschen Intervention, so viele aufgrund der falschen Population etc.) Sie werden in Ihrem Review auch eine Tabelle mit “Eigenschaften der ausgeschlossenen Studien” (table of ‘Characteristics of excluded studies’) anführen. Darin sollen Sie alle ausgeschlossenen Studien, von denen die LeserInnen denken könnten, das diese den Einschlusskriterien entsprechen, die aber ausgeschlossen wurden, auflisten. Jede Studie sollte gemeinsam mit dem Ausschlussgrund angeführt werden. Abhängig vom Umfang der durchgeführten Suche, kann diese Liste beispieslweise alle Studien, die Sie im Volltext gelesen haben und die nicht auf Basis der Abstracts ausgeschlossen werden konnten, beinhalten; oder eine limitiertere Auflistung. Dies stellt die Transparenz Ihrer Entscheidung Studien auszuschließen sicher – alle LeserInnen, die sich über einen Studienausschluss wundern oder nicht mit Ihrer Entscheidung konform gehen, können dann sehen, warum diese Studie ausgeschlossen wurde.

7 PRISMA Flussdiagramm Siehe www.prisma-statement.org
Das ist ein PRISMA Flussdiagramm, basierend auf den PRISMA statements, eine Reihe an Richtlinien für systematische Reviews (für weitere Informationen folgen Sie bitte dem bereitgestellten Link). Die PRISMA Statements legen die “gute Praxis” für das Berichten von Ergebnissen in Systematischen Reviews fest, was in Form dieses Flussdiagramms zusammengefasst werden kann. Das Flussdiagramm zeigt den Fluss der Artikel und Studien im Zuge der Phasen eines Systematischen Reviews, d.h. die Anzahl der Studien, die durch die Datenbanksuchen identifiziert wurden, die Anzahl an ausgeschlossenen Artikeln und die Anzahl der Artikel, die in den Systematischen Review und in die Meta-Analyse eingeschlossen wurden. Es wird empfohlen, dass Sie das PRISMA Flussdiagramm in Ihren Review einbauen, sodass die LeserInnen gut nachvollziehen können, wie Sie mit den gefundenen Datensätzen umgegangen sind und aus welchen Gründen Sie Artikel ausgeschlossen haben. Sie können in RevMan (Software der Cochrane Collaboration) einfach so ein Flussdiagramm erstellen. Siehe

8 Was soll im Protokoll stehen
Ob zwei AutorInnen unabhängig voneinander die Studien beurteilen Prozess der Beurteilung (z.B. Abstracts, Volltexte) Wie Uneinigkeiten gelöst werden Alle anderen verwendeten Methoden Wenn Sie zurück an die Phase des Protokollschreibens denken, sollten Sie damals kurz den Auswahlprozess beschreiben. Sie sollten beschreiben, ob zwei AutorInnen unabhängig voneinander die Artikel, die in der Literatursuche identifiziert wurden, beurteilt haben; wie der Auswahlprozess gestaltet wird ( z.B.: Beginn mit Abstracts, dann Beurteilen der Volltexte von möglicherweise relevanten Studien), wie Sie Uneinigkeit regeln wollen ( z.B.: durch Diskussion oder durch Beiziehen einer dritten Person) und alle anderen Details des geplanten Auswahlprozesses.

9

10 Fazit Wählen Sie einen systematischen Ansatz um Abstracts und Volltexte bezüglich der Ein- und Ausschlusskriterien zu prüfen Dieser Prozess sollte von zwei AutorInnen unabhängig voneinander durchgeführt werden, um Fehler und Bias zu minimieren

11 Quellen Higgins JPT, Deeks JJ (editors). Chapter 7: Selecting studies and collecting data. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version [updated March 2011]. The Cochrane Collaboration, Verfügbar: Danksagung Zusammengestellt von Miranda Cumpston Basierend auf Unterlagen des Australasian Cochrane Zentrums Englische Version freigegeben vom Cochrane Methods Board Übersetzt in Kooperation zwischen dem Deutschen Cochrane Zentrum (Jörg Meerpohl, Laura Cabrera, Patrick Oeller), der Österreichischen Cochrane Zweigstelle (Barbara Nußbaumer, Peter Mahlknecht, Isolde Sommer, Jörg Wipplinger) und Cochrane Schweiz (Erik von Elm, Theresa Bengough)