Einführung in die Metaanalyse Vortrag vom 06.10.00 Metaanalyse

Review vs. Metaanalyse Mängel von Reviews: Reviewer verwenden alte Reviews, ohne sie zu prüfen Reviewer diskutieren nur eine Teilmenge der Befunde Ergebnisse werden nur grob klassifiziert („signifikant“) Das Auftreten fehlerhaft positiver Ergebnisse wird nicht berücksichtigt (Alpha-Fehler) Zusammenhang zwischen Art der Studie und Ergebnis wird meist nicht diskutiert Keine Angaben über die Art der Zusammenfassung von Befunden (Theorie der Review-Autoren) Vortrag vom 06.10.00 Metaanalyse

Definition Metaanalyse Glass (1976): „Metaanalysis refers to the analysis of analyses. I use it to refer to the statistical analysis of a large collection of analysis results from individual studies for the purpose of interpreting the findings.“ (S. 3) Vortrag vom 06.10.00 Metaanalyse

Arten der Metaanalyse Inferenzstatistische Verfahren: Auszählung von Prüfergebnissen (Vote-Counting): Signifikant vs. nicht signifikant Summierung von Teststatistiken: p-Werte, t-Werte, z-Werte Deskriptive Verfahren: Beschreibung der „wahren“ Effektgröße Vortrag vom 06.10.00 Metaanalyse

Probleme der Metaanalyse Uniformitätsproblem: Äpfel- und Birnen-Problem Auswahl der Primärstudien: Vollständig, Einzelfallstudien Dokumentation der Primärstudien: p-Werte, Effektschätzungen, Studienmerkmale Methodische Qualität der Primärstudien Vortrag vom 06.10.00 Metaanalyse

Beispiel Ergebnis einer Zusammenstellung von Studien: Problem: 4 von 12 Studien zeigen einen signifikanten Effekt. Problem: Was bedeutet das für den „wahren“ Effekt? Gibt es ihn und wie groß ist er? Vortrag vom 06.10.00 Metaanalyse

Bewertung des Ergebnisses Vorüberlegung: Welche Extremfälle gibt es? Keine (0 von 12) Studien zeigt einen Effekt: Es liegt ziemlich sicher kein „wahrer“ Effekt vor Alle (12 von 12) Studien zeigen einen Effekt: Es liegt ziemlich sicher ein „wahrer“ Effekt vor Statistische Überlegung: Wenn es „in Wahrheit“ keinen Effekt gäbe, und man würde 12 Studien durchführen, wie viele signifikante Studien würde man erwarten? Vortrag vom 06.10.00 Metaanalyse

Prüfung Modell (Nullverteilung): Ergebnis: Wahrscheinlichkeit, dass eine Studie zufällig signifikant wird? Alpha = 5% n = 12 Studien Binomialverteilung mit p = 0.05 und n = 12 Ergebnis: Es ist extrem unwahrscheinlich, dass vier oder mehr Studien signifikant werden Es ist extrem unwahrscheinlich, dass kein Effekt vorliegt Wie groß ist der Effekt? Vortrag vom 06.10.00 Metaanalyse

Liegt ein Effekt vor? Diese Frage wird nach der ganz normalen Testlogik beantwortet: „Versuchspersonen“ sind hier die Studien. Nullhypothese: Es liegt kein „wahrer“ Effekt vor (nur Zufall wirkt) Statistisch: p (Studie zufällig signifikant) = Alpha der Studien = 0.05 Nullverteilung (Modell): Binomialverteilung mit p = 0.05 und n = Anzahl der Studien Logik: Wenn Ergebnis unter den Annahmen des Modells unwahrscheinlich ist, wird die Nullhypothese abgelehnt, d.h. das Modell verworfen Ergebnis (umgangssprachlich): Es liegt ein Effekt vor, bzw. es liegt kein Effekt vor Vortrag vom 06.10.00 Metaanalyse

Wie groß ist der Effekt? Um diese Frage zu beantworten, wird die normale Testlogik umgedreht: Die Nullhypothese behauptet, dass eine bestimmte Effektgröße vorliegt Statistisch: z.B. p (Studie signifikant bei bestimmter Effektgröße) = 0.20 Modell: Binomialverteilung mit p und n = Anzahl der Studien Logik: Wenn das Ergebnis unter den Annahmen des Modells wahrscheinlich ist, wird die Nullhypothese beibehalten Ergebnis: Der Effekt ist mindestens so groß wie die geprüfte Effektgröße Vortrag vom 06.10.00 Metaanalyse

Festlegung von Effektgrößen Angabe der Effektgröße als Differenz zweier z-Werte Konvention: d = 0.2: kleiner Effekt d = 0.5: mittlerer Effekt d = 0.8: großer Effekt Vortrag vom 06.10.00 Metaanalyse

Effektgröße und Prüfverteilung Problem: Wie komme ich von der Effektgröße zur Prüfverteilung? Was ist eine Prüfverteilung? Angabe, wie wahrscheinlich es ist, dass eine bestimmte Anzahl von Studien signifikant wird, wenn eine bestimmte Effektgröße vorliegt Annahmen für Prüfverteilung bei d = 0.8: Zwei Gruppen mit normalverteilten Werten (z-Werte) Mittelwert Gruppe 1: 0 Mittelwert Gruppe 2: 0.8 SD in beiden Gruppen: 1 N Studien untersucht Vortrag vom 06.10.00 Metaanalyse

Erstellen der Prüfverteilung Beispiel: N = 3 Studien Jeweils n = 5 Probanden in Kontroll- und Behandlungsgruppe Prinzip: Mache mit den Gruppen unter Modellannahmen das, was du in den Experimenten mit Versuchspersonen gemacht hast Vorgehen: Ziehe per Zufall 5 Zahlen aus Normalverteilung 1 (randomisierte Auswahl von Probanden aus der Grundgesamtheit) Ziehe per Zufall 5 Zahlen aus Normalverteilung 2 Führe einen t-Test durch: Signifikant oder nicht? Wiederhole dies 3 Mal (N = 3 Studien wurden durchgeführt) Zähle die Anzahl der signifikanten Ergebnisse (0 bis 3) Vortrag vom 06.10.00 Metaanalyse

Vorgehen grafisch t-Test: n.s. t-Test: * t-Test: n.s. Metaanalyse Vortrag vom 06.10.00 Metaanalyse

Ergebnis am Beispiel Eingangsbeispiel: Asymptotische Annäherung: N = 12 Studien Je n = 10 Vpn in Kontroll- und Behandlungsgruppe d = 0.8 Asymptotische Annäherung: N = 12 Studien, n = 20 Vpn, d = 0.8 Ist angenähert binomialverteilt mit bestimmtem p (Umrechnungsformel existiert) Vortrag vom 06.10.00 Metaanalyse

Bewertung Annahme Stichprobengröße: Annahme Studienanzahl: Mittelwert in den Studien: n = 18 Konservativ: n = 20 Annahme Studienanzahl: N = 12 Annahme Effektgrößen: d = 0.2 entspricht p = 0.112 d = 0.5 entspricht p = 0.285 d = 0.8 entspricht p = 0.530 Ergebnis: p (Ergebnis / d = 0.2): 0.992 p (Ergebnis / d = 0.5): 0.762 p (Ergebnis / d = 0.8): 0.142 Kleiner Effekt! Vortrag vom 06.10.00 Metaanalyse

Ergebnisdarstellung Alkohol Vortrag vom 06.10.00 Metaanalyse

Übersicht Prüfmethoden Vote-Counting, wenn nur Information „signifikant / nicht signifikant“ vorliegt. Bei Vorliegen von Teststatistiken (t-, F-, p-Werte): Adding of Logs (Fisher-Methode) Addieren von transformierten p-Werten Addieren von t-Werten Addieren von z-Werten (Stouffer-Methode) Nachteil: Prüft nur, ob Effekt vorhanden ist Vortrag vom 06.10.00 Metaanalyse

Schätzung Effektstärke 1. Pro Studie Schätzung des Effekts, diese Effektstärken werden dann aggregiert. 2. Bekannt sein müssen: Mittelwerte der EG und KG Stichprobengröße in EG und KG Standardabweichungen der EG und KG (oder F-, t-Werte -> Schätzung der Standardabweichungen) 3. Effektstärke pro Experiment wird geschätzt 4. Effektstärke insgesamt wird dann als Mittelwert dieser Effektstärken pro Experiment berechnet (u.U. korrigiert, um erwartungstreuen Schätzer zu erhalten) 5. Effektstärke ist zu interpretieren in Einheiten der gemittelten Standardabweichungen (wie oben) Vortrag vom 06.10.00 Metaanalyse