Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Einführung in die Metaanalyse

Ähnliche Präsentationen


Präsentation zum Thema: "Einführung in die Metaanalyse"—  Präsentation transkript:

1 Einführung in die Metaanalyse
Vortrag vom Metaanalyse

2 Review vs. Metaanalyse Mängel von Reviews:
Reviewer verwenden alte Reviews, ohne sie zu prüfen Reviewer diskutieren nur eine Teilmenge der Befunde Ergebnisse werden nur grob klassifiziert („signifikant“) Das Auftreten fehlerhaft positiver Ergebnisse wird nicht berücksichtigt (Alpha-Fehler) Zusammenhang zwischen Art der Studie und Ergebnis wird meist nicht diskutiert Keine Angaben über die Art der Zusammenfassung von Befunden (Theorie der Review-Autoren) Vortrag vom Metaanalyse

3 Definition Metaanalyse
Glass (1976): „Metaanalysis refers to the analysis of analyses. I use it to refer to the statistical analysis of a large collection of analysis results from individual studies for the purpose of interpreting the findings.“ (S. 3) Vortrag vom Metaanalyse

4 Arten der Metaanalyse Inferenzstatistische Verfahren:
Auszählung von Prüfergebnissen (Vote-Counting): Signifikant vs. nicht signifikant Summierung von Teststatistiken: p-Werte, t-Werte, z-Werte Deskriptive Verfahren: Beschreibung der „wahren“ Effektgröße Vortrag vom Metaanalyse

5 Probleme der Metaanalyse
Uniformitätsproblem: Äpfel- und Birnen-Problem Auswahl der Primärstudien: Vollständig, Einzelfallstudien Dokumentation der Primärstudien: p-Werte, Effektschätzungen, Studienmerkmale Methodische Qualität der Primärstudien Vortrag vom Metaanalyse

6 Beispiel Ergebnis einer Zusammenstellung von Studien: Problem:
4 von 12 Studien zeigen einen signifikanten Effekt. Problem: Was bedeutet das für den „wahren“ Effekt? Gibt es ihn und wie groß ist er? Vortrag vom Metaanalyse

7 Bewertung des Ergebnisses
Vorüberlegung: Welche Extremfälle gibt es? Keine (0 von 12) Studien zeigt einen Effekt: Es liegt ziemlich sicher kein „wahrer“ Effekt vor Alle (12 von 12) Studien zeigen einen Effekt: Es liegt ziemlich sicher ein „wahrer“ Effekt vor Statistische Überlegung: Wenn es „in Wahrheit“ keinen Effekt gäbe, und man würde 12 Studien durchführen, wie viele signifikante Studien würde man erwarten? Vortrag vom Metaanalyse

8 Prüfung Modell (Nullverteilung): Ergebnis:
Wahrscheinlichkeit, dass eine Studie zufällig signifikant wird? Alpha = 5% n = 12 Studien Binomialverteilung mit p = 0.05 und n = 12 Ergebnis: Es ist extrem unwahrscheinlich, dass vier oder mehr Studien signifikant werden Es ist extrem unwahrscheinlich, dass kein Effekt vorliegt Wie groß ist der Effekt? Vortrag vom Metaanalyse

9 Liegt ein Effekt vor? Diese Frage wird nach der ganz normalen Testlogik beantwortet: „Versuchspersonen“ sind hier die Studien. Nullhypothese: Es liegt kein „wahrer“ Effekt vor (nur Zufall wirkt) Statistisch: p (Studie zufällig signifikant) = Alpha der Studien = 0.05 Nullverteilung (Modell): Binomialverteilung mit p = 0.05 und n = Anzahl der Studien Logik: Wenn Ergebnis unter den Annahmen des Modells unwahrscheinlich ist, wird die Nullhypothese abgelehnt, d.h. das Modell verworfen Ergebnis (umgangssprachlich): Es liegt ein Effekt vor, bzw. es liegt kein Effekt vor Vortrag vom Metaanalyse

10 Wie groß ist der Effekt? Um diese Frage zu beantworten, wird die normale Testlogik umgedreht: Die Nullhypothese behauptet, dass eine bestimmte Effektgröße vorliegt Statistisch: z.B. p (Studie signifikant bei bestimmter Effektgröße) = 0.20 Modell: Binomialverteilung mit p und n = Anzahl der Studien Logik: Wenn das Ergebnis unter den Annahmen des Modells wahrscheinlich ist, wird die Nullhypothese beibehalten Ergebnis: Der Effekt ist mindestens so groß wie die geprüfte Effektgröße Vortrag vom Metaanalyse

11 Festlegung von Effektgrößen
Angabe der Effektgröße als Differenz zweier z-Werte Konvention: d = 0.2: kleiner Effekt d = 0.5: mittlerer Effekt d = 0.8: großer Effekt Vortrag vom Metaanalyse

12 Effektgröße und Prüfverteilung
Problem: Wie komme ich von der Effektgröße zur Prüfverteilung? Was ist eine Prüfverteilung? Angabe, wie wahrscheinlich es ist, dass eine bestimmte Anzahl von Studien signifikant wird, wenn eine bestimmte Effektgröße vorliegt Annahmen für Prüfverteilung bei d = 0.8: Zwei Gruppen mit normalverteilten Werten (z-Werte) Mittelwert Gruppe 1: 0 Mittelwert Gruppe 2: 0.8 SD in beiden Gruppen: 1 N Studien untersucht Vortrag vom Metaanalyse

13 Erstellen der Prüfverteilung
Beispiel: N = 3 Studien Jeweils n = 5 Probanden in Kontroll- und Behandlungsgruppe Prinzip: Mache mit den Gruppen unter Modellannahmen das, was du in den Experimenten mit Versuchspersonen gemacht hast Vorgehen: Ziehe per Zufall 5 Zahlen aus Normalverteilung 1 (randomisierte Auswahl von Probanden aus der Grundgesamtheit) Ziehe per Zufall 5 Zahlen aus Normalverteilung 2 Führe einen t-Test durch: Signifikant oder nicht? Wiederhole dies 3 Mal (N = 3 Studien wurden durchgeführt) Zähle die Anzahl der signifikanten Ergebnisse (0 bis 3) Vortrag vom Metaanalyse

14 Vorgehen grafisch t-Test: n.s. t-Test: * t-Test: n.s. Metaanalyse
Vortrag vom Metaanalyse

15 Ergebnis am Beispiel Eingangsbeispiel: Asymptotische Annäherung:
N = 12 Studien Je n = 10 Vpn in Kontroll- und Behandlungsgruppe d = 0.8 Asymptotische Annäherung: N = 12 Studien, n = 20 Vpn, d = 0.8 Ist angenähert binomialverteilt mit bestimmtem p (Umrechnungsformel existiert) Vortrag vom Metaanalyse

16 Bewertung Annahme Stichprobengröße: Annahme Studienanzahl:
Mittelwert in den Studien: n = 18 Konservativ: n = 20 Annahme Studienanzahl: N = 12 Annahme Effektgrößen: d = 0.2 entspricht p = 0.112 d = 0.5 entspricht p = 0.285 d = 0.8 entspricht p = 0.530 Ergebnis: p (Ergebnis / d = 0.2): 0.992 p (Ergebnis / d = 0.5): 0.762 p (Ergebnis / d = 0.8): 0.142 Kleiner Effekt! Vortrag vom Metaanalyse

17 Ergebnisdarstellung Alkohol
Vortrag vom Metaanalyse

18 Übersicht Prüfmethoden
Vote-Counting, wenn nur Information „signifikant / nicht signifikant“ vorliegt. Bei Vorliegen von Teststatistiken (t-, F-, p-Werte): Adding of Logs (Fisher-Methode) Addieren von transformierten p-Werten Addieren von t-Werten Addieren von z-Werten (Stouffer-Methode) Nachteil: Prüft nur, ob Effekt vorhanden ist Vortrag vom Metaanalyse

19 Schätzung Effektstärke
1. Pro Studie Schätzung des Effekts, diese Effektstärken werden dann aggregiert. 2. Bekannt sein müssen: Mittelwerte der EG und KG Stichprobengröße in EG und KG Standardabweichungen der EG und KG (oder F-, t-Werte -> Schätzung der Standardabweichungen) 3. Effektstärke pro Experiment wird geschätzt 4. Effektstärke insgesamt wird dann als Mittelwert dieser Effektstärken pro Experiment berechnet (u.U. korrigiert, um erwartungstreuen Schätzer zu erhalten) 5. Effektstärke ist zu interpretieren in Einheiten der gemittelten Standardabweichungen (wie oben) Vortrag vom Metaanalyse


Herunterladen ppt "Einführung in die Metaanalyse"

Ähnliche Präsentationen


Google-Anzeigen