Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Dr. Mark Vollrath Psychologisches Institut III Vortrag vom 06.10.00 Metaanalyse Folie 1 Einführung in die Metaanalyse.

Ähnliche Präsentationen


Präsentation zum Thema: "Dr. Mark Vollrath Psychologisches Institut III Vortrag vom 06.10.00 Metaanalyse Folie 1 Einführung in die Metaanalyse."—  Präsentation transkript:

1 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 1 Einführung in die Metaanalyse

2 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 2 Review vs. Metaanalyse Mängel von Reviews: Reviewer verwenden alte Reviews, ohne sie zu prüfen Reviewer diskutieren nur eine Teilmenge der Befunde Ergebnisse werden nur grob klassifiziert (signifikant) Das Auftreten fehlerhaft positiver Ergebnisse wird nicht berücksichtigt (Alpha-Fehler) Zusammenhang zwischen Art der Studie und Ergebnis wird meist nicht diskutiert Keine Angaben über die Art der Zusammenfassung von Befunden (Theorie der Review-Autoren)

3 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 3 Definition Metaanalyse Glass (1976): Metaanalysis refers to the analysis of analyses. I use it to refer to the statistical analysis of a large collection of analysis results from individual studies for the purpose of interpreting the findings. (S. 3)

4 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 4 Arten der Metaanalyse Inferenzstatistische Verfahren: Auszählung von Prüfergebnissen (Vote-Counting): Signifikant vs. nicht signifikant Summierung von Teststatistiken: p-Werte, t-Werte, z-Werte Deskriptive Verfahren: Beschreibung der wahren Effektgröße

5 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 5 Probleme der Metaanalyse Uniformitätsproblem: Äpfel- und Birnen-Problem Auswahl der Primärstudien: Vollständig, Einzelfallstudien Dokumentation der Primärstudien: p-Werte, Effektschätzungen, Studienmerkmale Methodische Qualität der Primärstudien

6 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 6 Beispiel Ergebnis einer Zusammenstellung von Studien: 4 von 12 Studien zeigen einen signifikanten Effekt. Problem: Was bedeutet das für den wahren Effekt? Gibt es ihn und wie groß ist er?

7 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 7 Bewertung des Ergebnisses Vorüberlegung: Welche Extremfälle gibt es? Keine (0 von 12) Studien zeigt einen Effekt: –Es liegt ziemlich sicher kein wahrer Effekt vor Alle (12 von 12) Studien zeigen einen Effekt: –Es liegt ziemlich sicher ein wahrer Effekt vor Statistische Überlegung: Wenn es in Wahrheit keinen Effekt gäbe, und man würde 12 Studien durchführen, wie viele signifikante Studien würde man erwarten?

8 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 8 Prüfung Modell (Nullverteilung): Wahrscheinlichkeit, dass eine Studie zufällig signifikant wird? –Alpha = 5% n = 12 Studien Binomialverteilung mit p = 0.05 und n = 12 Ergebnis: Es ist extrem unwahrscheinlich, dass vier oder mehr Studien signifikant werden Es ist extrem unwahrscheinlich, dass kein Effekt vorliegt Wie groß ist der Effekt?

9 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 9 Liegt ein Effekt vor? Diese Frage wird nach der ganz normalen Testlogik beantwortet: Versuchspersonen sind hier die Studien. Nullhypothese: Es liegt kein wahrer Effekt vor (nur Zufall wirkt) Statistisch: p (Studie zufällig signifikant) = Alpha der Studien = 0.05 Nullverteilung (Modell): Binomialverteilung mit p = 0.05 und n = Anzahl der Studien Logik: Wenn Ergebnis unter den Annahmen des Modells unwahrscheinlich ist, wird die Nullhypothese abgelehnt, d.h. das Modell verworfen Ergebnis (umgangssprachlich): Es liegt ein Effekt vor, bzw. es liegt kein Effekt vor

10 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 10 Wie groß ist der Effekt? Um diese Frage zu beantworten, wird die normale Testlogik umgedreht: Die Nullhypothese behauptet, dass eine bestimmte Effektgröße vorliegt Statistisch: z.B. p (Studie signifikant bei bestimmter Effektgröße) = 0.20 Modell: Binomialverteilung mit p und n = Anzahl der Studien Logik: Wenn das Ergebnis unter den Annahmen des Modells wahrscheinlich ist, wird die Nullhypothese beibehalten Ergebnis: Der Effekt ist mindestens so groß wie die geprüfte Effektgröße

11 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 11 Festlegung von Effektgrößen Angabe der Effektgröße als Differenz zweier z-Werte Konvention: d = 0.2: kleiner Effekt d = 0.5: mittlerer Effekt d = 0.8: großer Effekt

12 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 12 Effektgröße und Prüfverteilung Problem: Wie komme ich von der Effektgröße zur Prüfverteilung? Was ist eine Prüfverteilung? Angabe, wie wahrscheinlich es ist, dass eine bestimmte Anzahl von Studien signifikant wird, wenn eine bestimmte Effektgröße vorliegt Annahmen für Prüfverteilung bei d = 0.8: Zwei Gruppen mit normalverteilten Werten (z-Werte) Mittelwert Gruppe 1: 0 Mittelwert Gruppe 2: 0.8 SD in beiden Gruppen: 1 N Studien untersucht

13 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 13 Erstellen der Prüfverteilung Beispiel: N = 3 Studien Jeweils n = 5 Probanden in Kontroll- und Behandlungsgruppe Prinzip: Mache mit den Gruppen unter Modellannahmen das, was du in den Experimenten mit Versuchspersonen gemacht hast Vorgehen: Ziehe per Zufall 5 Zahlen aus Normalverteilung 1 (randomisierte Auswahl von Probanden aus der Grundgesamtheit) Ziehe per Zufall 5 Zahlen aus Normalverteilung 2 Führe einen t-Test durch: Signifikant oder nicht? Wiederhole dies 3 Mal (N = 3 Studien wurden durchgeführt) Zähle die Anzahl der signifikanten Ergebnisse (0 bis 3)

14 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 14 Vorgehen grafisch t-Test: n.s.t-Test: *t-Test: n.s.

15 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 15 Ergebnis am Beispiel Eingangsbeispiel: N = 12 Studien Je n = 10 Vpn in Kontroll- und Behandlungsgruppe d = 0.8 Asymptotische Annäherung: N = 12 Studien, n = 20 Vpn, d = 0.8 Ist angenähert binomialverteilt mit bestimmtem p (Umrechnungsformel existiert)

16 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 16 Bewertung Annahme Stichprobengröße: Mittelwert in den Studien: n = 18 Konservativ: n = 20 Annahme Studienanzahl: N = 12 Annahme Effektgrößen: d = 0.2 entspricht p = d = 0.5 entspricht p = d = 0.8 entspricht p = Ergebnis: p (Ergebnis / d = 0.2): p (Ergebnis / d = 0.5): p (Ergebnis / d = 0.8): Kleiner Effekt!

17 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 17 Ergebnisdarstellung Alkohol

18 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 18 Übersicht Prüfmethoden Vote-Counting, wenn nur Information signifikant / nicht signifikant vorliegt. Bei Vorliegen von Teststatistiken (t-, F-, p-Werte): Adding of Logs (Fisher-Methode) –Addieren von transformierten p-Werten Addieren von t-Werten Addieren von z-Werten (Stouffer-Methode) Nachteil: Prüft nur, ob Effekt vorhanden ist

19 Dr. Mark Vollrath Psychologisches Institut III Vortrag vom Metaanalyse Folie 19 Schätzung Effektstärke 1. Pro Studie Schätzung des Effekts, diese Effektstärken werden dann aggregiert. 2. Bekannt sein müssen: Mittelwerte der EG und KG Stichprobengröße in EG und KG Standardabweichungen der EG und KG (oder F-, t-Werte -> Schätzung der Standardabweichungen) 3. Effektstärke pro Experiment wird geschätzt 4. Effektstärke insgesamt wird dann als Mittelwert dieser Effektstärken pro Experiment berechnet (u.U. korrigiert, um erwartungstreuen Schätzer zu erhalten) 5. Effektstärke ist zu interpretieren in Einheiten der gemittelten Standardabweichungen (wie oben)


Herunterladen ppt "Dr. Mark Vollrath Psychologisches Institut III Vortrag vom 06.10.00 Metaanalyse Folie 1 Einführung in die Metaanalyse."

Ähnliche Präsentationen


Google-Anzeigen