Effektgrößen, Kontraste & Post-hoc-Tests

Präsentation zum Thema: "Effektgrößen, Kontraste & Post-hoc-Tests"—  Präsentation transkript:

1 Effektgrößen, Kontraste & Post-hoc-Tests

2 Mediator- & Moderatoranalyse
Was erinnert ihr?

3 Erinnerung Spezielle Verwendungen der Methode: Regressionsanalyse
Funktion Mediatoranalyse: Vermittlung der gemeinsamen Varianz über eine Drittvariablen sichtbar machen Die vier Schritte der Mediatoranalyse Funktion Moderatoranalyse: Beeinflussung der „Höhe“ des Zusammenhangs zwischen zwei Variablen durch eine dritte Variable prüfen Zentraler mathematischer Unterschied: Bei der Mediatoranalyse müssen alle Variablen korrelieren, bei der Moderatoranalyse soll die Drittvariable nicht mit Prädiktor/UV korrelieren

4 Einfaktorielle Varianzanalyse
Was wisst ihr noch? .

5 Erinnerung Einsetzbar für multiple Mittelwertsvergleiche
Vorteile gegenüber dem t-Test: Vergleich von mehr als zwei Gruppen mit einem Test bei gleichzeitiger Vermeidung einer Alpha-Fehler-Kummulierung Beruht mathematisch auf eine Zerlegung der Varianz in Gesamt-, Gruppen- und Fehlervarianz Eine Vorstufe der Varianz stellen dabei die Quadratsummen dar Der F-Test relativiert die durch die Gruppenzugehörigkeit erklärte Varianz an der Fehlervarianz Die Effektgröße einer ANOVA lässt sich über Eta² bestimmen, dass die erklärte Varianz an der Gesamtvarianz relativiert

6 Effektgrößen Eine signifikante Varianzanalyse erlaubt keine Aussage über die Größe des statistischen Zusammenhangs! Daher werden Effektgrößen bestimmt, die von der Stichprobengröße unabhängig und standardisiert sind (prozentualer Anteil erklärter Varianz)  Dies entspricht dem Determinationskoeffizienten der Regressionsanalyse

7 Effektgrößen Die durch die Stichproben-Prädiktoren erklärte Varianz überschätzt meist die Populationsvarianz (Capitalization of Chance), daher erfolgt eine Korrektur durch ω2 : Dieser Wert wird von SPSS als korrigiertes R2 berichtet.

8 Thema heute: Kontraste & Post-hoc-Tests

9 Gliederung Funktion von Kontrasten & Post-hoc-Tests
Interpretation wichtiger Post-hoc- Tests Berechnung von Kontrasten

10 Funktion von Kontrasten & post-hoc-Tests

11 ANOVA: unspezifischer „overall-Test“
Wenn Femp > Fkrit wird die H0 verworfen und damit die H1 angenommen. Es gilt also: μi ≠ μj, für mindestens ein Paar i, j Allerdings ist damit noch unklar, welche Mittelwerte sich unterscheiden. SPT TPT KVT M1=5 M2=10 M3=12 Kontraste oder post-hoc-Tests ? ? ?

12 Kontraste oder post-hoc-Tests?
keine Vermutung über Gruppenunterschiede Vermutung über Gruppenunterschiede F-Test: signifikant? post-hoc-Tests paarweiser Vergleich von Mittelwerten Vergleich von Mittel- wertskombinationen Tukey-HSD-Test Scheffé-Test Kontraste; ersetzen auch den F-Test 12 12

13 Interpretation wichtiger Post-hoc-Tests

14 Post-hoc-Tests Bei signifikantem F-Wert können wir im Nachhinein prüfen, welche Mittelwerte sich unterscheiden. Es gibt verschiedene Verfahren hierzu. Eine besonderes hohe Teststärke haben: Tukey‘s HSD (Honestly Significant Differences) Scheffé-Test

15 Post-hoc-Tests: Tukey´s HSD
Tukey‘s HSD beruht auf dem Vergleich der Mittelwertsdifferenzen Ihr müsst den Test nicht rechnen können, aber wissen, wie man eine SPSS Ausgabe interpretiert Der Tukey-HSD-Test führt alle möglichen Mittelwertsvergleiche durch. Eine Differenz ist signifikant, wenn der Unterschied zwischen zwei Mittelwerten xyi und xyj größer ist als die so genannte “Honestly Significant Difference”

16 Tukey´s HSD in SPSS

17 Post-hoc-Vergleiche: Scheffé-Test
Auch der Scheffé-Test beruht auf Mittelwertsvergleichen Analog zu Tukey‘s HSD genügt es, wenn ihr eine SPSS-Ausgabe interpretieren könnt Der Scheffé-Test hat eine geringere Power als Tukey‘s HSD

18 Der Scheffé-Test in SPSS

19 Berechnung von Kontrasten

20 Kontraste Bestehen vor der Datenerhebung Hypothesen, welche Gruppenmittelwerte sich unterscheiden, werden Kontraste formuliert Im Gegensatz zu post-hoc-Tests, prüfen Kontraste nur die a priori vermuteten Mittelwertsdifferenzen auf Signifikanz Man kann Kontraste daher als geplante Mittelwertsvergleiche bezeichnen

21 Definition Der Kontrast Ψ ist die gewichtete Summe von p Populationsmittelwerten μj, in welcher mindestens ein Gewicht cj ungleich Null ist. Nomenklatur für die Stichprobe: Voraussetzung: Die Summe aller Gewichte muss null ergeben.

22 Kontrast-Berechnung Hypothesen aufstellen
Können im Gegensatz zu post-hoc-Tests auch gerichtet sein! Kontrastgewichte cj formulieren Voraussetzungen prüfen: Ist Summe aller Gewichte = 0? sind Kontraste unabhängig? Kontraste berechnen: Signifikanzprüfung per t-Test

23 Kontrastgewichte (Kodierung)
Die Kontrastkodierung zeigt die Gewichte für die Mittelwerte: Kontrast A B C D 1. A vs. B 1 -1 2. A,B vs. C,D 1/2 -1/2 3. A,B,C vs. D 1/3 Voraussetzung prüfen: Addieren sich die Gewichte in jeder Zeile zu null?

24 Unabhängigkeit Alle formulierten Kontraste müssen paarweise unabhängig sein. Nur bei unabhängigen Kontrasten wird eine α-Fehler Kumulierung verhindert. Zwei Kontraste sind unabhängig, wenn gilt:

25 Unabhängigkeit: Beispiel I
Kontrast A B C D 1. A vs. B 1 -1 2. A,B vs. C,D 1/2 -1/2 3. A,B,C vs. D 1/3 Die Unabhängigkeit muss paarweise überprüft werden: 1 und 2? 1 und 3? 2 und 3? ok ok X

26 Unabhängigkeit: inhaltlich
Kontrast A B C D 1. A vs. B 1 -1 2. A,B vs. C,D 1/2 -1/2 3. A,B,C vs. D 1/3 Kritischer Punkt: mehrere Kombinationsvergleiche. Ein Faktor darf hierbei nicht… auf „verschiedenen Seiten“ stehen. mit unterschiedlichen Kombinationen verglichen werden.

27 Unabhängigkeit: Beispiel II
Kontrast A B C D 1. A vs. B 1 -1 2. A,B vs. C,D 1/2 -1/2 3. C vs. D Die Unabhängigkeit muss paarweise überprüft werden: 1 und 2? 1 und 3? 2 und 3? ok ok ok

28 Berechnung der Kontraste
Kontrast 1: A vs. B Kontrast 2: A & B vs. C & D Kontrast 3: A & B & C vs. D

29 Signifikanzprüfung Kontraste werden mit einem t-Test auf Signifikanz überprüft: Kontrast (Mittelwertsdifferenz) H0:Der Kontrast ist gleich 0, bzw. die Mittelwerte unterscheiden sich nicht. H1:Der Kontrast ist ungleich Null, bzw. die Mittelwerte unterscheiden sich. Standardfehler des Kontrasts Analog zu den post-hoc-Tests müsst ihr Kontraste nicht von Hand berechnen, sondern lediglich in SPSS mit ihnen arbeiten können.

30 Kontraste in SPSS Ist dieser Kontrast signifikant?
Das kommt darauf an, ob eine ungerichtete oder eine gerichtete Hypothese formuliert war…

31 Kontraste vs. Post-hoc-Tests
Eine ANOVA sagt uns lediglich, ob sich mindestens zwei Gruppen unterscheiden Um herauszufinden welche dies sind, gibt es zwei Möglichkeiten: Post-hoc-Tests, falls vor der Datenerhebung keine Hypothesen bestehen (exploratives Vorgehen) Kontraste, falls vor der Datenerhebung bereits Hypothesen bestanden (hypothesengeleitetes Vorgehen); Kontraste ersetzen auch den F-Test Bezüglich der Power gilt: Kontraste > Tukey‘s HSD > Scheffé

32 Unterschiede mögliche Anzahl = p-1 Leonhart (2008) S. 327

33 Mögliche und unabhängige Kontraste
Bei p Gruppen können p - 1 unabhängige Kontraste gebildet werden.

34 Rechenbeispiel: Kontraste

35 Datensatz & Hypothesen
a. Therapiemethoden wirken im Vergleich zur Kontrollgruppe. b. Psychotherapien wirken besser als medikamentöse Therapie. c. Es gibt einen Unterschied zwischen Psychotherapien.

36 Kontrast-Gewichte ok ok ok

37 Unabhängigkeit Wie viele unabhängige Kontraste sind hier möglich?
ok ok ok Wie viele unabhängige Kontraste sind hier möglich? p - 1 = 4 – 1 = 3

38 Kontrast-Berechnung

39 Signifikanzprüfung Welche Informationen benötigen wir noch? N n
MSwithin tkrit

40 Vielen Dank für die Aufmerksamkeit!