Einzelvergleiche Prä – und Posttests Maja Eilender, Pauline Herzog, Philippa Vögeding

Inhalt Grundlagen A-Priori Tests A-Posteriori Tests (post-hoc) Beispielaufgabe

Grundlagen Problem: Ein signifikantes Ergebnis in der ANOVA zeigt nicht an, zwischen welchen Treatmentstufen der Effekt besteht Lösung: Einzelvergleiche (Prüfung der Mittelwerte einzelner Faktorstufen) bei MW-Vergleichen können wir einzelne oder Kombinationen von MWs vergleichen Es können Fragen beantwortet werden wie: Sind die MW zweier Faktorstufen unterschiedlich? Ist eine Faktorstufe unterschiedlich zum MW aller vorhergehenden Faktorstufen? Sind die letzten beiden Faktorstufen unterschiedlich zu den ersten beiden?  Ein solcher Einzelvergleich ist nur dann erlaubt, wenn der zugehörige Faktor in der ANOVA signifikant geworden ist

Grundlagen

Grundlagen Frage: Wann ist D verschieden genug von 0, damit es statistisch signifikant ist? Antwort: aus D muss eine Prüfgröße mit bekannter Häufigkeitsverteilung konstruiert werden F-Verteilung: dazu wird theoretische Varianz der Mittelwerte & Fehlervarianz benötigt Berechnung dieser Varianzen von der Art des Mittelwert-Vergleichs abhängig Stufen und Zell-Mittelwerte können verglichen werden Logik wie bei ANOVA: Unterschiede in Streuung der MW aufgrund von Messfehlern oder systematischer Effekt? 𝐹= 𝑇𝑟𝑒𝑎𝑡𝑚𝑒𝑛𝑡𝑣𝑎𝑟𝑖𝑎𝑛𝑧 𝐹𝑒ℎ𝑙𝑒𝑟𝑣𝑎𝑟𝑖𝑎𝑛𝑧 = 𝐷2 𝞼2𝐷 𝞼2𝐷=𝑉𝑎𝑟 𝐷 = 2 𝑛 ∗ 𝞼2𝐹𝑒ℎ𝑙𝑒𝑟 aus F-Verteilung lässt sich Wahrscheinlichkeit p(F) ermitteln, unter der Annahme, dass MW gleich sind (D=0)  ist p(F) zu klein, liegt statistisch signifikanter Unterschied zwischen den MW vor  Treatmentstufen haben verschieden große Effekte Zuvor in der ANOVA berechnete Fehlervarianz

Grundlagen Prinzip des Testens: Festlegung eines Signifikanzniveaus α (.05 oder .01) Berechnung der Prüfgröße (deren Verteilung bekannt ist: F-Verteilung) Berechnung der Wahrscheinlichkeit für diese Prüfgröße: p(F) Rückschluss: p(F) = p(D=0) Vergleich von p mit α und treffen der Signifikanzaussage

A-Priori Tests zur Prüfung von Hypothesen, die bereits vor der Untersuchung formuliert worden sind  Kontraste I: Oft sollen bei der ANOVA beliebige Zell- Mittelwerte paarweise miteinander verglichen werden (wenn Interaktion AxB signifikant geworden ist) Hat a-priori eine Hypothesenbildung stattgefunden, kann auch dies über Kontraste erreicht werden Prüfgröße: mit Für die Prüfgröße F gilt:

A-Priori Tests Kontraste II: Oft sollen auch Stufen-Mittelwerte verglichen werden Hier gehen in die MW-Differenz D mehr Personen als nur die n Personen einer Zelle ein Prüfgröße: mit Für die Prüfgröße F gilt:

A-Posteriori Tests (post-hoc) zur Prüfung von Hypothesen, die nach Ansehen der Daten gebildet wurden Oft werden Effekte entdeckt, für die zuvor keine Hypothesen bestanden trotzdem sinnvoll zu prüfen, ob sich Signifikanzen ergeben, um bspw. Fragestellungen für weitere Untersuchungen zu entwickeln Achtung: hat faktisch keine Aussagekraft (ist jedoch in der empirischen Forschung durchaus verbreitet)  kann nichts belegen, sondern nur in eine Richtung weisen

A-Posteriori Tests (post-hoc) Scheffé-Test I: Beliebige Zellen können verglichen werden Kommt eher spät (d. h. bei größeren Unterschieden) zu einer Signifikanzaussage Für post-hoc Vergleiche zweier beliebiger Zell- Mittelwerte einer ANOVA mit m Zellen und n Personen gilt: Prüfgröße: Mit Für die Prüfgröße Fcorr gilt:

A-Posteriori Tests (post-hoc) Scheffé-Test II: Vergleich von Treatment-Stufen-Mittelwerten ohne Beachtung des anderen Faktors Für Vergleich zweier beliebiger Stufen-MW eines Faktors mit p Stufen und n Personen gilt: Prüfgröße: Mit Für die Prüfgröße Fcorr gilt:

A-Posteriori Tests (post-hoc) Weitere A-Posteriori Tests: Der Scheffé-Test ist der konservativste unter den post-hoc Tests, d.h. er kommt erst bei größeren MW- Unterschieden zu einer signifikanten Aussage Aber: er ist robust ggü. Verletzungen der Voraussetzungen der ANOVA Andere, progressivere Tests: Least Significant Difference Test (LSD) nach Fisher Honest Significant Difference Test (HSD) nach Tukey Duncan-Test Newman-Keuls Test

Zusammenfassung

Do it yourself!

SPSS bei einfaktorieller ANOVA (eine Gruppierungsvariable) ACHTUNG: Gruppierungsvariable muss numerisch sein Analysieren → Mittelwerte vergleichen → Einfaktorielle Varianzanalyse

SPSS „Post hoc“ → Scheffé ✓ → Signifikanzniveau 0.05 „Optionen“ → Deskriptive Statistik ✓ → Test auf Homogenität der Varianzen ✓ → BF-Test ✓

SPSS Wo liegen die Unterschiede zwischen den Gruppen ? Testet den MW jeder Gruppe gegen den MW der anderen Gruppen Scheffé Test passt automatisch das Signifikanzniveau an

SPSS erstellt „Subsets“ von homogenen Gruppen, die sich nicht signifikant unterscheiden ACHTUNG: nicht überbewerten, dienen nur der Übersicht!

SPSS bei zweifaktorieller (univariaten) ANOVA Unterschied zu einfaktorieller ANOVA: Auswählen, welche Faktoren post-hoc getestet werden

SPSS Subsets: → 4 Subsets = Gehälter der Berufsgruppen unterscheiden sich alle signifikant → 3 Subsets = Gehälter der oberen 2 Hierarchieebenen unterscheidet sich nicht signifikant

Vielen Dank für Eure Aufmerksamkeit!