Forschungsstrategien Johannes Gutenberg Universität Mainz Evaluation & Forschungsstrategien Seminar SS2015 Prof. Dr. G. Meinhardt Johannes Gutenberg Universität Mainz

Anwendung statistischer Verfahren in Überblick Grundprinzip Evaluation & Forschungsstrategien Seminar Anwendung statistischer Verfahren in Überblick Grundprinzip wichtigsten mathematischen Beziehungen Anwendungsbeispiele in Excel & Statistica HA/Tut Vertiefung mit Anwendungsbeispielen Aufgabenbearbeitung mit Excel & Statistica Film einblenden. Dann nach Ortho-Test: Fahle-Folie einblenden (Stimulus-Spezifität) und sagen, dass auch die Beurteilung der Länge oder der Luminanz der Linien nicht möglich ist, wenn man nicht darauf geachtet hat (Task-Spezifität) Prüfung Mündliche Modulabschlußprüfung Stud.Leistung Bearbeitung eines Project Files

ANOVA – Grouping Factor Designs Evaluation & Forschungsstrategien Einführung Evaluationsproblem am Beispiel der Wirksamkeitsprüfung einer therapeutischen Maßnahme: Grundprobleme und Prüfstrategien Verfahren ANOVA – Grouping Factor Designs ANOVA – Messwiederholungsdesigns/Trendanalyse Effektstärkenprüfung Faktoranalyse Versuchspläne Typische Designs aus der klinischen Psychologie Film einblenden. Dann nach Ortho-Test: Fahle-Folie einblenden (Stimulus-Spezifität) und sagen, dass auch die Beurteilung der Länge oder der Luminanz der Linien nicht möglich ist, wenn man nicht darauf geachtet hat (Task-Spezifität) Ziele Wissen über statistische Verfahren Wissen über Untersuchungsstrategien Umsetzung mit Software

Evaluations-problem Design Evaluation & Forschungsstrategien Evaluations-problem Design ANOVA mit einem Gruppierungsfaktor und mind. einem Messwiederholungsfaktor t1 t2 … tk Control v1 v2 v3 Therapy Film einblenden. Dann nach Ortho-Test: Fahle-Folie einblenden (Stimulus-Spezifität) und sagen, dass auch die Beurteilung der Länge oder der Luminanz der Linien nicht möglich ist, wenn man nicht darauf geachtet hat (Task-Spezifität) Hierbei wird jede Variable Vj auf ni Versuchspersonen gemessen. i = 1: Kontrollgruppe i = 2: Therapiegruppe (die Stichprobenumfänge beider Gruppen dürfen verschieden sein)

Daten Evaluation & Forschungsstrategien Film einblenden. Dann nach Ortho-Test: Fahle-Folie einblenden (Stimulus-Spezifität) und sagen, dass auch die Beurteilung der Länge oder der Luminanz der Linien nicht möglich ist, wenn man nicht darauf geachtet hat (Task-Spezifität)

Fragen … Multivariate Analysemethoden & Multivariates Testen Film einblenden. Dann nach Ortho-Test: Fahle-Folie einblenden (Stimulus-Spezifität) und sagen, dass auch die Beurteilung der Länge oder der Luminanz der Linien nicht möglich ist, wenn man nicht darauf geachtet hat (Task-Spezifität)

gibt es preexperimentelle Gruppenunterschiede? (Effekte im Pretest) Multivariate Analysemethoden & Multivariates Testen Fragen gibt es preexperimentelle Gruppenunterschiede? (Effekte im Pretest) gibt es postexperimentelle Gruppenunterschiede? (Effekte im Posttest) wie ist der Verlauf der Einwirkung in der Zeit in beiden Gruppen? inwiefern sind die Effekte variablenspezifisch? kann man ein Urteil über die Wirksamkeit der Therapie für alle Variablen fällen? wie stark sind die Effekte der Therapie? ist die Zusammenhangsstruktur der Variablen in beiden Gruppen gleich? ändert sich die Zusammenhangsstruktur mit der Zeit? sind die Voraussetzungen für die eingesetzten statistischen Verfahren erfüllt? Film einblenden. Dann nach Ortho-Test: Fahle-Folie einblenden (Stimulus-Spezifität) und sagen, dass auch die Beurteilung der Länge oder der Luminanz der Linien nicht möglich ist, wenn man nicht darauf geachtet hat (Task-Spezifität)

Literatur Multivariate Analysemethoden & Multivariates Testen a) b) c) Bortz b) Bortz/Döring Literatur c) Winer

x M J Problem Gruppierungsvariable Messgröße (metrisch) Beispiel Univariate Mittelwertevergleiche - Problemstellung Problem Gruppierungsvariable Messgröße (metrisch) Beispiel x Geschlecht Anzahl der gefundenen Zielelemente in einem Konzentrationsleistungstest M J Film einblenden. Dann nach Ortho-Test: Fahle-Folie einblenden (Stimulus-Spezifität) und sagen, dass auch die Beurteilung der Länge oder der Luminanz der Linien nicht möglich ist, wenn man nicht darauf geachtet hat (Task-Spezifität) Frage Unterscheidet sich die Leistung von Mädchen und Jungen im statistischen Mittelwert ?

Geschlecht M J 23.7 17.2 23.7 – 17.2 = 6.5 Stichprobe Univariate Mittelwertevergleiche - Problemstellung Stichprobe Wir untersuchen 40 Mädchen und 45 Jungen Beispieldaten Geschlecht M J 23.7 17.2 23.7 – 17.2 = 6.5 Film einblenden. Dann nach Ortho-Test: Fahle-Folie einblenden (Stimulus-Spezifität) und sagen, dass auch die Beurteilung der Länge oder der Luminanz der Linien nicht möglich ist, wenn man nicht darauf geachtet hat (Task-Spezifität) Frage Gibt es wirkliche Leistungsunterschiede zwischen Jungen und Mädchen, oder ist der gefundene Unterschied „rein zufällig“ ?

Strategie Annahme Urteil Univariate Mittelwertevergleiche - Prüfstrategie Strategie Ermittle die Wahrscheinlichkeit für den beobachteten Mittelwertsunterschied unter der Annahme, dass beide Gruppen in der Population denselben Mittelwert besitzen Annahme Die Populationsmittelwerte von Jungen und Mädchen sind gleich Null-Hypothese Alternativ-Hypothese Film einblenden. Dann nach Ortho-Test: Fahle-Folie einblenden (Stimulus-Spezifität) und sagen, dass auch die Beurteilung der Länge oder der Luminanz der Linien nicht möglich ist, wenn man nicht darauf geachtet hat (Task-Spezifität) Urteil Ist der beobachtete Mittelwertsunterschied unter der H0 sehr unwahrscheinlich (höchstens 5%), so lehnen wir die H0 ab, und sehen die H1 als die bessere Alternative an.

Sampling Theoretische Verteilung – Sampling Distribution Population der Jungen Stichprobe des Umfangs NJ Mittelwertsdifferenz Tue dies k - mal: Population der Mädchen Stichprobe des Umfangs NM Verteilung der Differenzen von Mittelwerten

Central Limit Theorem Inferenzstat. Schluss Theoretische Verteilung – Sampling Distribution Central Limit Theorem Die Verteilung von Differenzen von Mittelwerten nähert sich mit wachsendem Umfang der Sample-Stichproben einer Normalverteilung. Für N > 30 ist die Approximation gut. Es gilt: 0.10 (wird geschätzt) Wahrscheinlichkeitsdichte 0.05 0.00 -2s -s s 2s In der theoretischen Verteilung der Differenzen von Mittel-werten wird die Wahrscheinlichkeitsbestimmung vorge-nommen. Sie liegt dem inferenzstatistischen Schluss zugrunde. Inferenzstat. Schluss

Sampling Distribution – Bestimmung des Standardfehlers Unabhängigkeit Ist die Messvariable eine in beiden Populationen unabhängige ZV: Jungen und Mädchen kommen aus derselben Population Gleichheit der Populations-varianz Standardfehler

Sampling Distribution – Schätzung des Standardfehlers Schätzung aus Stichproben Für die Populationsvarianz verwendet man eine Schätzung aus den Daten beider Stichproben: “Pooling” wobei und die Stichprobenvarianzen sind Dann gilt Schätzformel (Beste Schätzung des Standardfehlers aus Stichprobendaten)

Standard-Normalverteilung Normalverteilung – z –Standardnormalverteilung f (x) f (z) 0.10 0.10 Wahrscheinlichkeitsdichte Wahrscheinlichkeitsdichte 0.05 0.05 x z 0.00 x _ 0.00 z _ 20 30 40 50 60 70 80 -3 -2 -1 1 2 3 Normalverteilung Standard-Normalverteilung Die z- Transformation übersetzt die Rohdatenskala in die Standardskala ( z = 0, sz = 1) _

[ ] [ ] Sampling Distribution – Prüfgrösse z- Skala der Differenzen von Mittelwerten Unter der H0 gilt Dann gilt: Prüfgrösse ist standardnormalverteilt [ ] Transformation [ ]

Testen zum Signifikanzniveau : Ist |z| > z1-a/2? Entscheidung über Prüfgrösse mit Standardnormalverteilung Prüfgrösse Signifikanzniveau 0.2 0.1 z -4 -2 Annahmebereich Ablehnungsbereich 2 4 Testen zum Signifikanzniveau : Ist |z| > z1-a/2?

Ermittle kritischen z - Wert z1-a/2 für ein a- Fehlerniveau Entscheidung über Signifikanz des Mittelwerteunterschieds 1. Prüfgrösse Berechne Ermittle kritischen z - Wert z1-a/2 für ein a- Fehlerniveau 2. Kritischer z - Wert 3. Entscheide A. Gilt |z| > z1-a/2 Ablehnung von H0 (die Mittelwerte der J. und M. sind signifikant verschieden) B. Gilt |z| < z1-a/2 Beibehalten von H0 _ (die Mittelwerte der J. und M. unterscheiden sich zufällig)

z1-a/2 = z0.975 = 1.96 23.7 17.2 173 106 Differenz der Mittelwerte Numerisches Beispiel 23.7 17.2 173 106 Differenz der Mittelwerte 23.7 – 17.2 = 6.5 Standardfehler Prüfgrösse und Kritischer Wert z1-a/2 = z0.975 = 1.96 Entscheidung d.h. |z| > z1-a/2 2.52 > 1.96 H0 ablehnen Die Mittelwerte entstammen nicht derselben Population (unterscheiden sich signifikant)

Die Populationsvarianzen die beiden Stichproben zu Voraussetzungen der Prüfung Varianz-homogenität Die Populationsvarianzen die beiden Stichproben zu Grunde liegen, müssen gleich (homogen) sein. (Prüfung mit geignetem Verfahren) Unabhängigkeit b. Die Messeinheiten innerhalb jeder Stichprobe müssen unabhängig sein. c. Die Messeinheiten beider Stichproben dürfen nicht teilweise paarweise zuzuordnen sein. Verletzungen Der Test ist relativ robust gegen Verletzungen der Varianzhomogenität. Verletzungen der Unabhängigkeit (b.) führen zur Ungültigkeit der Prüfgrösse, der Unab- hängigkeit (c.) je nach Höhe der Korrelationen zu progressiven (kleine Korr.) oder zu konservativen Entscheidungen (hohe Korr.).