Evaluation & Forschungsstrategien Winter 16/17 David Kurbel Evaluation & Forschungsstrategien B.Sc.-Seminar Sitzung I: Allgemeines & Intro

Seminarinhalte Sitzung I: 02.11.2016 Winter 16/17 David Kurbel Seminarinhalte Sitzung I: 02.11.2016 I Allgemeines II Seminarinhalte // Aufbau III Prüfung IV Organisatorisches V Einführung // Auffrischung

Allgemeines I II III IV V Winter 16/17 David Kurbel Seminarbeginn: 02.11.2016 Seminarende: 08.02.2017 13 Seminartermine insgesamt (letzter Termin optional) Materialien auf lordsofthebortz.com Seminargruppe I: 08:15 – 09:45 Uhr Seminargruppe II: 10:15 – 11:45 Uhr 4 Credits: Ferienaufgabe & mündliche Prüfung kurbel@uni-mainz.de I II III IV V

Seminarinhalte // Aufbau Winter 16/17 David Kurbel Seminarinhalte // Aufbau Anwendung statistischer Verfahren Überblick Grundprinzip wichtige mathematische Beziehungen Anwendungsbeispiele Excel Statistica Ferienaufgabe eigenständige Vertiefung mit Anwendungsbeispiel Aufgabenbearbeitung mit Excel & Statistica Abgabe bis 31.03.2017 Prüfung nur nach Bearbeitung & Abgabe der Ferienaufgabe I II III IV V

Prüfung I II III IV V Winter 16/17 David Kurbel mündliche Modulabschlussprüfung à 20-30 Minuten Termine Februar 2017: 16.02. & 17.02. Termine April 2017: 10.04. & 11.04. Prüfbereiche Psychologie als empirische Wissenschaft Hypothesenprüfung & Testen Wahrscheinlichkeitsbegriff Normalverteilung, Skalen & Transformationen Statistische Prüfverfahren Versuchsplanung & Güteaspekte im Kontext von Evaluationsuntersuchungen Beispielfragen zu jedem Themenkomplex online Vorsicht bei Altskripten & Altfragen! I II III IV V

Organisatorisches I II Basics III & Aufbau IV V Winter 16/17 David Kurbel Organisatorisches I II Basics & Aufbau III IV V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung Beispiel: Wirksamkeitsprüfung einer therapeutischen Maßnahme – Grundprobleme & Prüfstrategien Verfahren ANOVA – Grouping Factor Designs ANOVA – Messwiederholungsdesigns / Trendanalysen Effektstärkenprüfung Faktorenanalyse Versuchspläne typische Designs der klinischen Psychologie Ziele Wissen über statistische Verfahren // Untersuchungsstrategien Umsetzung mit statistischer Software I II III IV V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung Problemstellung Therapie-Evaluationsstudie: Wirksamkeit einer neuen Behandlungsmethode für depressive Verstimmung 22 Patienten über 7 Wochen mit neuer Methode behandelt 3 Kontrollvariablen werden jede Woche erhoben V1: erlebte Beanspruchung V2: Ohnmacht / Hilflosigkeit V3: Körperbeschwerden Kontrollgruppe, identische Variablen werden erhoben alle 3 Variablen gleichermaßen wichtig I II III IV V Design?

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung Design ANOVA mit Gruppierungsfaktor und mindestens einem Messwiederholungsfaktor jede Variable Vj wird auf ni Versuchspersonen gemessen i = 1: Kontrollgruppe i = 2: Therapiegruppe Stichprobenumfänge beider Gruppen dürfen unterschiedlich sein I II t1 t2 … t7 tk Kontrollgr. v1 v2 v3 Therapiegr. III IV V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung I II III IV V

Untersuchungsfragen? Einführung // Auffrischung I II III IV V Winter 16/17 David Kurbel Einführung // Auffrischung I II Untersuchungsfragen? III IV V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung Gibt es pre- / post-experimentelle Gruppenunterschiede (Effekte Pre / Posttest)? Wie ist der Verlauf der Einwirkung in der Zeit in beiden Gruppen? Inwiefern sind die Effekte variablenspezifisch? Kann man ein Urteil über Wirksamkeit der Therapie für alle Variablen fällen? Wie stark sind die Effekte der Therapie? Ist die Zusammenhangsstruktur der Variablen in beiden Gruppen gleich? Ändert sich die Zusammenhangsstruktur mit der Zeit? Sind Voraussetzungen für eingesetzte statistische Verfahren erfüllt? I II III IV V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung Univariate Mittelwertevergleiche Problemstellung Leistungen von Jungen und Mädchen in einem Konzentrationstest x = Anzahl der korrekt identifizierten Zielelemente im Test (z.B. d2) Forschungsfrage I II III IV V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung Univariate Mittelwertevergleiche Problemstellung Leistungen von Jungen und Mädchen in einem Konzentrationstest x = Anzahl der korrekt identifizierten Zielelemente im Test (z.B. d2) Forschungsfrage Unterscheiden sich die Leistungen von Mädchen und Jungen im statistischen Mittelwert? I II III IV V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung Univariate Mittelwertevergleiche Problemstellung Leistungen von Jungen und Mädchen in einem Konzentrationstest x = Anzahl der korrekt identifizierten Zielelemente im Test (z.B. d2) Forschungsfrage Unterscheiden sich die Leistungen von Mädchen und Jungen im statistischen Mittelwert? Stichprobe: 40 Mädchen // 45 Jungen Gibt es wirkliche Leistungsunterschiede zwischen Jungen und Mädchen oder ist der gefundene Unterschied rein zufällig? I II III IV M J 𝑥 M 𝑥 J 23.7 17.2 V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung Strategie Wahrscheinlichkeit für den beobachteten Mittelwertsunterschied ermitteln unter der Annahme, dass beide Gruppen in der Population denselben Mittelwert besitzen I II Stichprobe des Umfangs nM „Die Populationsmittelwerte von M und J sind gleich.“ III H0: µ1 = µ2 H1: µ1 ≠ µ2 IV wenn unwahrscheinlich, dann verwerfen „Die Populationsmittelwerte von M und J sind ungleich.“ V Stichprobe des Umfangs nJ

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung Strategie Wahrscheinlichkeit für den beobachteten Mittelwertsunterschied ermitteln unter der Annahme, dass beide Gruppen in der Population denselben Mittelwert besitzen I II Stichprobe des Umfangs nM III 𝑥 M 𝑥 M - 𝑥 J = Δ 𝑥 23.7 – 17.2 = 6.5 IV Mittelwertsdifferenz V 𝑥 J Stichprobe des Umfangs nJ

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung Prüfgröße 𝑥 1 − 𝑥 2 entspricht 𝑥 M − 𝑥 J , also Δ 𝑥 (beobachtete Größe) 𝜇 1 − 𝜇 2 entspricht 0 (theoretische Größe) 𝑠 𝑥 1 − 𝑥 2 : Streuung der Mittelwertsdifferenz I 𝑥 1 − 𝑥 2 − 𝜇 1 − 𝜇 2 𝑠 𝑥 1 − 𝑥 2 II III IV V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung Prüfgröße 𝑥 1 − 𝑥 2 entspricht 𝑥 M − 𝑥 J , also Δ 𝑥 (beobachtete Größe) 𝜇 1 − 𝜇 2 entspricht 0 (theoretische Größe) 𝑠 𝑥 1 − 𝑥 2 : Streuung der Mittelwertsdifferenz I 𝑥 1 − 𝑥 2 − 𝜇 1 − 𝜇 2 𝑠 𝑥 1 − 𝑥 2 𝑥 M − 𝑥 J 𝑠 𝑥 M − 𝑥 J II III IV V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung 𝑠 𝑥 1 − 𝑥 2 Annahme: beide Stichproben unabhängig voneinander Varianz der Mittelwertsdifferenz: 𝜎 Δ 𝑥 2 = 𝜎 𝑥 𝑀 2 + 𝜎 𝑥 𝐽 2 Varianz der Mittelwertsverteilung 𝜎 𝑥 2 ist n-mal kleiner als die Populationsvarianz, daher Vereinfachung: 𝜎 Δ 𝑥 2 = 𝜎 𝑥 𝑀 2 𝑛 𝑀 + 𝜎 𝑥 𝐽 2 𝑛 𝐽 „Gleichheit der Populationsvarianz“ 𝜎 𝑀 2 = 𝜎 𝐽 2 = 𝜎 2 I II Summe der Varianzen der beiden Stichprobenmittel III IV V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung 𝑠 𝑥 1 − 𝑥 2 Vereinfachung: 𝜎 Δ 𝑥 = 𝜎 2 1 𝑛 𝑀 + 1 𝑛 𝐽 Standardabweichung der Mittelwertsdifferenz oder Standardfehler der Differenz Erinnerung: 𝜎 Δ 𝑥 entspricht 𝜎 𝑥 M − 𝑥 J Populationsvarianz für 𝜎 2 unbekannt, nicht berechenbar Verwendung des Schätzwerts 𝑠 𝑝 2 𝑠 𝑥 M − 𝑥 J = 𝑠 𝑝 2 1 𝑛 𝑀 + 1 𝑛 𝐽 Unterschiede für n1 = n2 und n1 ≠ n2 I II III IV V

= t Einführung // Auffrischung 𝑠 𝑥 1 − 𝑥 2 I II III IV V Winter 16/17 David Kurbel Einführung // Auffrischung 𝑠 𝑥 1 − 𝑥 2 n1 = n2 Stichprobenvarianzen mitteln 𝑠 𝑝 2 = 𝑠 𝑀 2 + 𝑠 𝐽 2 2 𝑠 𝑝 2 einsetzen in 𝑠 𝑥 M − 𝑥 J = 𝑠 𝑝 2 1 𝑛 𝑀 + 1 𝑛 𝐽 𝑠 𝑥 1 − 𝑥 2 ist damit berechnet Einsetzen in: I II III IV 𝑥 1 − 𝑥 2 − 𝜇 1 − 𝜇 2 𝑠 𝑥 1 − 𝑥 2 = t V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung 𝑠 𝑥 1 − 𝑥 2 n1 ≠ n2 Problem: Varianzschätzung besser unterschiedliche Qualität von 𝑠 𝑀 2 und 𝑠 𝐽 2 berücksichtigen durch unterschiedliche Gewichtung direkter Bezug zu unterschiedlichen n 𝑠 𝑝 2 = (𝑛 𝑀 − 1) 𝑠 𝑀 2 + (𝑛 𝐽 − 1) 𝑠 𝐽 2 𝑛 𝑀 + 𝑛 𝐽 −2 𝑠 𝑀 2 erhält mehr Gewicht bei größerem 𝑛 𝑀 I II III IV Einsetzen für t! V

Einführung // Auffrischung Winter 16/17 David Kurbel Einführung // Auffrischung 𝑠 𝑥 1 − 𝑥 2 n1 ≠ n2 Problem: Varianzschätzung besser unterschiedliche Qualität von 𝑠 𝑀 2 und 𝑠 𝐽 2 berücksichtigen durch unterschiedliche Gewichtung direkter Bezug zu unterschiedlichen n 𝑠 𝑝 2 = (𝑛 𝑀 − 1) 𝑠 𝑀 2 + (𝑛 𝐽 − 1) 𝑠 𝐽 2 𝑛 𝑀 + 𝑛 𝐽 −2 𝑠 𝑀 2 erhält mehr Gewicht bei größerem 𝑛 𝑀 df: 𝑛 𝑀 + 𝑛 𝐽 −2 I II III IV V