Evaluation & Forschungsstrategien

Präsentation zum Thema: "Evaluation & Forschungsstrategien"—  Präsentation transkript:

1 Evaluation & Forschungsstrategien
Winter 16/17 David Kurbel Evaluation & Forschungsstrategien B.Sc.-Seminar Sitzung I: Allgemeines & Intro

2 Seminarinhalte Sitzung I: 02.11.2016
Winter 16/17 David Kurbel Seminarinhalte Sitzung I: I Allgemeines II Seminarinhalte // Aufbau III Prüfung IV Organisatorisches V Einführung // Auffrischung

3 Allgemeines I II III IV V Winter 16/17 David Kurbel
Seminarbeginn: Seminarende: 13 Seminartermine insgesamt (letzter Termin optional) Materialien auf lordsofthebortz.com Seminargruppe I: 08:15 – 09:45 Uhr Seminargruppe II: 10:15 – 11:45 Uhr 4 Credits: Ferienaufgabe & mündliche Prüfung I II III IV V

4 Seminarinhalte // Aufbau
Winter 16/17 David Kurbel Seminarinhalte // Aufbau Anwendung statistischer Verfahren Überblick Grundprinzip wichtige mathematische Beziehungen Anwendungsbeispiele Excel Statistica Ferienaufgabe eigenständige Vertiefung mit Anwendungsbeispiel Aufgabenbearbeitung mit Excel & Statistica Abgabe bis Prüfung nur nach Bearbeitung & Abgabe der Ferienaufgabe I II III IV V

5 Prüfung I II III IV V Winter 16/17 David Kurbel
mündliche Modulabschlussprüfung à Minuten Termine Februar 2017: & Termine April 2017: & Prüfbereiche Psychologie als empirische Wissenschaft Hypothesenprüfung & Testen Wahrscheinlichkeitsbegriff Normalverteilung, Skalen & Transformationen Statistische Prüfverfahren Versuchsplanung & Güteaspekte im Kontext von Evaluationsuntersuchungen Beispielfragen zu jedem Themenkomplex online Vorsicht bei Altskripten & Altfragen! I II III IV V

6 Organisatorisches I II Basics III & Aufbau IV V Winter 16/17
David Kurbel Organisatorisches I II Basics & Aufbau III IV V

7 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung Beispiel: Wirksamkeitsprüfung einer therapeutischen Maßnahme – Grundprobleme & Prüfstrategien Verfahren ANOVA – Grouping Factor Designs ANOVA – Messwiederholungsdesigns / Trendanalysen Effektstärkenprüfung Faktorenanalyse Versuchspläne typische Designs der klinischen Psychologie Ziele Wissen über statistische Verfahren // Untersuchungsstrategien Umsetzung mit statistischer Software I II III IV V

8 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung Problemstellung Therapie-Evaluationsstudie: Wirksamkeit einer neuen Behandlungsmethode für depressive Verstimmung 22 Patienten über 7 Wochen mit neuer Methode behandelt 3 Kontrollvariablen werden jede Woche erhoben V1: erlebte Beanspruchung V2: Ohnmacht / Hilflosigkeit V3: Körperbeschwerden Kontrollgruppe, identische Variablen werden erhoben alle 3 Variablen gleichermaßen wichtig I II III IV V Design?

9 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung Design ANOVA mit Gruppierungsfaktor und mindestens einem Messwiederholungsfaktor jede Variable Vj wird auf ni Versuchspersonen gemessen i = 1: Kontrollgruppe i = 2: Therapiegruppe Stichprobenumfänge beider Gruppen dürfen unterschiedlich sein I II t1 t2 … t7 tk Kontrollgr. v1 v2 v3 Therapiegr. III IV V

10 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung I II III IV V

11 Untersuchungsfragen? Einführung // Auffrischung I II III IV V
Winter 16/17 David Kurbel Einführung // Auffrischung I II Untersuchungsfragen? III IV V

12 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung Gibt es pre- / post-experimentelle Gruppenunterschiede (Effekte Pre / Posttest)? Wie ist der Verlauf der Einwirkung in der Zeit in beiden Gruppen? Inwiefern sind die Effekte variablenspezifisch? Kann man ein Urteil über Wirksamkeit der Therapie für alle Variablen fällen? Wie stark sind die Effekte der Therapie? Ist die Zusammenhangsstruktur der Variablen in beiden Gruppen gleich? Ändert sich die Zusammenhangsstruktur mit der Zeit? Sind Voraussetzungen für eingesetzte statistische Verfahren erfüllt? I II III IV V

13 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung Univariate Mittelwertevergleiche Problemstellung Leistungen von Jungen und Mädchen in einem Konzentrationstest x = Anzahl der korrekt identifizierten Zielelemente im Test (z.B. d2) Forschungsfrage I II III IV V

14 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung Univariate Mittelwertevergleiche Problemstellung Leistungen von Jungen und Mädchen in einem Konzentrationstest x = Anzahl der korrekt identifizierten Zielelemente im Test (z.B. d2) Forschungsfrage Unterscheiden sich die Leistungen von Mädchen und Jungen im statistischen Mittelwert? I II III IV V

15 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung Univariate Mittelwertevergleiche Problemstellung Leistungen von Jungen und Mädchen in einem Konzentrationstest x = Anzahl der korrekt identifizierten Zielelemente im Test (z.B. d2) Forschungsfrage Unterscheiden sich die Leistungen von Mädchen und Jungen im statistischen Mittelwert? Stichprobe: 40 Mädchen // 45 Jungen Gibt es wirkliche Leistungsunterschiede zwischen Jungen und Mädchen oder ist der gefundene Unterschied rein zufällig? I II III IV M J 𝑥 M 𝑥 J 23.7 17.2 V

16 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung Strategie Wahrscheinlichkeit für den beobachteten Mittelwertsunterschied ermitteln unter der Annahme, dass beide Gruppen in der Population denselben Mittelwert besitzen I II Stichprobe des Umfangs nM „Die Populationsmittelwerte von M und J sind gleich.“ III H0: µ1 = µ2 H1: µ1 ≠ µ2 IV wenn unwahrscheinlich, dann verwerfen „Die Populationsmittelwerte von M und J sind ungleich.“ V Stichprobe des Umfangs nJ

17 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung Strategie Wahrscheinlichkeit für den beobachteten Mittelwertsunterschied ermitteln unter der Annahme, dass beide Gruppen in der Population denselben Mittelwert besitzen I II Stichprobe des Umfangs nM III 𝑥 M 𝑥 M - 𝑥 J = Δ 𝑥 23.7 – 17.2 = 6.5 IV Mittelwertsdifferenz V 𝑥 J Stichprobe des Umfangs nJ

18 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung Prüfgröße 𝑥 1 − 𝑥 2 entspricht 𝑥 M − 𝑥 J , also Δ 𝑥 (beobachtete Größe) 𝜇 1 − 𝜇 2 entspricht 0 (theoretische Größe) 𝑠 𝑥 1 − 𝑥 2 : Streuung der Mittelwertsdifferenz I 𝑥 1 − 𝑥 2 − 𝜇 1 − 𝜇 2 𝑠 𝑥 1 − 𝑥 2 II III IV V

19 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung Prüfgröße 𝑥 1 − 𝑥 2 entspricht 𝑥 M − 𝑥 J , also Δ 𝑥 (beobachtete Größe) 𝜇 1 − 𝜇 2 entspricht 0 (theoretische Größe) 𝑠 𝑥 1 − 𝑥 2 : Streuung der Mittelwertsdifferenz I 𝑥 1 − 𝑥 2 − 𝜇 1 − 𝜇 2 𝑠 𝑥 1 − 𝑥 2 𝑥 M − 𝑥 J 𝑠 𝑥 M − 𝑥 J II III IV V

20 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung 𝑠 𝑥 1 − 𝑥 2 Annahme: beide Stichproben unabhängig voneinander Varianz der Mittelwertsdifferenz: 𝜎 Δ 𝑥 2 = 𝜎 𝑥 𝑀 𝜎 𝑥 𝐽 2 Varianz der Mittelwertsverteilung 𝜎 𝑥 2 ist n-mal kleiner als die Populationsvarianz, daher Vereinfachung: 𝜎 Δ 𝑥 2 = 𝜎 𝑥 𝑀 𝑛 𝑀 𝜎 𝑥 𝐽 𝑛 𝐽 „Gleichheit der Populationsvarianz“ 𝜎 𝑀 2 = 𝜎 𝐽 2 = 𝜎 2 I II Summe der Varianzen der beiden Stichprobenmittel III IV V

21 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung 𝑠 𝑥 1 − 𝑥 2 Vereinfachung: 𝜎 Δ 𝑥 = 𝜎 𝑛 𝑀 𝑛 𝐽 Standardabweichung der Mittelwertsdifferenz oder Standardfehler der Differenz Erinnerung: 𝜎 Δ 𝑥 entspricht 𝜎 𝑥 M − 𝑥 J Populationsvarianz für 𝜎 2 unbekannt, nicht berechenbar Verwendung des Schätzwerts 𝑠 𝑝 2 𝑠 𝑥 M − 𝑥 J = 𝑠 𝑝 𝑛 𝑀 𝑛 𝐽 Unterschiede für n1 = n2 und n1 ≠ n2 I II III IV V

22 = t Einführung // Auffrischung 𝑠 𝑥 1 − 𝑥 2 I II III IV V Winter 16/17
David Kurbel Einführung // Auffrischung 𝑠 𝑥 1 − 𝑥 2 n1 = n2 Stichprobenvarianzen mitteln 𝑠 𝑝 2 = 𝑠 𝑀 2 + 𝑠 𝐽 2 2 𝑠 𝑝 2 einsetzen in 𝑠 𝑥 M − 𝑥 J = 𝑠 𝑝 𝑛 𝑀 𝑛 𝐽 𝑠 𝑥 1 − 𝑥 2 ist damit berechnet Einsetzen in: I II III IV 𝑥 1 − 𝑥 2 − 𝜇 1 − 𝜇 2 𝑠 𝑥 1 − 𝑥 2 = t V

23 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung 𝑠 𝑥 1 − 𝑥 2 n1 ≠ n2 Problem: Varianzschätzung besser unterschiedliche Qualität von 𝑠 𝑀 2 und 𝑠 𝐽 2 berücksichtigen durch unterschiedliche Gewichtung direkter Bezug zu unterschiedlichen n 𝑠 𝑝 2 = (𝑛 𝑀 − 1) 𝑠 𝑀 2 + (𝑛 𝐽 − 1) 𝑠 𝐽 2 𝑛 𝑀 + 𝑛 𝐽 −2 𝑠 𝑀 2 erhält mehr Gewicht bei größerem 𝑛 𝑀 I II III IV Einsetzen für t! V

24 Einführung // Auffrischung
Winter 16/17 David Kurbel Einführung // Auffrischung 𝑠 𝑥 1 − 𝑥 2 n1 ≠ n2 Problem: Varianzschätzung besser unterschiedliche Qualität von 𝑠 𝑀 2 und 𝑠 𝐽 2 berücksichtigen durch unterschiedliche Gewichtung direkter Bezug zu unterschiedlichen n 𝑠 𝑝 2 = (𝑛 𝑀 − 1) 𝑠 𝑀 2 + (𝑛 𝐽 − 1) 𝑠 𝐽 2 𝑛 𝑀 + 𝑛 𝐽 −2 𝑠 𝑀 2 erhält mehr Gewicht bei größerem 𝑛 𝑀 df: 𝑛 𝑀 + 𝑛 𝐽 −2 I II III IV V