Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Statistische Tests in (klinischen und epidemiologischen) Beobachtungsstudien Ergebnisunsicherheit und Statistische Testverfahren Dr. Gerß (IMIB) [Prof.

Ähnliche Präsentationen


Präsentation zum Thema: "Statistische Tests in (klinischen und epidemiologischen) Beobachtungsstudien Ergebnisunsicherheit und Statistische Testverfahren Dr. Gerß (IMIB) [Prof."—  Präsentation transkript:

1 Statistische Tests in (klinischen und epidemiologischen) Beobachtungsstudien Ergebnisunsicherheit und Statistische Testverfahren Dr. Gerß (IMIB) [Prof. Hense (IES)]

2 Kurze Wiederholung vom Freitag…

3 Eine klinische oder epidemiologische Studie wird (im Gegensatz zum häufig replizierbaren Experiment) nur einmal durchgeführt: das in dieser Studie ermittelte Effektmaß ist also nur eine einmalige Schätzung des wahren Wertes. Unsicherheit in Studien

4 Wahrscheinlichkeit und relative Häufigkeit Theoretische Wahrscheinlichkeit = Relative Häufigkeit der Erkrankung in der Grundgesamtheit Empirische Information Gewinnung einer repräsentativen Stichprobe -> Bestimmung der relativen Häufigkeit der Erkrankung in der Stichprobe z.B. Untersuchung von n=100 Patienten Relative Häufigkeit der Erkrankung = 19% Beispiel: Prävalenz einer Erkrankung

5 Wahrscheinlichkeit und relative Häufigkeit Theoretische Wahrscheinlichkeit = Relative Häufigkeit der Erkrankung in der Grundgesamtheit Wie viele Erkrankten würde ich finden, wenn ich nicht nur die n Patienten der Stichprobe untersuchen würde, sondern sämtliche Patienten der Grundgesamtheit? Empirische Information Gewinnung einer repräsentativen Stichprobe -> Bestimmung der relativen Häufigkeit der Erkrankung in der Stichprobe z.B. Untersuchung von n=100 Patienten Relative Häufigkeit der Erkrankung = 19% Beispiel: Prävalenz einer Erkrankung Nutzung der relativen Häufigkeit der Stichprobe zur Schätzung der entsprechenden Rate in der Grundgesamtheit

6 Wahrscheinlichkeit und relative Häufigkeit Theoretische Wahrscheinlichkeit = Relative Häufigkeit der Erkrankung in der Grundgesamtheit Wie viele Erkrankten würde ich finden, wenn ich nicht nur die n Patienten der Stichprobe untersuchen würde, sondern sämtliche Patienten der Grundgesamtheit? Empirische Information Gewinnung einer repräsentativen Stichprobe -> Bestimmung der relativen Häufigkeit der Erkrankung in der Stichprobe z.B. Untersuchung von n=100 Patienten Relative Häufigkeit der Erkrankung = 19% Beispiel: Prävalenz einer Erkrankung Nutzung der relativen Häufigkeit der Stichprobe zur Schätzung der entsprechenden Rate in der Grundgesamtheit Deskriptive Statistik: Beschreibung des empirischen Stichprobenergebnisses Induktive Statistik: Induktiver Schluss von der empirischen Information der Stichprobe auf die Grundgesamtheit.

7 Wahrscheinlichkeit und relative Häufigkeit Theoretische Wahrscheinlichkeit = Relative Häufigkeit der Erkrankung in der Grundgesamtheit Wie viele Erkrankten würde ich finden, wenn ich nicht nur die n Patienten der Stichprobe untersuchen würde, sondern sämtliche Patienten der Grundgesamtheit? Empirische Information Gewinnung einer repräsentativen Stichprobe -> Bestimmung der relativen Häufigkeit der Erkrankung in der Stichprobe z.B. Untersuchung von n=100 Patienten Relative Häufigkeit der Erkrankung = 19% Beispiel: Prävalenz einer Erkrankung Nutzung der relativen Häufigkeit der Stichprobe zur Schätzung der entsprechenden Rate in der Grundgesamtheit Deskriptive Statistik: Relative Erkrankungsrate in der Stichprobe, z.B.=19% Induktive Statistik: Schätzung der unbekannten Rate in der GG, z.B. =19% mit Konfidenzintervall 11.8% – 28.1%

8 Eine Klinische oder epidemiologische Studie wird (im Gegensatz zum häufig replizierbaren Experiment) nur einmal durchgeführt: das in dieser Studie ermittelte Effektmaß ist also nur eine einmalige Schätzung des wahren Wertes. Das Konfidenzintervall ist ein statistisch bestimmtes Maß für die Präzision, mit der eine Studie z.B. Mittelwerte, Differenzen oder Prävalenzen, Inzidenzraten, Relative Risiken etc. geschätzt hat. Unsicherheit in Studien

9 Konfidenzintervall ― h ―― 01 Rel. Häufigkeit in der Stichprobe ?? ??????? ?? Wahrscheinlichkeit P=?

10 Konfidenzintervall ― h ―― 01 Rel. Häufigkeit in der Stichprobe Wahrscheinlichkeit P=? ?? ??????? ?? Das Konfidenzintervall enthält mit 95%iger Wahrscheinlichkeit den unbekannten Wert P

11 Testergebnis Wirklichkeit (nach Goldstandard ermittelt) Gesamt W + : (Mamma-Ca:Ja) W - : (Mamma-Ca: nein) T + : (Mamma-Ca: Ja) T - : (Mamma-Ca: nein) Gesamt Eine zufällige Stichprobe

12 Testergebnis Wirklichkeit (nach Goldstandard ermittelt) Gesamt W + : (Mamma-Ca:Ja) W - : (Mamma-Ca: nein) T + : (Mamma-Ca: Ja) T - : (Mamma-Ca: nein) Gesamt Eine zufällige Stichprobe Schätzwerte: Prävalenz = 14/1000 = 0.014, Sensitivität = 12/14 = 0.86, Spezifität = 889/986 = 0.90, ppV = 12/109 = 0.11

13 Vertrauensgrenzen Schätzwerte untere Grenzeobere Grenze Prävalenz14/1000= Sensitivität12/14= Spezifität889/986= ppV12/109= Die angegebenen Grenzen sind so berechnet, dass sie mit 95%-Wahrscheinlichkeit den (unbekannten) wahren Wert umschließen. Das so berechnete Intervall ist das 95%-Konfidenzintervall.

14 Es gibt Untersuchungen zur Wirkung eines neuen Asthmamittels A. Sie vergleichen die Wirkung mit der aktuellen Standardtherapie B. Endpunkt ist die Anfallsrate an Asthma. Frage: Ist A wirksamer als B? Auf welcher wissenschaftlichen Basis (Evidenz) beruht diese Aussage? Problemaufriss: Vergleich zweier Medikamente

15 Prinzipien des Statistischen Testens 1.Einführung Tests zum Vergleich zweier Erfolgsraten Signifikanz und klinische Relevanz 2.Der p-Wert 3.Gütekriterien des Signifikanztests 4.Tests bei metrischen Zielgrößen 5.Spezielle Testprobleme 6.Das multiple Testproblem 7.Konfidenzintervalle

16 ErfolgMisserfolgGesamt Behandlung A 40 ( = 80%) 1050 Behandlung B 35 ( = 70%) 1550 Ist Behandlung A wirksamer als Behandlung B? Testproblem H 0 : r A =r B gegen H 1 : r A ≠r B „Die beobachteten Unterschiede zwischen den empirischen Erfolgsraten sind durch Zufall zu erklären.“ „Die Unterschiede zw. den emp. Raten sind überzufällig bzw. „signifikant“, d.h. auf systematische Unterschiede in der GG zurück zu führen.“ Empirische Erfolgsraten in der Stichprobe Unbekannte Erfolgsraten in der Grundgesamtheit

17 ErfolgMisserfolgGesamt Behandlung A 40 ( = 80%) 1050 Behandlung B 35 ( = 70%) 1550 Ist Behandlung A wirksamer als Behandlung B? Testproblem H 0 : r A =r B gegen H 1 : r A ≠r B Mögliche Lösung des Testproblems? Konfidenz- intervalle zum Niveau 95%

18 ErfolgMisserfolgGesamt Behandlung A 40 ( = 80%) 1050 Behandlung B 35 ( = 70%) 1550 Ist Behandlung A wirksamer als Behandlung B? Testproblem H 0 : r A =r B gegen H 1 : r A ≠r B Anwendung eines Signifikanztests => „p-Wert“ p Testentscheidung zugunsten H 1 p≥0.05 => Testentscheidung zugunsten H 0 Hier: p=0.3556, d.h. Entscheidung für H 0 („nicht signifikant“)

19 ErfolgMisserfolgGesamt Behandlung A 45 ( = 90%) 550 Behandlung B 35 ( = 70%) 1550 Ist Behandlung A wirksamer als Behandlung B? Testproblem H 0 : r A =r B gegen H 1 : r A ≠r B p= , d.h. Entscheidung für H 1 („signifikant“)

20 ErfolgMisserfolgGesamt Behandlung A 160 ( = 80%) Behandlung B 140 ( = 70%) Ist Behandlung A wirksamer als Behandlung B? Testproblem H 0 : r A =r B gegen H 1 : r A ≠r B p= , d.h. Entscheidung für H 1 („signifikant“) Der Test erkennt auf Signifikanz, wenn der Unterschied der verglichenen Erfolgsraten entweder groß ist oder durch eine große Fallzahl belegt, d.h. „stabil“ ist.

21 Signifikanz und klinische Relevanz Der Test erkennt auf Signifikanz, wenn der Unterschied der verglichenen Erfolgsraten entweder groß ist oder durch eine große Fallzahl belegt, d.h. „stabil“ ist. Beurteilung der klinischen Relevanz: Angabe eines Effektschätzers zusätzlich zum p-Wert, z.B. in Form der Differenz oder des Quotienten beider Erfolgsraten Statistische Signifikanz: Gibt es (überzufällige) Unterschiede in den Erfolgsraten? Daraus folgt nicht notwendigerweise, dass die Unterschiede eine klinisch relevante Größe haben. Der p-Wert sagt aus, ob es Unterschiede in den Erfolgsraten gibt, nicht wie groß diese Unterschiede sind!

22 Prinzipien des Statistischen Testens 1.Einführung Tests zum Vergleich zweier Erfolgsraten Signifikanz und klinische Relevanz 2.Der p-Wert 3.Gütekriterien des Signifikanztests 4.Tests bei metrischen Zielgrößen 5.Spezielle Testprobleme 6.Das multiple Testproblem 7.Konfidenzintervalle

23 Der p-Wert In welchem Maß widersprechen die beobachteten Daten der Nullhypothese? Definition: Vorausgesetzt die Nullhypothese würde zutreffen, d.h. beide Erfolgsraten stimmen in der Grundgesamtheit überein: Wie groß ist dann die Wahrscheinlichkeit, ein solches empirisches Ergebnis wie das tatsächlich beobachtete zu beobachten (oder eines, das der Nullhypothese noch mehr widerspricht)? Der p-Wert gibt nicht an, mit welcher Wahrscheinlichkeit die Nullhypothese der Übereinstimmung beider Erfolgs- raten in der Grundgesamtheit zutrifft!

24 Der p-Wert Beispiel: Gegeben sei eine Münze  H 0 : Die Münze ist fair, d.h. P(Kopf) = P(Zahl) = 50% H 1 : Die Münze ist unfair, d.h. P(Kopf) ≠ P(Zahl)  Zufallsexperiment: 20facher Münzwurf „Prüfgröße“ bzw. „Teststatistik“ T: Anzahl geworfener Köpfe  Gesucht: Wahrscheinlichkeitsverteilung der Teststatistik T unter H 0

25 Der p-Wert Beispiel: Gegeben sei eine Münze  H 0 : Die Münze ist fair, d.h. P(Kopf) = P(Zahl) = 50% H 1 : Die Münze ist unfair, d.h. P(Kopf) ≠ P(Zahl)  Zufallsexperiment: 20facher Münzwurf „Prüfgröße“ bzw. „Teststatistik“ T: Anzahl geworfener Köpfe  Gesucht: Wahrscheinlichkeitsverteilung der Teststatistik T unter H 0  Anschl.: Tatsächliche Durchführung des Experiments

26 Der p-Wert Beispiel: Gegeben sei eine Münze  H 0 : Die Münze ist fair, d.h. P(Kopf) = P(Zahl) = 50% H 1 : Die Münze ist unfair, d.h. P(Kopf) ≠ P(Zahl)  Zufallsexperiment: 20facher Münzwurf „Prüfgröße“ bzw. „Teststatistik“ T: Anzahl geworfener Köpfe  Gesucht: Wahrscheinlichkeitsverteilung der Teststatistik T unter H 0  Anschl.: Tatsächliche Durchführung des Experiments, z.B. t=14

27 Der p-Wert Beispiel: Gegeben sei eine Münze  H 0 : Die Münze ist fair, d.h. P(Kopf) = P(Zahl) = 50% H 1 : Die Münze ist unfair, d.h. P(Kopf) ≠ P(Zahl)  Zufallsexperiment: 20facher Münzwurf „Prüfgröße“ bzw. „Teststatistik“ T: Anzahl geworfener Köpfe  Gesucht: Wahrscheinlichkeitsverteilung der Teststatistik T unter H 0  Anschl.: Tatsächliche Durchführung des Experiments, z.B. t=14 => p=0.1153

28 Der p-Wert Beispiel: Gegeben sei eine Münze  H 0 : Die Münze ist fair, d.h. P(Kopf) = P(Zahl) = 50% H 1 : Die Münze ist unfair, d.h. P(Kopf) ≠ P(Zahl)  Zufallsexperiment: 20facher Münzwurf „Prüfgröße“ bzw. „Teststatistik“ T: Anzahl geworfener Köpfe  Gesucht: Wahrscheinlichkeitsverteilung der Teststatistik T unter H 0  Anschl.: Tatsächliche Durchführung des Experiments, z.B. t=15 => p=0.0414

29 Prinzipien des Statistischen Testens 1.Einführung Tests zum Vergleich zweier Erfolgsraten Signifikanz und klinische Relevanz 2.Der p-Wert 3.Gütekriterien des Signifikanztests 4.Tests bei metrischen Zielgrößen 5.Spezielle Testprobleme 6.Das multiple Testproblem 7.Konfidenzintervalle

30 Gütekriterien des Signifikanztests Testproblem H 0 : r 1 =r 2 gegen H 1 : r 1 ≠r 2 Fehler 1. Art Fehler 2. Art P(Fehler 2. Art) ≈ 20% wird toleriert P(Fehler 1. Art) ≤ α=5% In Wirklichkeit ist H 0 richtigH 1 richtig Entscheidung für H 0 richtigFehler 2. Art Entscheidung für H 1 Fehler 1. Artrichtig H 0 : r 1 =r 2 gegen H 1 : r 1 ≠r 2 Entscheidung zu unrecht für H 1 (falsch positiv) Man behauptet zu unrecht, es gäbe einen Unterschied. Entscheidung zu unrecht für H 0 (falsch negativ) Man versäumt, einen bestehenden Unterschied zu erkennen. H 0 : r 1 =r 2 gegen H 1 : r 1 ≠r 2 kein „symmetrisches“ Verfahren im Sinne einer Entscheidung für die „wahrscheinlichere“ der beiden Hypothesen stattdessen konservativer Ansatz: „Im Zweifel für H 0 “

31 kein „symmetrisches“ Verfahren im Sinne einer Entscheidung für die „wahrscheinlichere“ der beiden Hypothesen stattdessen konservativer Ansatz: „Im Zweifel für H 0 “ Gütekriterien des Signifikanztests Testproblem H 0 : r 1 =r 2 gegen H 1 : r 1 ≠r 2 Fehler 1. Art Fehler 2. Art P(Fehler 2. Art) ≈ 20% wird toleriert P(Fehler 1. Art) ≤ α=5% In Wirklichkeit ist H 0 richtigH 1 richtig Entscheidung für H 0 richtigFehler 2. Art Entscheidung für H 1 Fehler 1. Artrichtig H 0 : r 1 =r 2 gegen H 1 : r 1 ≠r 2 Entscheidung zu unrecht für H 1 (falsch positiv) Man behauptet zu unrecht, es gäbe einen Unterschied. Entscheidung zu unrecht für H 0 (falsch negativ) Man versäumt, einen bestehenden Unterschied zu erkennen. H 0 : r 1 =r 2 gegen H 1 : r 1 ≠r 2 Geringe Gefahr eines Fehlers 1. Art => Nachweis der Gültigkeit von H 1 ist abgesichert Größere Gefahr eines Fehlers 2. Art => Nachweis der Gültigkeit von H 0 ist weniger gut abgesichert Geeignete Aufstellung des Testproblems: H 0 : Etabliertes Basiswissen („kein Effekt“) H 1 : Innovative Erkenntnis Der klassische Signifikanztest eignet sich zum Nachweis von Unterschieden, nicht zum Beweis der Tatsache, dass es keine Unterschiede gibt!

32 Fehlerwahrscheinlichkeiten im Signifikanztest Beispiel: r 0 : Erfolgswahrscheinlichkeit unter Plazebo r 1 : Erfolgswahrscheinlichkeit unter aktiver Therapie H 0 : r 1 =r 0 gegen H 1 : r 1 ≠r 0 „Powerfunktion“

33 H1H1 H0H0 Fehlerwahrscheinlichkeiten im Signifikanztest Beispiel: r 0 : Erfolgswahrscheinlichkeit unter Plazebo r 1 : Erfolgswahrscheinlichkeit unter aktiver Therapie H 0 : r 1 =r 0 gegen H 1 : r 1 ≠r 0 „Powerfunktion“

34 H1H1 H0H0 Fehlerwahrscheinlichkeiten im Signifikanztest Beispiel: r 0 : Erfolgswahrscheinlichkeit unter Plazebo r 1 : Erfolgswahrscheinlichkeit unter aktiver Therapie H 0 : r 1 =r 0 gegen H 1 : r 1 ≠r 0

35 H1H1 H0H0 Fehlerwahrscheinlichkeiten im Signifikanztest Beispiel: r 0 : Erfolgswahrscheinlichkeit unter Plazebo r 1 : Erfolgswahrscheinlichkeit unter aktiver Therapie H 0 : r 1 =r 0 gegen H 1 : r 1 ≠r 0

36 H1H1 H0H0 Fehlerwahrscheinlichkeiten im Signifikanztest Beispiel: r 0 : Erfolgswahrscheinlichkeit unter Plazebo r 1 : Erfolgswahrscheinlichkeit unter aktiver Therapie H 0 : r 1 =r 0 gegen H 1 : r 1 ≠r 0 => Fallzahlschätzung einer geplanten klinischen Studie

37 Prinzipien des Statistischen Testens 1.Einführung Tests zum Vergleich zweier Erfolgsraten Signifikanz und klinische Relevanz 2.Der p-Wert 3.Gütekriterien des Signifikanztests 4.Tests bei metrischen Zielgrößen 5.Spezielle Testprobleme 6.Das multiple Testproblem 7.Konfidenzintervalle

38 Signifikanztests bei metrischen Zielgrößen bisher: Vergleich zweier Erfolgsraten H 0 : r 1 =r 2 gegen H 1 : r 1 ≠r 2 Bsp.: Metrische Zielgröße Blutdrucksenkung µ 1,µ 2 : „Erwartungswerte“ = (Unbeobachtbare) arithmetische Mittelwerte der Zielgröße in der Grundgesamtheit µ 1 : Erwartete mittlere Blutdrucksenkung, falls sämtliche Patienten der Grundgesamtheit Therapie 1 bekommen hätten µ 2 : Erwartete mittlere Blutdrucksenkung, falls sämtliche Patienten der Grundgesamtheit Therapie 2 bekommen hätten Testproblem: H 0 : µ 1 =µ 2 gegen H 1 : µ 1 ≠µ 2

39 Signifikanztests bei metrischen Zielgrößen → Sind die Daten normalverteilt?... Was ist eine Wahrscheinlichkeitsverteilung? Wahrscheinlichkeits- verteilung Histogramm Gauss‘sche Normalverteilung

40 Prinzipien des Statistischen Testens 1.Einführung Tests zum Vergleich zweier Erfolgsraten Signifikanz und klinische Relevanz 2.Der p-Wert 3.Gütekriterien des Signifikanztests 4.Tests bei metrischen Zielgrößen 5.Spezielle Testprobleme 6.Das multiple Testproblem 7.Konfidenzintervalle

41 Spezielle Testprobleme 1.Lagetests bei normalverteilten Zielgrößen Student‘s t-Test zweiseitiger Test: H 0 : μ 1 =μ 2 gegen H 1 : μ 1 ≠μ 2 einseitiger Test: H 0 : μ 1 ≤μ 2 gegen H 1 : μ 1 >μ 2 H 0 : μ 1 ≥μ 2 gegen H 1 : μ 1 <μ 2 verbundener und unverbundener Test 2. Lagetests bei nicht normalverteilten Zielgrößen („Nichtparametrische Verfahren“, insbes. bei kleiner Fallzahl) verbundene Stichproben: Wilcoxon-Rangsummentest unverbundene Stichproben: U-Test von Mann-Whitney 3.Test zum Vergleich zweier Erfolgsraten:  2 -Test

42 Spezielle Testprobleme 1.Lagetests bei normalverteilten Zielgrößen Student‘s t-Test zweiseitiger Test: H 0 : μ 1 =μ 2 gegen H 1 : μ 1 ≠μ 2 einseitiger Test: H 0 : μ 1 ≤μ 2 gegen H 1 : μ 1 >μ 2 H 0 : μ 1 ≥μ 2 gegen H 1 : μ 1 <μ 2 verbundener und unverbundener Test 2. Lagetests bei nicht normalverteilten Zielgrößen („Nichtparametrische Verfahren“, insbes. bei kleiner Fallzahl) verbundene Stichproben: Wilcoxon-Rangsummentest unverbundene Stichproben: U-Test von Mann-Whitney 3.Test zum Vergleich zweier Erfolgsraten:  2 -Test Ein- und zweiseitige Testprobleme In der Regel werden zweiseitige Tests durchgeführt. Bsp: Vergleich einer aktiven Therapie A gegenüber Plazebo Einseitiger Test:H 0 : μ A ≤μ Plazebo, d.h. A ist gleichwertig oder unterlegen H 1 : μ A >μ Plazebo, d.h. A ist überlegen gegenüber Plazebo => Nachteil des einseitigen Tests: Im Fall eines nicht-signifikanten Ergebnisses kann nicht differenziert werden zwischen Gleichwertigkeit (=Wirkungslosigkeit) und Unterlegenheit gegenüber Plazebo (=Schädlichkeit!)

43 Spezielle Testprobleme 1.Lagetests bei normalverteilten Zielgrößen Student‘s t-Test zweiseitiger Test: H 0 : μ 1 =μ 2 gegen H 1 : μ 1 ≠μ 2 einseitiger Test: H 0 : μ 1 ≤μ 2 gegen H 1 : μ 1 >μ 2 H 0 : μ 1 ≥μ 2 gegen H 1 : μ 1 <μ 2 verbundener und unverbundener Test 2. Lagetests bei nicht normalverteilten Zielgrößen („Nichtparametrische Verfahren“, insbes. bei kleiner Fallzahl) verbundene Stichproben: Wilcoxon-Rangsummentest unverbundene Stichproben: U-Test von Mann-Whitney 3.Test zum Vergleich zweier Erfolgsraten:  2 -Test

44 Beispiel: Klinische Studie zur Blutdrucksenkung Zwei alternative Therapieverfahren Bei jedem Patienten wird der Blutdruck jeweils vor und nach Anwendung der Therapie gemessen TherapiePat.-Nr. BlutdruckErwartungswerte PREPOSTPOST-PREPREPOSTDifferenz A A µ A (pre) µ A (post) µ A (post-pre) A A ………… B B µ B (pre) µ B (post) µ B (post-pre) B B ………… unverbundener Test verbundener Test

45 Spezielle Testprobleme 1.Lagetests bei normalverteilten Zielgrößen Student‘s t-Test zweiseitiger Test: H 0 : μ 1 =μ 2 gegen H 1 : μ 1 ≠μ 2 einseitiger Test: H 0 : μ 1 ≤μ 2 gegen H 1 : μ 1 >μ 2 H 0 : μ 1 ≥μ 2 gegen H 1 : μ 1 <μ 2 verbundener und unverbundener Test 2. Lagetests bei nicht normalverteilten Zielgrößen („Nichtparametrische Verfahren“, insbes. bei kleiner Fallzahl) verbundene Stichproben: Wilcoxon-Rangsummentest unverbundene Stichproben: U-Test von Mann-Whitney 3.Test zum Vergleich zweier Erfolgsraten:  2 -Test

46 Spezielle Testprobleme 1.Lagetests bei normalverteilten Zielgrößen Student‘s t-Test zweiseitiger Test: H 0 : μ 1 =μ 2 gegen H 1 : μ 1 ≠μ 2 einseitiger Test: H 0 : μ 1 ≤μ 2 gegen H 1 : μ 1 >μ 2 H 0 : μ 1 ≥μ 2 gegen H 1 : μ 1 <μ 2 verbundener und unverbundener Test 2. Lagetests bei nicht normalverteilten Zielgrößen („Nichtparametrische Verfahren“, insbes. bei kleiner Fallzahl) verbundene Stichproben: Wilcoxon-Rangsummentest unverbundene Stichproben: U-Test von Mann-Whitney 3.Test zum Vergleich zweier Erfolgsraten:  2 -Test

47 Prinzipien des Statistischen Testens 1.Einführung Tests zum Vergleich zweier Erfolgsraten Signifikanz und klinische Relevanz 2.Der p-Wert 3.Gütekriterien des Signifikanztests 4.Tests bei metrischen Zielgrößen 5.Spezielle Testprobleme 6.Das multiple Testproblem 7.Konfidenzintervalle

48 Das multiple Testproblem Ein (!) Signifikanztest ist ein leistungsfähiges Verfahren zur Lösung eines statistischen Testproblems.

49 Das multiple Testproblem Ein (!) Signifikanztest ist ein leistungsfähiges Verfahren zur Lösung eines statistischen Testproblems. Die mehrfache Anwendung eines Tests kann dazu führen, dass das Signifikanzniveau überschritten wird! Beispiel: H 0 : Der Blutdrucksenker XY ist nicht wirksam gegen H 1 :... wirksam Zur Lösung des Testproblems werden mehrere Tests durchgeführt: (i) Senkung des systolischen Blutdrucks (ii) Senkung des diastolischen Blutdrucks (iii) Einstellung des Tag-Nacht-Rhythmus Die ursprüngl. Nullhypothese wird abgelehnt (d.h. Wirksamkeit wird als erwiesen angesehen), falls einer der Tests (i)-(iii) signifikant ist.

50 Das multiple Testproblem Ein (!) Signifikanztest ist ein leistungsfähiges Verfahren zur Lösung eines statistischen Testproblems. Die mehrfache Anwendung eines Tests kann dazu führen, dass das Signifikanzniveau überschritten wird! Beispiel: H 0 : Der Blutdrucksenker XY ist nicht wirksam gegen H 1 :... wirksam Zur Lösung des Testproblems werden mehrere Tests durchgeführt: (i) Senkung des systolischen Blutdrucks Fehler 1. Art = 5% (ii) Senkung des diastolischen Blutdrucks Fehler 1. Art = 5% (iii) Einstellung des Tag-Nacht-Rhythmus Fehler 1. Art = 5% Die ursprüngl. Nullhypothese wird abgelehnt (d.h. Wirksamkeit wird als erwiesen angesehen), falls einer der Tests (i)-(iii) signifikant ist. Das multiple Testproblem Ein (!) Signifikanztest ist ein leistungsfähiges Verfahren zur Lösung eines statistischen Testproblems. Die mehrfache Anwendung eines Tests kann dazu führen, dass das Signifikanzniveau überschritten wird! Beispiel: H 0 : Der Blutdrucksenker XY ist nicht wirksam gegen H 1 :... wirksam Zur Lösung des Testproblems werden mehrere Tests durchgeführt: (i) Senkung des systolischen Blutdrucks (ii) Senkung des diastolischen Blutdrucks (iii) Einstellung des Tag-Nacht-Rhythmus Die ursprüngl. Nullhypothese wird abgelehnt (d.h. Wirksamkeit wird als erwiesen angesehen), falls einer der Tests (i)-(iii) signifikant ist. Die Gesamtentscheidung wird anhand einer „ODER“-Verknüpfung der einzelnen Tests getroffen. Sie ist damit falsch positiv, sobald in mindestens einem der einzelnen Tests ein Fehler 1. Art begangen wird. Die Wahrscheinlichkeit dafür beträgt 1-(1-0.05) 3 = 14,3% > 5%!

51 Das multiple Testproblem

52 Keine eindeutige Wahl des primären Zielkriteriums einer Studie Zwischenauswertungen Keine eindeutige Festlegung des statistischen Auswertungsverfahrens Paarvergleiche z.B. mehrerer Behandlungen / Dosierungen Subgruppenanalyse Durchführung mehrerer elementarer Signifikanztests, deren Ergebnisse zu einer Gesamtentscheidung kombiniert werden. Diese Gesamtentscheidung wird als positiv angesehen, falls mindestens einer der einzelnen Tests signifikant ist. Wann kann ein multiples Testproblem entstehen?

53 Prinzipien des Statistischen Testens 1.Einführung Tests zum Vergleich zweier Erfolgsraten Signifikanz und klinische Relevanz 2.Der p-Wert 3.Gütekriterien des Signifikanztests 4.Tests bei metrischen Zielgrößen 5.Spezielle Testprobleme 6.Das multiple Testproblem 7.Konfidenzintervalle

54 Konfidenzintervall ― h ―― 01 Rel. Häufigkeit in der Stichprobe Wahrscheinlichkeit P=? ?? ??????? ?? Das Konfidenzintervall enthält mit 95%iger Wahrscheinlichkeit den unbekannten Wert P

55 Konfidenzintervalle Beispiel µ: Erwartete Blutdrucksenkung unter Therapie XY : Empirisches Stichprobenmittel Gesucht ist ein Intervall zur Eingrenzung des unbekannten Parameters µ. Welche Werte kommen für den unbekannten Parameter µ in Frage? ― ― 0 empirisches Stichprobenmittel ?? ??????? ?? Unbekannter Erwartungswert µ=? ――― mmHg

56 Konfidenzintervalle Beispiel µ: Erwartete Blutdrucksenkung unter Therapie XY : Empirisches Stichprobenmittel Gesucht ist ein Intervall zur Eingrenzung des unbekannten Parameters µ. Welche Werte kommen für den unbekannten Parameter µ in Frage? Das Konfidenz- oder Vertrauensintervall ist die Menge sämtlicher Werte, die im Rahmen eines Signifikanztests für den unbekannten Parameter µ nicht ausgeschlossen werden können.

57 Konfidenzintervalle Beispiel µ: Erwartete Blutdrucksenkung unter Therapie XY : Empirisches Stichprobenmittel Gesucht ist ein Intervall zur Eingrenzung des unbekannten Parameters µ. Welche Werte kommen für den unbekannten Parameter µ in Frage? Das Konfidenz- oder Vertrauensintervall ist die Menge sämtlicher Werte, die im Rahmen eines Signifikanztests für den unbekannten Parameter µ nicht ausgeschlossen werden können mmHg H 0 : μ=-25H 0 : μ=-20H 0 : μ=-30 H 0 : μ=-15 H 0 : μ=-10 H 0 : μ=-5 H 0 : μ=0H 0 : μ=5H 0 : μ=10H 0 : μ=15H 0 : μ=20H 0 : μ=25H 0 : μ=30 Menge aller Tests mit nicht- signifikantem Ergebnis Führt man sämtliche Tests zum Signifikanzniveau α=5% durch, so ergibt sich, dass das Konfidenzintervall den unbekannten Parameter µ mit 1-α = 95%iger Wahrscheinlichkeit enthält.

58 Konfidenzintervalle und Signifikanztests Beispiel µ A : Erwartete Blutdrucksenkung unter Therapie A µ B : Erwartete Blutdrucksenkung unter Therapie B (i) Lösungsansatz im Rahmen eines Testproblems: H 0 : μ A =μ B gegen H 1 : μ A ≠μ B (ii) Alternativer Ansatz: Konfidenzintervall des Behandlungsunterschieds μ A -μ B mmHg Falls 0  KI d.h. H 0 : μ A -μ B =0 kann nicht abgelehnt werden, H 0 : μ A =μ B kann nicht abgelehnt werden. kein signifikanter Unterschied zwischen beiden Therapien (Andererseits können Unterschiede bis zu 20 mmHg (!) ebenfalls nicht ausgeschlossen werden)

59 Konfidenzintervalle und Signifikanztests Anderes Beispiel µ A : Erwartete Blutdrucksenkung unter Therapie A µ B : Erwartete Blutdrucksenkung unter Therapie B (i) Lösungsansatz im Rahmen eines Testproblems: H 0 : μ A =μ B gegen H 1 : μ A ≠μ B (ii) Alternativer Ansatz: Konfidenzintervall des Behandlungsunterschieds μ A -μ B mmHg Falls 0  KI d.h. H 0 : μ A -μ B =0 wird verworfen, H 0 : μ A =μ B wird verworfen. signifikanter Unterschied zwischen beiden Therapien (Trotzdem ist der Unterschied zwischen den Therapien hier möglicherweise kleiner (!) als im vorigen Beispiel.)

60 Konfidenzintervalle bei binären Zielgrößen Beispiel r 1 : Lungenkrebsrate von Rauchern r 0 : Lungenkrebsrate von Nichtrauchern (i) Lösungsansatz im Rahmen eines Testproblems: H 0 : r 1 =r 0 gegen H 1 : r 1 ≠r 0 (ii) Alternativer Ansatz: Konfidenzintervall des Relativen Risikos r 1 /r Falls 1  KI d.h. H 0 : r 1 /r 0 =1 wird verworfen, H 0 : r 1 =r 0 wird verworfen. signifikanter Unterschied zwischen Rauchern und Nichtrauchern

61 Fallstricke Statistischer Signifikanztests 1.Einführung Tests zum Vergleich zweier Erfolgsraten Signifikanz und klinische Relevanz 2.Der p-Wert 3.Gütekriterien des Signifikanztests 4.Tests bei metrischen Zielgrößen 5.Spezielle Testprobleme 6.Das multiple Testproblem 7.Konfidenzintervalle p>0.05 => „Für H 0 “ „Nicht gegen H 0 “ Der klassische Signifikanztest eignet sich zum Nachweis von Unterschieden, nicht zum Beweis der Tatsache, dass es keine Unterschiede gibt! Der p-Wert sagt aus, ob es Unterschiede in den Erfolgsraten gibt, nicht wie groß diese Unterschiede sind! Bei der Anwendung mehrerer Signifikanztests mit Kombi- nation der Testergebnisse besteht eine erhöhte Gefahr eines Fehlers 1. Art (falsch positive Entscheidung).

62 Literatur

63 Eine Reihe von Beispielen…

64 Beispiel 1: Das Relative Risiko für Lungenkrebs bei Passivrauchern wurde in einer Studie geschätzt als: RR = 1.35 Der p-Wert betrug p = 0,075. Bei einer Irrtumswahrscheinlichkeit von  = 0.05 (oder 5%) wird die Null-Hypothese (die besagt, dass keine Beziehung zwischen Passivrauchen und Lungenkrebs besteht) nicht verworfen, da p = > d.h.: auf dem 5%-Niveau statistisch nicht signifikant !

65

66

67

68

69 Linksventrikuläre Hypertrophie und Risiko *: Männer und Frauen, 45 bis 64 Jahre, MännerFrauen RR95 %-KIRR Tod2.3[1.5 ; 3.7]1.5 [0.9 ; 2.6] Tod durch HKK3.2[1.8 ; 5.7]2.4 [1.1 ; 5.4] AMI (F + NF) alle1.7[0.95;3.2]3.2[1.3 ; 7.7] inzidente2.2[1.2 ; 4.3]2.9[1.2 ; 7.4] * adjustiert für Alter, TC/HDL-Quotient, Rauchen, Alkohol, Infarktanamnese 95 %-KI Hense et al., 1998

70 LVH und Risiko *: Männer und Frauen, 45 bis 64 Jahre, MännerFrauen HRR95 %-KIHRR Tod2.3[1.5 ; 3.7]1.5 [0.9 ; 2.6] Tod durch HKK3.2[1.8 ; 5.7]2.4 [1.1 ; 5.4] AMI (F + NF) alle1.7[0.95;3.2]3.2[1.3 ; 7.7] inzidente2.2[1.2 ; 4.3]2.9[1.2 ; 7.4] * adjustiert für Alter, TC/HDL-Quotient, Rauchen, Alkohol, Infarktanamnese 95 %-KI Hense et al., 1998

71 Einige abschließende Beispiele Epidemiologisches Maß Schätzwert95%KI Differenz von Mittelwerten:5.5 mg/dl[0.2 – 9.8] Differenz von Prävalenzen:3% [-1% - 7%] Differenz von Inzidenzraten:0.002 [ ] Relatives Risiko:2.45 [ ] Odds Ratio:0.76 [ ] Signifikant?     

72 Fragen und Antworten 50 insulinpflichtige Diabetiker wurden mit 50 Nicht-Diabetikern bezüglich des Auftretens von psychischen Störungen untersucht. Diese waren bei den Diabetikern signifikant häufiger. Welcher der folgenden Faktoren kommt als Erklärung für diese Unterschiede wahrscheinlich nicht in Frage: - Alter, - Insulintherapie, - Zufall, - Diät, - Diabeteskomplikationen. Zufall

73 Fragen und Antworten Boston Lyle Hospital 1938 – 1952 Inzidenz Retrolentaler Fibroplasie (RFL) FrühgeboreneRLF Jungen % Mädchen % Inzidenzdifferenz: 1.9%, 95%-KI [ -4.2 bis 8.0]; p = 0.62 Was besagt dieses Resultat? - Die Inzidenz der RLF ist signifikant höher für Jungen. - Geschlecht und Inzidenz der RLF sind in dieser Studie nicht assoziiert. - Zufall kann die Inzidenzdifferenz allein nicht erklären. - Das relative Risiko einer RLF für J ist signifikant verschieden von 1. - Es besteht eine 62%ige Wahrscheinlichkeit, dass die Inzidenz für Jungen größer ist als 1.9%. 

74 Fragen und Antworten In einer klinischen Studie wird ein innovatives Mittel A zur Blutdruck- senkung mit der bisherigen Standardtherapie B verglichen. Das neue Medikament wird in zwei verschiedenen Patientengruppen jeweils in unterschiedlicher Dosis vergeben (A1 bzw. A2). Beim Vergleich der Therapien ergibt sich in einem zweiseitigen Signifikanztest der Gruppe A1 versus B ein p-Wert von p=0.001; für den Vergleich A2 versus B ergibt sich p=0.04. Welche Information kann aus den angegebenen p-Werten abgelesen werden? - Therapie A1 ist erwiesenermaßen wirksamer als die Standardtherapie B. - Therapie A2 ist erwiesenermaßen wirksamer als die Standardtherapie B. - Die erwartete Blutdrucksenkung unter Ther. A1 ist größer als unter Ther. A2. - Die Wirksamkeit der Therapien A1 und A2 unterscheidet sich signifikant. - Keine der obigen Aussagen kann aus den p-Werten abgelesen werden. 

75 Fragen und Antworten Eine geplante klinische Studie soll möglichst zeit- und kostensparend durchgeführt werden. Um das zu erreichen, wird folgendes Vorgehen diskutiert. Zuerst werden 50 Patienten pro Therapiegruppe rekrutiert und anhand eines Signifikanztests zum Niveau α=5% geprüft, ob sich signifikante Therapieunterschiede nachweisen lassen. Gelingt das (noch) nicht, so werden anschließend weitere 2x25 Patienten rekrutiert und erneut getestet. Das Verfahren wird so lange fortgesetzt, bis der p-Wert des Tests auf Ungleichheit beider Therapien signifikant ist. Halten Sie ein solches Vorgehen für sinnvoll? Nein, bei dem beschriebenen Vorgehen besteht ein multiples Testproblem! In jedem einzelnen Test besteht eine 5%ige Wkt. eines falsch positiven Ergebnisses. Das abschließende Urteil ist allerdings positiv, falls irgend- einer der einzelnen Test signifikant ist. Dadurch ist die Gefahr eines falsch positiven Ergebnisses im abschließenden Urteil deutlich größer als 5%!

76 Fragen und Antworten In einer klinischen Studie werden die Erfolgsraten r 1 und r 2 zweier Therapien miteinander verglichen. Pro Therapiearm werden 10 Patien- ten rekrutiert und deren Daten ausgewertet. Dabei ergibt sich beim Test auf Ungleichheit der beiden Erfolgsraten ein nicht signifikanter p-Wert von p=0.08. Interpretieren Sie das Testergebnis! Was können Sie zur Power der Studie sagen? Was für ein Konfidenzintervall des Therapieeffekts (Quotient der Erfolgsraten r 1 und r 2 ) erwarten Sie? Die Nullhypothese H 0 :r 1 =r 2 kann nicht abgelehnt werden. Das heißt nicht, dass damit ihre Gültigkeit bewiesen ist! Aufgrund der kleinen Fallzahl hat die Studie erwartungsgemäß eine sehr niedrige Power, d.h. es besteht eine große Gefahr eines Fehlers 2. Art. Aus dem gleichen Grund wird das KI des Therapieeffekts erwartungsgemäß sehr groß sein, d.h. die Größe des Effekts lässt sich nur schlecht abschätzen.


Herunterladen ppt "Statistische Tests in (klinischen und epidemiologischen) Beobachtungsstudien Ergebnisunsicherheit und Statistische Testverfahren Dr. Gerß (IMIB) [Prof."

Ähnliche Präsentationen


Google-Anzeigen