BAYESianische Statistik für Einsteiger MCMC Verteilungen a priori – – MCMC 1 – 2 – 3 Prior 1 2 3 – – BAYESianische Statistik für Einsteiger MCMC Verteilungen a priori Dr. rer. pol. R. VONTHEIN, Dipl. Statistiker (Univ.) Institut für Medizinische Biometrie und Statistik, Universitätsklinikum Schleswig-Holstein, Campus Lübeck, Universität zu Lübeck Dr. sc. hum. J. KÖNIG, Dipl. Mathematiker Inst. für Med. Biometrie, Epidemiologie und Informatik, Universitätsmedizin Mainz 54. GMDS, Essen 09.09.2009

Inhalt MCMC GIBBS Sampler und METROPOLIS-HASTINGS-Schritte – – MCMC 1 – 2 – 3 Prior 1 2 3 – – Inhalt MCMC GIBBS Sampler und METROPOLIS-HASTINGS-Schritte Reparametrisierung und „Blockbildung“ Konvergenzdiagnose Verteilungen a priori Konjugierte Verteilungen Uneigentliche Verteilungen Elizitieren 54. GMDS, Essen 09.09.2009

MCMC Idee: Aus Vorschlagsverteilungen werden – – MCMC 1 – 2 – 3 Prior 1 2 3 – – MCMC Idee: Aus Vorschlagsverteilungen werden Werte für die Parameter generiert („Monte-Carlo-Methode“). Die Vorschlagsverteilungen werden aufdatiert, so dass die Parameterwerte eine azyklische MARKOV-Kette bilden und die Verteilung der generierten Werte gegen die Verteilung a posteriori konvergiert. Die Startverteilung ist die a-priori-Verteilung. GIBBS Sampler und METROPOLIS-HASTINGS-Schritte Reparametrisierung und „Blockbildung“ Konvergenzdiagnose 54. GMDS, Essen 09.09.2009

GIBBS Sampler Algorithmus – – MCMC 1 – 2 – 3 Prior 1 2 3 – – GIBBS Sampler Algorithmus Vollständig bedingte Verteilungen für die Parameter Q(qj | x,q1, .. ,qj-1, qj+1, .. ,qJ) Iterieren bis zur Konvergenz generiere einen m-ten Wert qj(m) aus Q(qj(m) | x,q1(m), .. ,qj-1(m), qj+1(m-1), .. ,qJ(m-1)) datiere die nächste vollständig bedingte Verteilung auf Simulieren aus der Verteilung a posteriori Parameter schätzen aus der generierten Stichprobe Geman S, Geman, D. Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images. IEEE-PARMI 1984;6:721-741 Gelfand AE, Smith, AFN. Sampling-based approaches to calculating marginal densities. JASA 1990;85:398-409 54. GMDS, Essen 09.09.2009

METROPOLIS-HASTINGS-Schritte – – MCMC 1 – 2 – 3 Prior 1 2 3 – – METROPOLIS-HASTINGS-Schritte generiere Wert qj(m) aus einfacher Vorschlagsdichte g, welche aber auch aufdatiert wird akzeptiere mit Wahrscheinlichkeit a sonst bleibe bei qj(m) = qj(m-1) a hängt davon ab, ob die vollständig bedingte Dichte ansteigt Metropolis N, Rosenbluth A, Rosenbluth M, Teller A, Teller E. Equation of state calculation by fast computing machines. J Chem Physics 1953;21:1087-92 Hastings WK. Monte Carlo sampling methods using Markov chains and their applications. Biometrika 1970;57:97-109 54. GMDS, Essen 09.09.2009

Reparametrisierung q2 q2* q1 q1* Korrelierte Parameter führen zu – – MCMC 1 – 2 – 3 Prior 1 2 3 – – Reparametrisierung q2 q1 q1* q2* Korrelierte Parameter führen zu Autokorrelation der Iterationen, langsamer Konvergenz, geringem effektivem Stichprobenumfang 54. GMDS, Essen 09.09.2009

– – MCMC 1 – 2 – 3 Prior 1 2 3 – – „Blockbildung“ q2 q2 q1 q1 q1 und q2 werden aus einer gemeinsamen multivariaten Verteilung gleichzeitig generiert 54. GMDS, Essen 09.09.2009

Konvergenzdiagnose q2 q2* q1 q1* – – MCMC 1 – 2 – 3 Prior 1 2 3 – – Konvergenzdiagnose q2 q2* q1 q1* Autokorrelationsfunktion fällt exponentiell Korrelation zwischen Parametern ist gering rapid mixing der MARKOV-Ketten im Graph, per ANOVA Einschwingen (burn in) des Polygonzugs ist beendet 54. GMDS, Essen 09.09.2009

Verteilungen a priori Idee: Vorinformation formulieren – – MCMC 1 – 2 – 3 Prior 1 2 3 – – Verteilungen a priori Idee: Vorinformation formulieren Konjugierte Verteilungen (s. Einleitung) Uneigentliche Verteilungen als nicht-informative Verteilungen Elizitieren Quantile, Momente, mit Elicitor 54. GMDS, Essen 09.09.2009

Konjugierte Verteilungen – – MCMC 1 – 2 – 3 Prior 1 2 3 – – Konjugierte Verteilungen Konjugierte Verteilungen (s. Einleitung) z.B. Exponentialfamilien; s. neuesten TAS Information in Anzahl Beobachtungen messbar, z.B. im Beta-Binomial-Modell die Summe der Parameter der Beta-Verteilung Sichern Existenz der Parameter der a-posteriori-Verteilung 54. GMDS, Essen 09.09.2009

Uneigentliche Verteilungen – – MCMC 1 – 2 – 3 Prior 1 2 3 – – Uneigentliche Verteilungen als nicht-informative Verteilungen: minimiere FISHER-Information (maximiere Varianz), SHANNON-Information (maximiere Entropie) a popsteriori Konstante Dichte bedeutet Unfug: fq(0) = fq(10100) Translations- und Skalen-Invarianz für verschiedene Parameter erfordern verschiedene a-priori-Verteilungen uneigentliche a-posteriori-Verteilung leichter möglich 54. GMDS, Essen 09.09.2009

Elizitieren „Herauslocken“ und formulieren der Vorinformation – – MCMC 1 – 2 – 3 Prior 1 2 3 – – Elizitieren „Herauslocken“ und formulieren der Vorinformation Lange Diskussion der Literatur! Diskontiere historische Kontrollen! Wahl der Verteilung nach Träger und Konjugiertheit Hyperparameter bestimmen über Quantile („unwahrscheinlich“, „gleichwahrscheinlich“) über Momente (Erwartung, Median) mit Programm Elicitor (WinBUGS für logistische Regression) 54. GMDS, Essen 09.09.2009

Beispiel: historische Kontrolle – – MCMC 1 – 2 – 3 Prior 1 2 3 – – Beispiel: historische Kontrolle Fauchére J-C, Dame C, Vonthein R, Koller B, Arri S, Wolf M, Bucher HU. An approach to using recombinant erythropoietin for neuroprotection in very preterm infants. Pediatrics 2008:122:375-82 54. GMDS, Essen 09.09.2009

Beispiel: historische Kontrolle – – MCMC 1 – 2 – 3 Prior 1 2 3 – – Beispiel: historische Kontrolle … 54. GMDS, Essen 09.09.2009