BAYESianische Statistik für Einsteiger MCMC Verteilungen a priori

Präsentation zum Thema: "BAYESianische Statistik für Einsteiger MCMC Verteilungen a priori"—  Präsentation transkript:

1 BAYESianische Statistik für Einsteiger MCMC Verteilungen a priori
– – MCMC 1 – 2 – 3 Prior – – BAYESianische Statistik für Einsteiger MCMC Verteilungen a priori Dr. rer. pol. R. VONTHEIN, Dipl. Statistiker (Univ.) Institut für Medizinische Biometrie und Statistik, Universitätsklinikum Schleswig-Holstein, Campus Lübeck, Universität zu Lübeck Dr. sc. hum. J. KÖNIG, Dipl. Mathematiker Inst. für Med. Biometrie, Epidemiologie und Informatik, Universitätsmedizin Mainz 54. GMDS, Essen

2 Inhalt MCMC GIBBS Sampler und METROPOLIS-HASTINGS-Schritte
– – MCMC 1 – 2 – 3 Prior – – Inhalt MCMC GIBBS Sampler und METROPOLIS-HASTINGS-Schritte Reparametrisierung und „Blockbildung“ Konvergenzdiagnose Verteilungen a priori Konjugierte Verteilungen Uneigentliche Verteilungen Elizitieren 54. GMDS, Essen

3 MCMC Idee: Aus Vorschlagsverteilungen werden
– – MCMC 1 – 2 – 3 Prior – – MCMC Idee: Aus Vorschlagsverteilungen werden Werte für die Parameter generiert („Monte-Carlo-Methode“). Die Vorschlagsverteilungen werden aufdatiert, so dass die Parameterwerte eine azyklische MARKOV-Kette bilden und die Verteilung der generierten Werte gegen die Verteilung a posteriori konvergiert. Die Startverteilung ist die a-priori-Verteilung. GIBBS Sampler und METROPOLIS-HASTINGS-Schritte Reparametrisierung und „Blockbildung“ Konvergenzdiagnose 54. GMDS, Essen

4 GIBBS Sampler Algorithmus
– – MCMC 1 – 2 – 3 Prior – – GIBBS Sampler Algorithmus Vollständig bedingte Verteilungen für die Parameter Q(qj | x,q1, .. ,qj-1, qj+1, .. ,qJ) Iterieren bis zur Konvergenz generiere einen m-ten Wert qj(m) aus Q(qj(m) | x,q1(m), .. ,qj-1(m), qj+1(m-1), .. ,qJ(m-1)) datiere die nächste vollständig bedingte Verteilung auf Simulieren aus der Verteilung a posteriori Parameter schätzen aus der generierten Stichprobe Geman S, Geman, D. Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images. IEEE-PARMI 1984;6: Gelfand AE, Smith, AFN. Sampling-based approaches to calculating marginal densities. JASA 1990;85: 54. GMDS, Essen

5 METROPOLIS-HASTINGS-Schritte
– – MCMC 1 – 2 – 3 Prior – – METROPOLIS-HASTINGS-Schritte generiere Wert qj(m) aus einfacher Vorschlagsdichte g, welche aber auch aufdatiert wird akzeptiere mit Wahrscheinlichkeit a sonst bleibe bei qj(m) = qj(m-1) a hängt davon ab, ob die vollständig bedingte Dichte ansteigt Metropolis N, Rosenbluth A, Rosenbluth M, Teller A, Teller E. Equation of state calculation by fast computing machines. J Chem Physics 1953;21: Hastings WK. Monte Carlo sampling methods using Markov chains and their applications. Biometrika 1970;57:97-109 54. GMDS, Essen

6 Reparametrisierung q2 q2* q1 q1* Korrelierte Parameter führen zu
– – MCMC 1 – 2 – 3 Prior – – Reparametrisierung q2 q1 q1* q2* Korrelierte Parameter führen zu Autokorrelation der Iterationen, langsamer Konvergenz, geringem effektivem Stichprobenumfang 54. GMDS, Essen

7 – – MCMC 1 – 2 – 3 Prior – – „Blockbildung“ q2 q2 q1 q1 q1 und q2 werden aus einer gemeinsamen multivariaten Verteilung gleichzeitig generiert 54. GMDS, Essen

8 Konvergenzdiagnose q2 q2* q1 q1*
– – MCMC 1 – 2 – 3 Prior – – Konvergenzdiagnose q2 q2* q1 q1* Autokorrelationsfunktion fällt exponentiell Korrelation zwischen Parametern ist gering rapid mixing der MARKOV-Ketten im Graph, per ANOVA Einschwingen (burn in) des Polygonzugs ist beendet 54. GMDS, Essen

9 Verteilungen a priori Idee: Vorinformation formulieren
– – MCMC 1 – 2 – 3 Prior – – Verteilungen a priori Idee: Vorinformation formulieren Konjugierte Verteilungen (s. Einleitung) Uneigentliche Verteilungen als nicht-informative Verteilungen Elizitieren Quantile, Momente, mit Elicitor 54. GMDS, Essen

10 Konjugierte Verteilungen
– – MCMC 1 – 2 – 3 Prior – – Konjugierte Verteilungen Konjugierte Verteilungen (s. Einleitung) z.B. Exponentialfamilien; s. neuesten TAS Information in Anzahl Beobachtungen messbar, z.B. im Beta-Binomial-Modell die Summe der Parameter der Beta-Verteilung Sichern Existenz der Parameter der a-posteriori-Verteilung 54. GMDS, Essen

11 Uneigentliche Verteilungen
– – MCMC 1 – 2 – 3 Prior – – Uneigentliche Verteilungen als nicht-informative Verteilungen: minimiere FISHER-Information (maximiere Varianz), SHANNON-Information (maximiere Entropie) a popsteriori Konstante Dichte bedeutet Unfug: fq(0) = fq(10100) Translations- und Skalen-Invarianz für verschiedene Parameter erfordern verschiedene a-priori-Verteilungen uneigentliche a-posteriori-Verteilung leichter möglich 54. GMDS, Essen

12 Elizitieren „Herauslocken“ und formulieren der Vorinformation
– – MCMC 1 – 2 – 3 Prior – – Elizitieren „Herauslocken“ und formulieren der Vorinformation Lange Diskussion der Literatur! Diskontiere historische Kontrollen! Wahl der Verteilung nach Träger und Konjugiertheit Hyperparameter bestimmen über Quantile („unwahrscheinlich“, „gleichwahrscheinlich“) über Momente (Erwartung, Median) mit Programm Elicitor (WinBUGS für logistische Regression) 54. GMDS, Essen

13 Beispiel: historische Kontrolle
– – MCMC 1 – 2 – 3 Prior – – Beispiel: historische Kontrolle Fauchére J-C, Dame C, Vonthein R, Koller B, Arri S, Wolf M, Bucher HU. An approach to using recombinant erythropoietin for neuroprotection in very preterm infants. Pediatrics 2008:122:375-82 54. GMDS, Essen

14 Beispiel: historische Kontrolle
– – MCMC 1 – 2 – 3 Prior – – Beispiel: historische Kontrolle … 54. GMDS, Essen