Introduction à la statistique bayésienne pour les ingénieurs et les médecins

• Paramètres d'une loi normale à estimer → \(\mu\) et \(\tau = 1/\sigma^2\)

• Loi a priori normale sur \(\mu|\sigma^2\) → \(\mu_0\) et \(\tau_0 = 1/\sigma_0^2\)

• Loi a priori sur \(\sigma^2\) → \(\alpha_0\) et \(\beta_0\)

• \(n\)-échantillon → moyenne \(\bar{y}\) et précision \(t = 1/s^2\)

• Loi a posteriori normale sur \(\mu|\sigma^2\) → \(\mu_n\) et \(\tau_n = 1/\sigma_n^2\)

• Loi a posteriori sur \(\sigma^2\) → \(\alpha_n\) et \(\beta_n\)

\(\color{red}{p(\mu, \sigma^2|y) \propto \mathcal{L}_n \cdot p(\mu|\sigma^2) \cdot p(\sigma^2)}\)

1. La vraisemblance est sans problème

2. Loi a priori \(p(\mu,\sigma^2) = p(\mu|\sigma^2) p(\sigma^2)\)

   • \(p(\mu|\sigma^2)\): cas où la variance est connue

   • \(p(\sigma^2)\) → (cf.prior sur la précision ci-dessous)

3. Loi a posteriori \(p(\mu, \sigma^2|y) = p(\mu|\sigma^2,y) \cdot p(\sigma^2|y)\)

   • \(p(\mu|\sigma^2, y)\) : cas précédent de l'inférence de la moyenne, variance connue

   • \(p(\mu | y)\) → (cf. posterior marginale sur la moyenne)

   • \(p(\sigma^2|y)\) → (cf. posterior marginale sur la précision ci-dessous)

     → au plus simple : situation conjuguée

Normale (moyenne) → normale

Normale (précision) → Gamma (ou inverse-gamma sur la variance)

Quand la vraisemblance est normale alors (i) si la loi a priori sur la précision de cette loi est une loi Gamma, sa distribution a posteriori sera aussi une loi Gamma et (ii) si loi a priori sur la moyenne de cette loi, conditionnelle à la précision, est normale, sa distribution a posteriori sera une loi normale.

\(\mathcal{L}_n\) : \(\mathcal{N}(\mu, \sigma^2)\)

prior sur \(\mu|\sigma^2\) : \(\mathcal{N}(\mu_0, \sigma_0^2)\)

prior sur \(\tau = 1/\sigma^2\) : \(\Gamma(\alpha_0, \beta_0)\)

\(\Rightarrow\)

posterior sur \(\mu|\sigma^2\) : \(\mathcal{N}(\mu_n, \sigma_n^2)\)

posterior sur \(\tau\) : \(\Gamma(\alpha_n, \beta_n)\)

Un paramétrage légèrement différent

• \(\mu | \sigma^2 \sim \mathcal{N}\left(\mu_0, \frac{\sigma^2}{\kappa_0} \right)\)

  → conditionnellement à \(\sigma^2\) la variance sur \(\mu\) est une fraction de \(\sigma^2\)

• \(\tau \sim \Gamma \left( \frac{\alpha_0}{2}, \frac{\beta_0}{2} \right)\)

  → pour faciliter l'expression de la loi Gamma en loi du \(\chi^2\)

On retrouve l'expression de la posterior quand la variance est connue mais avec \(\tau_0 = \tau \cdot \kappa_0\)

\(\mu|\tau,y \sim \mathcal{N}\left(\mu_n, 1/\tau_n\right), \left\{\begin{array}{lcl} \mu_n&=& \dfrac{\kappa_0}{\kappa_0 + n} \mu_0 + \dfrac{n}{\kappa_0 + n} \bar{y}\\[5ex] \tau_n&=& \tau (\kappa_0 + n) \end{array} \right.\)

\(\kappa_0\) peut-être vu comme la taille d'un « pseudo-échantillon » a priori

Les calculs sont un peu plus compliqués que pour la moyenne. On trouve l'estimation a posteriori de \(\tau\) :

\(\tau|y \sim \Gamma(\alpha_n, \beta_n)\)

avec :

• \(\left\{ \begin{array}{lcl} \alpha_n &=& \frac{\alpha_0 + n}{2} \\[2ex] \beta_n &=& \frac{\beta_0 + \textsf{BSSE}}{2} \\[2ex] \end{array} \right.\)

• BSSE est un « Bayesian sum of squared errors »

  \(\textsf{BSSE} = (n-1)s^2 + \dfrac{n \kappa_0}{n + \kappa_0}(\mu_0 - \bar{y})^2\)

On obtient \(p(\mu | y) = \displaystyle{\int}{p(\mu, \sigma^2 | y) \mathrm{d} \sigma^2}\) → loi de Student

• Moyenne : \(\dfrac{\kappa_0}{\kappa_0 + n} \mu_0 + \dfrac{n}{\kappa_0 + n} \bar{y}\)

• Variance : \(\dfrac{BSSE + \beta_0}{(n+\alpha_0)(n+\kappa_0)}\)

• Degrés de liberté : \(n + \alpha_0\)