Introduction à la statistique bayésienne pour les ingénieurs et les médecins

• Les mesures dans le premier groupe sont normalement distribuées :

  \(y_1 \sim \mathcal{N}(\mu-\delta, \sigma^2=1/\tau)\)

• Les mesures dans le second groupe sont normalement distribuées :

  \(y_2 \sim \mathcal{N}(\mu+\delta, \sigma^2=1/\tau)\)

• On suppose la variance commune dans les deux groupes (c'est assez compliqué ainsi ! )

• Si \(\mu_1\) et \(\mu_2\) sont les moyennes dans les deux groupes alors

  • \(2 \delta = \mu_1 - \mu_2\), différence des deux moyennes

  • \(\mu = \dfrac{\mu_1+\mu_2}{2}\), moyenne des deux moyennes

• On a recueilli

  • Un échantillon de taille \(n_1\) de valeurs de \(y_1\) dont la moyenne est \(\overline{y_1}\) et la variance \(s^2_1\)

  • Un échantillon de taille \(n_2\) de valeurs de \(y_2\) dont la moyenne est \(\overline{y_2}\) et la variance \(s^2_2\)

On a à estimer trois paramètres: \(\mu\), \(\delta\) et \(\tau\)

On va supposer que \(p(\mu, \tau, \delta) = p(\mu | \tau) p(\tau) p(\delta)\) avec

• \(\mu | \tau \sim \mathcal{N}\left(\mu_0, 1/\tau_{\mu 0}\right)\)

• \(\tau \sim \Gamma \left( \alpha_0/2, \beta_0/2 \right)\)

• \(\delta \sim \mathcal{N}\left(\delta_0, 1/\tau_{\delta 0}\right)\)

1. Les lois a posteriori explicitées seront les lois conditionnelles complètes

   → loi de chaque paramètre conditionnellement à toutes les autres grandeurs aléatoires du modèle

2. La loi a posteriori conditionnelle complète de \(\mu\)

   • On retrouve une expression proche du cas de l'estimation des paramètres d'une normale

   • En fixant \(\tau_{\mu 0} = \tau \cdot \kappa_0\) (\(\kappa_0\) peut-être vu comme la taille d'un pseudo-échantillon a priori ayant fourni l'information sur \(\mu\))

     \(\mu|\tau, \delta, y_1, y_2 \sim \mathcal{N}\left(\mu_n, 1/\tau_{\mu n}\right)\)

     avec

     \(\left\{\begin{array}{lcl} \mu_n&=& \dfrac{\kappa_0}{\kappa_0 + (n_1+n_2)} \mu_0 \\&& + \dfrac{n_1+n_2}{\kappa_0 + (n_1+n_2)} \dfrac{n_1(\overline{y_1}-\delta) + n_2(\overline{y_2}+\delta)}{n_1+n_2}\\[2ex] \tau_{\mu n}&=& \tau (\kappa_0 + n_1+n_2) \end{array} \right.\)

   • \(\mu_n\) est une somme pondérée \(w_{\mu} \mu_0 + \left(1-w_{\mu}\right) \dfrac{n_1(\overline{y_1}-\delta) + n_2(\overline{y_2}+\delta)}{n_1+n_2}\)

     avec

     \(w_{\mu} = \dfrac{\kappa_0}{\kappa_0 + (n_1+n_2)}\)

3. La loi a posteriori conditionnelle complète de \(\delta\)

   • On retrouve une expression très proche de la loi de \(\mu\)

   • En fixant \(\tau_{\delta 0} = \tau \cdot \nu_0\) (\(\nu_0\) peut-être vu comme la taille d'un pseudo-échantillon a priori ayant fourni l'information sur \(\delta\))

     \(\delta|\tau, \mu, y_1, y_2 \sim \mathcal{N}\left(\delta_n, 1/\tau_{\delta n}\right)\)

     avec

     \(\left\{\begin{array}{lcl} \delta_n&=& \dfrac{\nu_0}{\nu_0 + (n_1+n_2)} \delta_0 \\&&+ \dfrac{n_1+n_2}{\nu_0 + (n_1+n_2)} \dfrac{n_1(\overline{y_1}-\mu) + n_2(\mu-\overline{y_2})}{n_1+n_2}\\[2ex] \tau_{\delta n}&=& \tau (\nu_0 + n_1+n_2) \end{array} \right.\)

   • \(\delta_n\) est une somme pondérée \(w_{\delta} \delta_0 + \left(1-w_{\delta}\right) \dfrac{n_1(\overline{y_1}-\mu) + n_2(\mu-\overline{y_2})}{n_1+n_2}\)

     avec

     \(w_{\delta} = \dfrac{\nu_0}{\nu_0 + (n_1+n_2)}\)

4. La loi a posteriori conditionnelle complète de \(\tau\)

   • On retrouve une expression proche du cas de l'estimation des paramètres d'une normale

     \(\tau| \mu, \delta, y_1, y_2 \sim \Gamma(\alpha_n, \beta_n)\)

     avec :

     • \(\left\{ \begin{array}{lcl} \alpha_n &=& \frac{\alpha_0 + n_1+n_2}{2} \\[2ex] \beta_n &=& \frac{\beta_0 + \textsf{BSSE}}{2} \\[2ex] \end{array} \right.\)

     • BSSE est un « Bayesian sum of squared errors »

       \(\textsf{BSSE} = n_1 s^2_1 + n_2 s^2_2 + n_1 \left( \overline{y_1} -\mu - \delta \right)^2 + n_2 \left( \overline{y_2} -\mu + \delta \right)^2\)

5. Chacune des lois conditionnelles complètes dépend

   • Des données

   • De ses paramètres a priori

   • Des valeurs des autres distributions

6. L'estimation doit se faire de manière itérative → on verra comment plus loin (cf. McMC)