L’approche bayésienne des statistiques cherche à utiliser les informations que nous connaissons a priori sur la population à décrire. Si certains jugent encore cette approche paradoxale, son influence grandissante et ses nombreuses applications auraient plutôt tendance à la légitimer.
BAYES OU LES PROBABILITÉS CONDITIONNELLES
Les statistiques bayésiennes s’appuient, comme leur nom l’indique, sur le théorème de Bayes. Et lui-même traite des probabilités conditionnelles. On considère deux événements A et B, sous-ensembles de l’ensemble des événements élémentaires. On cherche à définir la probabilité de l’événement B en sachant que A est réalisé. Il faut donc se limiter au sous-ensemble A et chercher la masse relative de la partie B contenue dans A par rapport à la masse de A. Ainsi, on définit la probabilité de B sachant A comme le quotient de la probabilité de l’événement A et B par la probabilité de A. Le théorème de Bayes est une écriture particulière des probabilités conditionnelles, introduisant l’idée d’une connaissance a priori. Il permet de calculer la probabilité qu’une cause (parmi les causes possibles, mutuellement exclusives) soit à l’origine d’un événement E observé. Autrement dit, la probabilité d’observer un événement E se calcule en utilisant la probabilité a priori d’une des causes de E.
LA NOTION D’A PRIORI
Les statistiques bayésiennes utilisent la notion d’a priori introduite par le théorème de Bayes. On parle d’« inférence bayésienne », car la statistique bayésienne a le même objectif que la statistique classique, c’est-à-dire inférer des propriétés d’une population à partir d’un échantillon de cette population. La grande différence est que, dans la statistique classique, la loi de la population est inconnue, alors que la statistique bayésienne considère que nous avons tout de même quelques informations sur cette loi et qu’elle se dote donc d’une loi a priori de cette population. Cette loi représente, pour le statisticien bayésien, l’ensemble des informations a priori disponibles ainsi que les imprécisions qui s’y rattachent. Les paramètres de cette loi ne sont plus inconnus et déterministes mais deviennent eux-mêmes des variables aléatoires, prenant ainsi en compte l’incertitude sur les paramètres. Dans un contexte pratique, la loi a priori regroupe aussi l’ensemble des opinions d’experts.
LES LOIS NON INFORMATIVES
Le choix de la loi a priori est un des points sensibles de la statistique bayésienne. Il est crucial, car deux lois a priori différentes conduisent à deux systèmes d’inférence différents, même si l’accumulation de données tend à faire disparaître cette différence. Cependant, ce choix est l’une des difficultés majeures de l’approche bayésienne, dans la mesure où l’interprétation de l’information a priori disponible ne permet pas, en général, la détermination d’une seule et unique loi. En effet, on arrive le plus souvent à un ensemble de lois compatibles avec les informations a priori disponibles. Il est toujours possible de réduire l’influence de ce choix en retenant des lois à faible contenu informatif (comme le maximum d’entropie) ou des lois non informatives qui minimisent l’information apportée par la loi a priori face à celle que fournissent les données. Les tenants de la statistique bayésienne considèrent que cette grande « offre » de lois a priori est plutôt une force qu’une faiblesse.
LE CALCUL DU RISQUE
La statistique bayésienne est un outil qui permet de résoudre des problèmes d’estimation, comme dans la statistique inférentielle. On s’intéresse au cas très général d’un individu plongé dans un environnement donné et qui doit, sur la base d’observations, mener des actions et prendre des décisions qui auront un coût. La règle de décision est un estimateur, et on construit une fonction de coût qui permet de quantifier la perte encourue en cas de mauvais choix. Là où divergent les deux approches statistiques (bayésienne et inférentielle), c’est sur le calcul du risque. En effet, dans un modèle inférentiel, le risque se calcule comme une espérance mathématique (valeur numérique permettant d’évaluer le résultat moyen d’une expérience aléatoire). Comme le modèle bayésien met à disposition une loi a priori, on peut alors considérer une moyenne du risque inférentielle, autrement dit la moyenne du coût moyen suivant la loi a priori. D’où une meilleure estimation du risque.
UN LARGE CHAMP D’APPLICATION
La visibilité de l’approche bayésienne s’est considérablement accrue depuis quelques années. Une des raisons en est l’émergence de moyens de calcul plus puissants, comme les méthodes de Monte-Carlo par chaînes de Markov, qui ont libéré la puissance modélisatrice de l’approche bayésienne. Mais la raison majeure est que, d’une certaine manière, cette approche a « fait ses preuves » : preuves pragmatiques d’un côté – incorporation des informations a priori et de l’incertitude sur ces informations, développement de lois a priori de référence, facilité de calcul, connexion naturelle avec les impératifs décisionnels, comme les fonctions de coût, ou encore extension au domaine non paramétrique -, mais validation théorique également – convergence, efficacité, admissibilité. Enfin, le champ des non- statisticiens s’est saisi de l’approche bayésienne, car il semble naturel d’utiliser des informations disponibles. C’est le cas de l’économétrie, de l’épidémiologie, de la finance ou du traitement du signal.
À RETENIR
En statistique, l’approche bayésienne diffère de l’approche inférentielle par l’introduction d’une loi a priori sur la population que l’on souhaite étudier, loi déduite des connaissances a priori que nous avons sur cette population. Cette approche trouve son origine dans le théorème de Bayes, qui s’intéresse aux probabilités conditionnelles. Depuis quelques décennies, cette approche a pris une place de plus en plus importante pour des raisons pragmatiques mais aussi de validité théorique.