Théorème de Bayes

Théorème de Bayes sur néon bleu, dans les bureaux d’ Autonomy à Cambridge.

Le théorème de Bayes est un résultat de base en théorie des probabilités, issu des travaux du révérend Thomas Bayes et retrouvé ensuite indépendamment par Laplace. Dans son unique article, Bayes cherchait à déterminer ce que l’on appellerait actuellement la distribution a posteriori de la probabilité d’une loi binomiale. Ses travaux ont été édités et présentés à titre posthume (1763) par son ami Richard Price dans Un essai pour résoudre un problème dans la théorie des risques (An Essay towards solving a Problem in the Doctrine of Chances). Les résultats de Bayes ont été étendus dans un essai de 1774 par le mathématicien français Laplace, lequel n’était apparemment pas au fait du travail de Bayes.

Le résultat principal obtenu par Bayes est le suivant : en considérant une distribution uniforme du paramètre binomial p et une observation d'une loi binomiale , où m est donc le nombre d’issues positives observées et n le nombre d’échecs observés, la probabilité que p soit entre a et b sachant vaut :

Ses résultats préliminaires, impliquent le résultat que l’on appelle théorème de Bayes (énoncé plus bas) mais il ne semble pas que Bayes se soit concentré ou ait insisté sur ce résultat.

Ce qui est « bayésien » (au sens actuel du mot) dans ce résultat, c’est que Bayes ait présenté cela comme une probabilité sur le paramètre p. Cela revient à dire qu’on peut déterminer, non seulement des probabilités à partir d’observations issues d’une expérience, mais aussi les paramètres relatifs à ces probabilités. C’est le même type de calcul analytique qui permet de déterminer par inférence les deux. En revanche, si l’on s'en tient à une interprétation fréquentiste  (en), on est censé ne pas considérer de probabilité de distribution du paramètre p et en conséquence, on ne peut raisonner sur p qu’avec un raisonnement d’ inférence non-probabiliste.

Le théorème de Bayes en statistique

Le théorème de Bayes est utilisé dans l’ inférence statistique pour mettre à jour ou actualiser les estimations d’une probabilité ou d’un paramètre quelconque, à partir des observations et des lois de probabilité de ces observations. Il y a une version discrète et une version continue du théorème.

  • L’école bayésienne utilise les probabilités comme moyen de traduire numériquement un degré de connaissance (la théorie mathématique des probabilités n’oblige en effet nullement à associer celles-ci à des fréquences, qui n’en représentent qu’une application particulière résultant de la loi des grands nombres). Dans cette optique, le théorème de Bayes peut s’appliquer à toute proposition, quelle que soit la nature des variables et indépendamment de toute considération ontologique.
  • L’école fréquentiste utilise les propriétés de long terme de la loi des observations et ne considère pas de loi sur les paramètres, inconnus mais fixés.
Le théorème de Bayes comme une superposition des deux arbres de décision

En théorie des probabilités, le théorème de Bayes énonce des probabilités conditionnelles : étant donné deux événements A et B, le théorème de Bayes permet de déterminer la probabilité de A sachant B, si l’on connaît les probabilités :

  • de A ;
  • de B ;
  • de B sachant A.

Ce théorème élémentaire (originellement nommé « de probabilité des causes ») a des applications considérables.

Pour aboutir au théorème de Bayes, on part d’une des définitions de la probabilité conditionnelle :

en notant la probabilité que A et B aient tous les deux lieu. En divisant de part et d’autre par P(B), on obtient :

soit le théorème de Bayes.

Chaque terme du théorème de Bayes a une dénomination usuelle.

Le terme P(A) est la probabilité a priori de A. Elle est « antérieure » au sens qu’elle précède toute information sur B. P(A) est aussi appelée la probabilité marginale de A. Le terme P(A|B) est appelée la probabilité conditionnelle de A sachant B (ou encore de A sous condition B) . Elle est « postérieure », au sens qu’elle dépend directement de B. Le terme P(B|A), pour un B connu, est appelé la fonction de vraisemblance de A. De même, le terme P(B) est appelé la probabilité marginale ou a priori de B.

Autres écritures du théorème de Bayes

On améliore parfois le théorème de Bayes en remarquant que

afin de réécrire le théorème ainsi :

est le complémentaire de A. Plus généralement, si {Ai} est une partition de l’ensemble des possibles,

pour tout Ai de la partition.

Voyez aussi le théorème des probabilités totales.


Dans d'autres langues
aragonés: Teorema de Bayes
العربية: مبرهنة بايز
беларуская: Тэарэма Баеса
беларуская (тарашкевіца)‎: Тэарэма Баеса
български: Теорема на Бейс
čeština: Bayesova věta
Ελληνικά: Θεώρημα Μπέυζ
فارسی: قضیه بیز
Gaeilge: Teoirim Bayes
עברית: חוק בייס
magyar: Bayes-tétel
Bahasa Indonesia: Teorema Bayes
íslenska: Formúla Bayes
한국어: 베이즈 정리
lietuvių: Bajeso teorema
Nederlands: Theorema van Bayes
Piemontèis: Fórmola ëd Bayes
português: Teorema de Bayes
Simple English: Bayes' theorem
српски / srpski: Бајесова теорема
Basa Sunda: Téoréma Bayes
svenska: Bayes sats
Türkçe: Bayes teoremi
українська: Теорема Баєса
Tiếng Việt: Định lý Bayes
吴语: Bayes定理