title: Distance statistique
text: # Distance statistique
  
  En mathématiques, et plus précisément en théorie des probabilités et en statistique, la notion de distance statistique sert à mesurer l'écart entre deux lois de probabilité. Les distances statistiques sont notamment utilisées en théorie de l'information, en statistique, en apprentissage automatique, et en cryptologie.
  
  Lorsqu'aucune précision n'est donnée, la « distance statistique » entre deux lois fait généralement référence à la distance en variation totale.
  
  Il existe cependant d'autres notions de distance statistique, plus spécialisées, qui ne sont pas nécessairement équivalentes à la distance en variation totale. Comme il ne s'agit bien souvent pas de distances, au sens des espaces métriques, le terme de divergence est parfois utilisé.
  
  ## Familles de divergences
  
  Soit P et Q des lois de probabilité, définies sur un espace $\Omega$, avec P absolument continue par rapport à Q. Pour toute fonction convexe f telle que f(1) = 0, on définit la « $f-divergence^,^,$ » de P par rapport à Q par :
  
  $D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {\mathrm {d} P}{\mathrm {d} Q}}\right)\,\mathrm {d} Q.$
  
  Les choix possibles de la fonction f permettent d'obtenir plusieurs constructions $classiques^,$ :
  
  * la distance en variation totale correspond au choix $f(t)=|t-1|/2$.
  * la divergence de Kullback-Leibler correspond au choix $f(t)=t\log t$.
  * la distance de Hellinger correspond au choix $f(t)=2(1-{\sqrt {t}})$.
  
  Une autre construction est la « $α-divergence^,$ » qui est plus adaptée aux lois discrètes, et est définie pour tout $\alpha \in \mathbb {R} ^{+}\cup \{\infty \}$ par
  
  $D_{\alpha }(P\|Q)=\lim _{x\to \alpha }{\frac {1}{x-1}}\log {\Bigg\sum _{i=1}^{n}{\frac {p_{i}^{x}}{q_{i}^{x-1}}}{\Bigg )}\,$
  
  Ici encore des choix particuliers de $\alpha$ permettent d'obtenir des mesures de distance classiques :
  
  * la distance de Bhattacharyya correspond (à un facteur multiplicatif près) au choix $\alpha =1/2$$^,.$
  * la divergence de Kullback-Leibler correspond au choix $\alpha =1$.
  
  Il existe encore d'autres familles, notamment les β- et γ-divergences et les divergences de Bregman, qui recoupent en partie les deux familles discutées ci-dessus.
  
  ## Autres constructions
  
  D'autres distances statistiques n'appartiennent pas aux familles discutées ci-dessus, notamment :
  
  * la distance de Kolmogorov-Smirnov ;
  * la distance de Wasserstein ;
  * la distance de Lévy-Prokhorov ;
  * la distance de Mahalanobis ;
  * la distance de Łukaszyk-Karmowski;
  * la distance d'Itakura-Saito.
  