title: Entropie différentielle
text: # Entropie différentielle
  
  L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues.
  
  ## Définition
  
  Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble $\mathbb { X)$, on définit l'entropie différentielle h(x) par :
  
      $h({\mathsf {x}})=-\int _{\mathbb {X} }f(x)\ln f(x)\,\mathrm {d} x.$
  
  ## Entropie différentielle pour plusieurs distributions
  
  Dans le tableau qui suit, $\Gamma (x)=\int _{0}^{\infty }{\rm {e}}^{-t}t^{x-1}{\rm {d}}t$ est la fonction gamma, $\psi (x)={\frac {\rm {d}}{{\rm {d}}x}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}$ est la fonction digamma, $\mathrm {B} (p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}$ est la fonction bêta, et γ est la constante d'Euler-Mascheroni.
  
  Table d'entropies différentielles. :
  
  | Distribution | Fonction de distribution de probabilités | Entropie |
  | - | - | - |
  | Loi uniforme continue | $f(x)={\frac {1}{b-a}}1\!\!1_{[a,b]}$ | $\ln(b-a)\,$ |
  | Loi normale | $f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)$ | $\ln \left(\sigma {\sqrt {2\pi \,{\rm {e}}}}\right)$ |
  | Loi exponentielle | $f(x)=\lambda \exp \left(-\lambda x\right)$ | $1-\ln \lambda \,$ |
  | Loi de Cauchy | $f(x)={\frac {\lambda }{\pi }}{\frac {1}{\lambda ^{2}+x^{2}}}$ | $\ln(4\pi \lambda )\,$ |
  | Loi du χ² | $f(x)={\frac {1}{2^{n/2}\sigma ^{n}\Gamma (n/2)}}x^{{\frac {n}{2}}-1}\exp \left(-{\frac {x}{2\sigma ^{2}}}\right)$ | $\ln 2\sigma ^{2}\Gamma \left({\frac {n}{2}}\right)-\left(1-{\frac {n}{2}}\right)\psi \left({\frac {n}{2}}\right)+{\frac {n}{2}}$ |
  | Distribution Gamma | $f(x)={\frac {x^{\alpha -1}\exp(-{\frac {x}{\beta }})}{\beta ^{\alpha }\Gamma (\alpha )}}$ | $\ln(\beta \Gamma (\alpha ))+(1-\alpha )\psi (\alpha )+\alpha \,$ |
  | Loi logistique | $f(x)={\frac {{\rm {e}}^{-x}}{(1+{\rm {e}}^{-x})^{2}}}$ | $2\,$ |
  | Statistique de Maxwell-Boltzmann | $f(x)=4\pi ^{-{\frac {1}{2}}}\beta ^{\frac {3}{2}}x^{2}\exp(-\beta x^{2})$ | ${\frac {1}{2}}\ln {\frac {\pi }{\beta }}+\gamma -{\frac {1}{2}}$ |
  | Distribution de Pareto | $f(x)={\frac {ak^{a}}{x^{a+1}}}$ | $\ln {\frac {k}{a}}+1+{\frac {1}{a}}$ |
  | Loi de Student | $f(x)={\frac {(1+x^{2}/n)^{-{\frac {n+1}{2}}}}{{\sqrt {n}}\,Beta({\frac {1}{2}},{\frac {n}{2}})}}$ | ${\frac {n+1}{2}}\psi \left({\frac {n+1}{2}}\right)-\psi \left({\frac {n}{2}}\right)+\ln {\sqrt {n}}\,\mathrm {B} \left({\frac {1}{2}},{\frac {n}{2}}\right)$ |
  | Distribution de Weibull | $f(x)={\frac {c}{\alpha }}x^{c-1}\exp \left(-{\frac {x^{c}}{\alpha }}\right)$ | ${\frac {(c-1)\gamma }{c}}+\ln {\frac {\alpha ^{1/c}}{c}}+1$ |
  | Loi normale multidimensionnelle | $f_{X}(x_{1},\dots ,x_{N})=$ ${\frac {1}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}\exp \left(-{\frac {1}{2}}(x-\mu )^{\top }\Sigma ^{-1}(x-\mu )\right)$ | ${\frac {1}{2}}\ln \left[(2\pi {\rm {e}})^{N}|\Sigma |\right]$ |
  