title: Inégalité de Gibbs
text: # Inégalité de Gibbs
  
  En théorie de l'information, l'inégalité de Gibbs, nommée en l'honneur de Willard illard Gibbs.Gibbs, porte sur l'entropie d'une distribution de probabilités. Elle sert à prouver de nombreux résultats en théorie de l'information.
  
  ## Enoncé
  
  Soient deux distributions de probabilités $P=\{p_{1},p_{2},...p_{n}\}$ et $Q=\{q_{1},q_{2},...,q_{n}\}$, alors
  
      $-\sum _{i=1}^{n}p_{i}\log(p_{i})\leq -\sum _{i=1}^{n}p_{i}\log(q_{i})$.
  
  Le cas d'égalité se produit si et seulement si $p_{i}=q_{i}$ pour tout $i$.
  
  ## Démonstration
  
  D'après l'inégalité de Jensen, puisque le logarithme est concave,
  
      $\sum _{i=0}^{n}p_{i}\log \left({\frac {q_{i}}{p_{i}}}\right)\leq \log \left(\sum _{i=0}^{n}p_{i}{\frac {q_{i}}{p_{i}}}\right)=\log(1)=0$.
  
  Cela équivaut à
  
      $-\sum _{i=0}^{n}p_{i}\log(p_{i})\leq -\sum _{i=0}^{n}p_{i}\log(q_{i})$
  
  et montre donc l'inégalité.
  
  Comme le logarithme n'est pas linéaire, le cas d'égalité dans l'inégalité de Jensen, et à fortiori dans la première inégalité ci-dessus, est réalisé si et seulement si tous les $p_{i}/q_{i}$ sont égaux, ce qui équivaut au fait que $p_{i}=q_{i}$ pour tout $i$ car ce sont des distributions de probabilités.
  
  