title: Entropie min
text: # Entropie min
  
  En probabilités et en théorie de l'information, l'entropie min d'une variable aléatoire discrète X prenant n valeurs ou sorties possibles 1... n associées au probabilités $p_1...$ $p_n$ est :
  
      $H_{\infty }(X)=\min _{i=1}^{n}(-\log p_{i})=-(\max _{i}\log p_{i})=-\log \max _{i}p_{i}$
  
  La base du logarithme est juste une constante d'échelle. Pour avoir un résultat en bits, il faut utiliser le logarithme en base 2. Ainsi, une distribution a une entropie min d'au moins b bits si aucune sortie n'a une probabilité plus grande que $2^{-b}.$
  
  L'entropie min est toujours inférieure ou égale à l'entropie de Shannon; avec égalité si toutes les valeurs de X sont équiprobables. L'entropie min est importante dans la théorie des extracteurs de hasard.
  
  La notation $H_{\infty }(X)$ vient d'une famille paramétrée d'entropies appelée entropie de Rényi,
  
      $H_{k}(X)=-\log {\sqrt[{k-1}]{\begin{matrix}\sum _{i}(p_{i})^{k}\end{matrix}}}$
  