title: Maximum régularisé
text: # Maximum régularisé
  
  En mathématiques, un maximum régularisé (smooth maximum) d'une famille indicée $x_1,$ ..., $x_n$ de nombres est une approximation lisse de la fonction maximum $max(x_1,...,x_n),$ par une famille paramétrée de fonctions $m_α(x_1,...,x_n)$ telle que la fonction $m_α$ est régulière pour toute valeur réelle de α, et tend vers la fonction maximum pour α → ∞ ou α → 0 . Le concept de minimum régularisé peut être défini de façon similaire. Dans plusieurs cas, une même famille peut servir à approcher les deux fonctions, le maximum pour des valeurs positives très grandes, le minimum vers l'infini négatif :
  
      $m_{\alpha }\to \max \ {\textrm {pour}}\ \alpha \to \infty ,\ m_{\alpha }\to \min \ {\textrm {pour}}\ \alpha \to -\infty .$
  
  Le terme peut être utilisé pour toute fonction régularisante se comportant de façon similaire à la fonction maximum, sans être paramétrée.
  
  ## Exemples
  
  ### Approximations dérivables de la valeur absolue
  
  En utilisant la définition suivante du maximum de deux nombres :
  
      $\max(x_{1},x_{2})={\frac {x_{1}+x_{2}+|x_{2}-x_{1}|}{2}}$
  
  on peut définir une fonction maximum régularisé en remplaçant le terme en valeur absolue par une fonction lisse équivalente, comme $√(x^2+α^2){\textstyle$ {\sqrt {x^{2}+\alpha ^{2}}}} ou xerf(αx){\textstyle x\, \mathrm {erf} (\alpha x)}, où erf désigne la fonction d'erreur.
  
  ### Softmax
  
  Pour de grandes valeurs du paramètre α > 0, la fonction $S_α$ définie ci-après, parfois appelée « α-softmax », est une approximation lisse et différentiable de la fonction maximum. Pour des valeurs négatives du paramètre grandes en valeur absolue, elle approche le minimum. La fonction α-softmax est définie par :
  
      $S_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\sum _{i=1}^{n}x_{i}\mathrm {e} ^{\alpha x_{i}}}{\sum _{i=1}^{n}\mathrm {e} ^{\alpha x_{i}}}}$
  
  $S_α$ a les propriétés suivantes :
  
  * $S_{\alpha }{\underset {\alpha \to +\infty }{\longrightarrow }}\max$
  * $S_0$ renvoie la moyenne arithmétique
  * $S_{\alpha }{\underset {\alpha \to -\infty }{\longrightarrow }}\min$
  
  Le gradient de $S_α$ est lié à la fonction softmax et vaut
  
      $\nabla _{x_{i}}S_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\mathrm {e} ^{\alpha x_{i}}}{\sum _{j=1}^{n}\mathrm {e} ^{\alpha x_{j}}}}[1+\alpha (x_{i}-S_{\alpha }(x_{1},\ldots ,x_{n}))].$
  
  Ceci rend la fonction softmax intéressante pour des techniques d'optimisation utilisant la descente de gradient.
  
  ### Normes de Hölder
  
  Une forme de maximum régularisé peut être basée sur une moyenne généralisée. Par exemple, pour des valeurs $x_1,$ ..., $x_n$ positives, on peut utiliser une moyenne d'ordre α > 1, soit
  
      $S_{\alpha }(x_{1},\ldots ,x_{n})=\left({\frac {1}{n}}\sum _{j=1}^{n}x_{j}^{\alpha }\right)^{\frac {1}{\alpha }}.$
  
  ### LogSumExp
  
  Un autre maximum régularisé est connu sous le nom « LogSumExp »:
  
      $\mathrm {LSE} (x_{1},\ldots ,x_{n})=\ln(\exp(x_{1})+\ldots +\exp(x_{n}))$
  
  La fonction peut être normalisée si les $x_i$ sont tous positifs, menant à une fonction définie sur [0 , $+∞[^n$ vers [0 , +∞[:
  
      $g(x_{1},\ldots ,x_{n})=\ln(\exp(x_{1})+\ldots +\exp(x_{n})-(n-1))$
  
  Le terme (n – 1) est un coefficient de correction pour prendre en compte que exp(0) = 1, assurant ainsi qu'on ait bien g(0, ... ,0) = 0 si tous les $x_i$ sont nuls.
  
  La fonction LogSumExp peut être paramétrée pour éviter les artefacts de lissage. On appelle cette forme « α-quasimax », définie par:
  
      ${\mathcal {Q}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {1}{\alpha }}\mathrm {LSE} (\alpha x_{1},\ldots ,\alpha x_{n})={\frac {1}{\alpha }}\ln(\exp(\alpha x_{1})+\ldots +\exp(\alpha x_{n}))$
  
  ## Utilisation dans des méthodes numériques
  
  Les maximums lisses ont un intérêt dans les recherches d'extrema sur des ensembles de données discrètes ou des algorithmes d'optimisation par descente du gradient.
  
  