title: Canal binaire symétrique
text: # Canal binaire symétrique
  
  Alice veut transmettre un message à Bob. Un canal binaire symétrique est un canal discret où Alice transmet une suite d’éléments de l'ensemble $\{0,1\}$ et où la probabilité d'erreur dans la transmission d'un symbole est de $p$, pour 0 et pour 1 (d'où la symétrie). Ce canal est sans mémoire, c'est-à-dire qu'aucune archive des messages n'est conservée.
  
  En communication, un problème classique est d'envoyer de l'information d'une source à une destination via un canal de communication, en présence de bruit. Le codage de canal est l'ensemble des solutions à ce problème que sont les codes correcteurs.
  
  ## Détails techniques
  
  ### Définition
  
  L'idée du canal binaire symétrique est qu'il est utile de modéliser le bruit de canal. Dans ce modèle, chaque bit de données transmis est inversé avec une probabilité $p$ et est transmis sans erreur avec la probabilité complémentaire de $1-p$. Le paramètre $p$ détermine (c'est-à-dire qu'il définit uniquement) le canal binaire symétrique dont il est question.
  
  Sans perte de généralité, on peut supposer que $p<1/2$. En effet, si $p=1/2$, le message codé ne dépend pas du message d'origine et si $p>1/2$, on ajoute $1$ à chaque bit du code et on est revenu au cas général.
  
  ### Capacité
  
  La capacité du canal est la quantité d'information que l'on peut y faire transiter ; elle est définie par $C=max_{pX}I(X;Y){\textstyle$ C=\max _{p_{X}}I(X;Y)} où $X$ est la variable aléatoire en entrée du canal, $Y$ la variable aléatoire en sortie et $I$ est l'information mutuelle. On cherche la distribution de $X$ qui maximise la quantité d'information transmise.
  
  Posons que $X$ suit une loi de Bernoulli de paramètre $q$ ; $Y$ suit alors une loi de Bernoulli de paramètre $(1-q)p+q(1-p)$. L'information mutuelle est donnée par :
  
     $I(X;Y)=H(Y)-H(Y|X)=h_{2}((1-q)p+q(1-p))-h_{2}(p)$
  
  où $h_{2}$ est l'entropie de Shannon de la loi de Bernoulli : elle atteint son maximum de $1$ en 1/2 {\textstyle {\frac {1}{2}}}. Cet argument est obtenu lorsque q=1/2 {\textstyle q={\frac {1}{2}}}, c'est-à-dire lorsque $X$ est uniforme. Le maximum est donc obtenu pour la loi uniforme, et la capacité du canal est :
  
     $C=1-h_{2}(p)$
  
  ### Solutions
  
  Une solution simple pour se prémunir de ce type de bruit est d'envoyer plusieurs copies de chaque bit devant être transmis : c'est le code de répétition. Rendre l'information redondante est l'idée derrière le codage de canal, bien que ces techniques puissent être beaucoup plus élaborées (voir théorie des codes).
  
  