Gesamentlike entropie
In Inligtingsteorie, is Gesamentlike entropie 'n maatstaf van die onsekerheid wat verband hou met 'n stel van ewekansige veranderlike.

Definisie 
Die gesamentlike Shannon entropie (in bisse) van twee diskrete ewekansige veranderlike  en  met beelde  en  word gedefinieer as

 

waar  en  is besondere waardes van  en , onderskeidelik,  is die gesamentlike waarskynlikheid van hierdie waardes wat saam voorkom, en  word gedefinieer as 0 as .

Vir meer as twee ewekansige veranderlikes  brei die uit na

  

waar  is besondere waardes van , onderskeidelik,  is die waarskynlikheid dat hierdie waardes saam voorkom, en  word gedefinieer as 0 as .

Verwysings 

Inligtingsteorie
In Inligtingsteorie , is Gesamentlike entropie 'n maatstaf van die onsekerheid wat verband hou met 'n stel van ewekansige veranderlike . Definisie Die gesamentlike Shannon entropie ( in bisse ) van twee diskrete ewekansige veranderlike en met beelde en word gedefinieer as waar en is besondere waardes van en , onderskeidelik , is die gesamentlike waarskynlikheid van hierdie waardes wat saam voorkom , en word gedefinieer asas \ . Vir meer as twee ewekansige veranderlikes brei die uit na waar is besondere waardes van , onderskeidelik , is die waarskynlikheid dat hierdie waardes saam voorkom , en word gedefinieer asas \ . Verwysings Inligtingsteorie