Verbundentropie
# Verbundentropie

Die Verbundentropie ist ein Maß für den mittleren Informationsgehalt mehrerer Nachrichtenquellen.

## Definition

Die Verbundentropie für zwei Quellen ist folgendermaßen definiert:

    $H(XY):=-\sum _{y\in Y}\sum _{x\in X}Pr\{X=x,Y=y\}\log _{2}(Pr\{X=x,Y=y\})\quad {\Big{\frac {\text{ bit }}{\text{Symbolpaar}}}{\Big ]}$

Hierbei sind $x$ und $y$ jeweils einzelne Symbole aus den Quellenalphabeten $X$ und $Y$.

Im Spezialfall der statistischen Unabhängigkeit der Quellen gilt

    $Pr\{X=x_{i},Y=y_{j}\}=Pr\{X=x_{i}\}\cdot Pr\{y=y_{j}\}$

und somit

    $H(XY)=H(X)+H(Y)$.

Für mehr als zwei Quellen ergibt sich:

    $H(X_{1},\dots ,X_{n})=-\sum _{x_{1}}\dots \sum _{x_{n}}Pr\{x_{1},\dots ,x_{n}\}\log _{2}(Pr\{x_{1},\dots ,x_{n}\})$
