Rényi-Entropie
# Rényi-Entropie

In der Informationstheorie ist die Rényi-Entropie (benannt nach Alfréd Rényi) eine Verallgemeinerung der Shannon-Entropie. Die Rényi-Entropie gehört zu der Familie von Funktionen, die zum Quantifizieren der Diversität, Ungewissheit oder Zufälligkeit eines Systems dienen.

Die Rényi-Entropie der Ordnung α, wobei α > 0, ist definiert als:

    $H_{\alpha }(X)={\frac {1}{1-\alpha }}\log _{2}{\Bigg\sum _{i=1}^{n}p_{i}^{\alpha }{\Bigg )}$

Hierbei ist X eine Zufallsvariable mit Wertebereich ${x_1,$ $x_2$ ... $x_n}$ und $p_i$ die Wahrscheinlichkeit, dass $X=x_i.$ Wenn die Wahrscheinlichkeiten $p_i$ alle gleich sind, dann ist $H_α(X)=log_2$ n, unabhängig von α. Andernfalls sind die Entropien monoton fallend als eine Funktion von α.

Hier einige Einzelfälle:

    $H_{0}(X)=\log _{2}n=\log _{2}|X|,\,$

welche der Logarithmus der Mächtigkeit von X ist, der manchmal auch die „Hartley-Entropie“ von X genannt wird.

Nähert sich die Grenze von $\alpha$ gegen 1 (L’Hospital) so ergibt sich:

    $H_{1}(X)=-\sum _{i=1}^{n}p_{i}\log _{2}p_{i}$

das der „Shannon-Entropie/Informationsentropie“ entspricht.

Weiter

    $H_{2}(X)=-\log _{2}\sum _{i=1}^{n}p_{i}^{2}$

das der „Korrelationsentropie“ entspricht. Der Grenzwert von $H_{\alpha }$ für $\alpha \rightarrow \infty$ ist

    $H_{\infty }(X)=-\log _{2}\sup _{i=1..n}p_{i}$

und wird auch Min-Entropie genannt, da es der kleinste Wert von $H_{\alpha }$ ist.

Die Rényi-Entropien sind in der Ökologie und Statistik als Indizes der Vielfältigkeit wichtig. Sie führen auch zu einem Spektrum von Indizes der fraktalen Dimension.

