M-Schätzer
# M-Schätzer

M-Schätzer, auch maximum-likelihood-artige Schätzer stellen eine Klasse von Schätzfunktionen dar, die als Verallgemeinerung der Maximum-Likelihood-Methode angesehen werden können. M-Schätzer sind im Vergleich zu anderen Schätzern wie z. B. den Maximum-Likelihood-Schätzern robuster gegen Ausreißer.

Dieser Artikel behandelt M-Schätzer zur Ermittlung des Lageparameters.

## Herleitung durch Verallgemeinerung der Maximum-Likelihood-Methode

Das Prinzip von Maximum-Likelihood-Schätzern beruht darauf, die Funktion

    $\sum _{i=1}^{n}-\ln f_{X_{i}}(x_{i};\Theta )$

mit entsprechender Dichte- bzw. Wahrscheinlichkeitsfunktion $f_{X}(x)$ in Abhängigkeit von $\Theta$ zu minimieren.

Die Idee bei M-Schätzern ist, die Funktion $-\ln f_{X_{i}}(x_{i};\Theta )$ durch eine Funktion $\rho (x;\Theta )$ zu ersetzen, welche weniger empfindlich auf Ausreißer reagiert. Aufgabe ist es, den Ausdruck

    $\sum _{i=1}^{n}\rho (x_{i};\Theta )$

in Abhängigkeit von $\Theta$ zu minimieren, bzw. die Gleichung

    $\sum \psi (x_{i};\Theta )=0$

mit

    $\psi (x_{i};\Theta )={\frac {\partial \rho }{\partial \Theta }}(x_{i};\Theta )$

zu lösen.

Jede Lösung dieser Gleichung wird M-Schätzer genannt.

## Implizite Definition

Sei $F$ eine beliebige Verteilungsfunktion und $\psi$ eine ungerade und monoton wachsende Funktion ungleich 0. Dann ist $\mu _{\psi }(F)$ definiert als die Lösung $\mu =\mu _{\psi }(F)$ der Gleichung

    $\operatorname {E} (\psi (x-\mu ))=\int \psi (x-\mu )dF(x)=0$

Beachtet werden muss, dass abhängig von der Wahl von $\psi$ und $F$ es entweder keine, eine oder mehrere Lösungen geben kann. Im Falle einer konkreten Stichprobe wird $\mu =\mu _{\psi }(F_{n})$, die Lösung von

    ${\frac {1}{n}}\sum _{i=1}^{n}\psi (x_{i}-\mu )=\int \psi (x-\mu )dF_{n}(x)=0$

M-Schätzer genannt.

## Geeignete Funktionen ρ

Im Folgenden sind die $x_{i}$ gemäß

    $z_{i}={\frac {x_{i}-\Theta }{S_{n}}}$

standardisiert, um Skaleninvarianz zu erreichen. $S_{n}$ stellt hierbei einen Streuungschätzer dar, für den meist der MAD (Median Absolute Deviation) verwendet wird.

| Methode | $\rho (z)$ | $\psi (z)$ | $w(z)$ |
| - | - | - | - |
| Kleinste-Quadrate-Methode | $\rho _{LS}(z)={\frac {z^{2}}{2}}$ | $\psi _{LS}(z)=z$ | $w_{LS}(z)=1$ |
| Huber-k-Schätzer | $\rho _{H}(z)={\begin{cases}{\frac {1}{2}}z^{2}&|z|\leqk\\k|z|-{\frac {1}{2}}k^{2}&|z|>k\end{cases}}$ | $\psi _{H}(z)={\begin{cases}z&|z|\leqk\\k\operatorname {sgn} (z)&|z|>k\end{cases}}$ | $w_{H}(z)={\begin{cases}1&|z|\leqk\\{\frac {k}{|z|}}&|z|>k\end{cases}}$ |
| Hampel-Schätzer | $\rho _{Ha}(z)={\begin{cases}{\frac {z^{2}}{2}}&|z|\leqa\\a|z|-{\frac {a^{2}}{2}}&a<|z|\leq b\\ab-{\frac {a^{2}}{2}}+(c-b){\frac {a}{2}}\left(1-\left({\frac {c-|z|}{c-b}}\right)^{2}\right)&b<|z|\leq c\\ab-{\frac {a^{2}}{2}}+(c-b){\frac {a}{2}}&|z|>c\end{cases}}$ | $\psi _{Ha}(z)={\begin{cases}z&|z|\leqa\\a\,\operatorname {sgn} (z)&a<|z|\leq b\\a{\frac {c-|z|}{c-b}}\operatorname {sgn} (z)&b<|z|\leq c\\0&|z|>c\end{cases}}$ | $w_{Ha}(z)={\begin{cases}1&|z|\leqa\\a{\frac {1}{|z|}}&a<|z|\leq b\\a{\frac {c-|z|}{c-b}}{\frac {1}{|z|}}&b<|z|\leq c\\0&|z|>c\end{cases}}$ |
| Andrews wave | $\rho _{Aw}(z)={\begin{cases}{\frac {a^{2}}{\pi ^{2}}}\left(1-\cos \left({\frac {\pi z}{a}}\right)\right)&|z|\leqa\\{\frac {2a^{2}}{\pi ^{2}}}&|z|>a\end{cases}}$ | $\psi _{Aw}(z)={\begin{cases}{\frac {a}{\pi }}\sin \left({\frac {\pi z}{a}}\right)&|z|\leqa\\0&|z|>a\end{cases}}$ | $w_{Aw}(z)={\begin{cases}{\frac {a}{\pi z}}\sin \left({\frac {\pi z}{a}}\right)&|z|\leqa\\0&|z|>a\end{cases}}$ |
| Tukey's biweight | $\rho _{Tb}(z)={\begin{cases}{\frac {a^{2}}{6}}\left(1-\left(1-{\frac {z^{2}}{a^{2}}}\right)^{3}\right)&|z|\leqa\\{\frac {a^{2}}{6}}&|z|>a\end{cases}}$ | $\psi _{Tb}(z)={\begin{cases}z\left(1-{\frac {z^{2}}{a^{2}}}\right)^{2}&|z|\leqa\\0&|z|>a\end{cases}}$ | $w_{Tb}(z)={\begin{cases}\left(1-{\frac {z^{2}}{a^{2}}}\right)^{2}&|z|\leqa\\0&|z|>a\end{cases}}$ |

Die Gewichtsfunktionen im folgenden Bild zeigen die Unterschiede zwischen den Schätzern auf: bei Huber-k haben auch extreme Beobachtungen ein geringes Gewicht, beim Hampel-, Andrews wave- und Tukey's biweight-Schätzer wird extremen Beobachtungen das Gewicht Null zugeordnet.

## Robustheit

Bei geeigneter Wahl von $\psi$ (gerade, beschränkt und monoton steigend) haben M-Schätzer einen Bruchpunkt von $\epsilon ^{*}=0{,}5$.

## Numerische Lösungsmethode

Für viele Funktionen $\rho$ lässt sich keine explizite Lösung angeben, sie muss daher numerisch berechnet werden. Wie üblich zur Berechnung von Nullstellenproblemen bietet sich auch hier das Newton-Raphson-Verfahren an, und es ergibt sich folgende Iterationsvorschrift, wobei wiederum $z_{i}={\frac {x_{i}-\mu }{S_{n}}}$ :

    $\mu _{k+1}=\mu _{k}+{\frac {S_{n}\sum _{i=1}^{n}\psi (z_{i})}{\sum _{i=1}^{n}\psi ^{\prime }(z_{i})}}$

Als geeigneter Startwert $\mu _{0}$ wird meist der Median verwendet. Dieses Iterationsverfahren konvergiert sehr schnell, meist sind zwei bis drei Iterationsschritte ausreichend.

## W-Schätzer

W-Schätzer sind M-Schätzern sehr ähnlich und liefern im Normalfall gleiche Ergebnisse. Der einzige Unterschied liegt in der Lösung des Minimierungsproblems. W-Schätzer werden meist bei der robusten Regression eingesetzt.

Es wird die Wichtungsfunktion

    $w(z)={\frac {\psi (z)}{z}}$

mit

    $\psi (x_{i};\Theta )={\frac {\partial \rho }{\partial \Theta }}(x_{i};\Theta )$

eingeführt, mit deren Hilfe das Minimierungsproblem umgeschrieben werden kann in

    $\sum _{i=1}^{n}z_{i}w(z_{i})=0$

Einsetzen der Definition von $z_{i}$, ausmultiplizieren und umstellen ergibt schließlich über die Fixpunktgleichung

    $\Theta ={\frac {\sum _{i=1}^{n}x_{i}w({\frac {x_{i}-\Theta }{S_{n}}})}{\sum _{i=1}^{n}w({\frac {x_{i}-\Theta }{S_{n}}})}}$

die Iterationsvorschrift

    $\Theta _{t+1}={\frac {\sum _{i=1}^{n}x_{i}w({\frac {x_{i}-\Theta _{t}}{S_{n}}})}{\sum _{i=1}^{n}w({\frac {x_{i}-\Theta _{t}}{S_{n}}})}}$
