Probabilistische Klassifikation
# Probabilistische Klassifikation

Bei der probabilistischen Klassifikation sagt ein maschineller Klassifikator zu einer gegebenen Beobachtung eine Wahrscheinlichkeitsverteilung für eine Menge von Klassen vorher, statt beispielsweise nur die wahrscheinlichste Klasse zurückzugeben. Die vorhergesagte Wahrscheinlichkeit kann entweder direkt verwendet oder in ein Ensemble mit Vorhersagen weiterer Modelle kombiniert werden.

## Definition

Ein gewöhnlicher, nicht probabilistischer Klassifikator kann als Funktion betrachtet werden, die einer Beobachtung $x$ ein Klassenlabel ${\hat {y}}$ zuordnet:

    ${\hat {y}}=f(x)$.

Die Beobachtung $x$ stammt aus einer Menge aller möglichen Beobachtungen $X$ (bspw. Dokumente oder Bilder). Die möglichen Labels bilden eine endliche Menge $Y$.

Probabilistische Klassifikatoren beschreiben im Gegensatz dazu eine bedingte Wahrscheinlichkeit $\Pr(Y\vert X)$. Das heißt, sie weisen für eine Beobachtung $x\in X$ jedem möglichen Label $y\in Y$ eine Wahrscheinlichkeit zu, wobei die Summe der Wahrscheinlichkeiten 1 beträgt. Aus dieser Wahrscheinlichkeitsverteilung kann bei Bedarf eine einzelne Klasse gewählt werden, um einen nicht probabilistischen Klassifikator zu erhalten. Optimalerweise wird die Klasse mit der höchsten Wahrscheinlichkeit gewählt, d. $h.:^{:39–40}$

    ${\hat {y}}=\operatorname {\arg \max } _{y}\Pr(Y=y\vert X)$

## Wahrscheinlichkeitskalibrierung

Manche Klassifikationsmodelle haben von Grund auf eine probabilistische Ausgabe, zum Beispiel Naive Bayes, logistische Regression und neuronale Netze mit Softmax-Ausgabe. Allerdings können die vorhergesagten Wahrscheinlichkeiten durch verschiedene Effekte verzerrt sein.

Bei gut kalibrierten Klassifikatoren kann die vorhergesagte Wahrscheinlichkeit einer Klasse direkt interpretiert werden. Von allen Beobachtungen, bei denen der Klassifikator für eine bestimmte Klasse beispielsweise ungefähr eine Wahrscheinlichkeit von 80 Prozent angibt, sollen ungefähr 80 Prozent tatsächlich zu dieser Klasse gehören. Die Kalibrierung kann mithilfe einer Kalibrationskurve untersucht werden. Größere Abweichungen von der Diagonalen deuten auf eine schlechte Kalibrierung hin.

Um die Kalibrierung eines schlecht kalibrierten Modells zu verbessern, können verschiedene Techniken verwendet werden. Im binären Fall sind dies zum Beispiel Platt Scaling, das ein logistisches Regressionsmodell lernt, oder isotonische Regression, die Platt Scaling überlegen ist, wenn ausreichend viele Daten vorhanden sind.

