Resilient Propagation
# Resilient Propagation

Resilient Backpropagation (Rprop) bzw. elastische Fortpflanzung ist ein iteratives Verfahren zur Bestimmung des Minimums der Fehlerfunktion in einem neuronalen Netz. Der Algorithmus wird manchmal der Gruppe Lernverfahren zweiter Ordnung zugerechnet, da in die Bestimmung der aktuellen Gewichtsänderung die letzte Gewichtsänderung mit einbezogen wird. Das Gewicht wird hierbei nur nach dem Vorzeichen des Gradienten geändert. Mit einem gewichtsindividuellen Parameter $\gamma$ wird die Schrittweite bestimmt. Die Gewichtsänderung wird in zwei Schritten durchgeführt. Erster Schritt: Für jedes Gewicht wird der Änderungsparameter $\gamma$ für die k-te Iteration wie folgt bestimmt:

    $\gamma _{ij}^{(k+1)}={\begin{cases}\min \left(\gamma _{ij}^{(k)}\,\cdot \eta ^{+},\gamma _{\mathrm {max} }\right)&{\text{falls}}\ \nabla _{ij}\,E^{(k)}\,\cdot \,\nabla _{ij}\,E^{(k-1)}>0\\\max \left(\gamma _{ij}^{(k)}\,\cdot \eta ^{-},\gamma _{\mathrm {min} }\right)&{\text{falls}}\ \nabla _{ij}\,E^{(k)}\,\cdot \,\nabla _{ij}\,E^{(k-1)}<0\\\gamma _{ij}^{(k)}&{\text{sonst}}\end{cases}}$

mit $0<\eta ^{-}<1<\eta ^{+}$

Schrittweite und maximale Schrittweite für einen Vorwärtsschritt bzw. einen Rückwärtsschritt werden mit den Parametern $\eta ^{+},\eta ^{-},\gamma _{\mathrm {min} },\gamma _{\mathrm {max} }$ festgelegt. Gute Werte für die Parameter sind: $\eta ^{+}=1{,}2\,,\,\eta ^{-}=0{,}5\,,\,\gamma _{\mathrm {max} }=50\,,\,\gamma _{\mathrm {min} }=10^{-6}$

Im zweiten Schritt wird die Änderung der Gewichte der k-ten Iteration bestimmt:

    $w_{ij}^{(k+1)}=w_{ij}^{(k)}+\Delta \,w_{ij}^{(k)}$

mit

    $\Delta \,w_{ij}^{(k)}=-\gamma _{ij}^{(k)}\operatorname {sgn} \left(\nabla _{ij}\,E^{(k)}\right)$

Dabei ist $w_{ij}$ das Gewicht des Neurons j für den Eingang i und E die Summe der Fehler.

Der Rprop-Algorithmus konvergiert im Allgemeinen schneller als die Fehlerrückführung (engl. backpropagation), jedoch kann es aufgrund der Unstetigkeitsstelle am Minimum der lokalen Approximation zum Überspringen des Extremums kommen.

Die Veröffentlichung erfolgte 1992 durch Martin Riedmiller und Heinrich Braun in ihrer Arbeit „Rprop - A Fast Adaptive Learning Algorithm“ vorgestellt.

Christian Igel und Michael Hüsken schlugen 2003 eine leichte Modifikation des Algorithmus vor, die eine Stabilität und Geschwindigkeit erhöht. Durch weitere von Aristoklis D. Anastasiadis et al. (2005) beschriebenen Veränderungen kann die globale Konvergenz des Verfahrens bewiesen werden.

