Przykładem takiej modyfikacji jest dodanie do algorytmu momentu bezwładności, który pozwala na branie pod uwagę nie tylko gradientu z rozważanego obecnie kroku treningu, ale także gradientu z poprzednich kroków.