Ze względu na to, że funkcję softmax stosuje się najczęściej jako warstwę poprzedzającą obliczanie entropii krzyżowej, będącej funkcją kosztu, w praktyce często wyznacza się wspólny gradient dla tych dwóch warstw.