W uproszczeniu, startując z arbitralnie dobranego wektora wag, obliczany jest wektor gradientu funkcji błędu i jako nowy wektor wag przyjmowany jest wektor znajdujący się na półprostej wyprowadzonej w kierunku przeciwnym do gradientu.