Le succès de Gaye se poursuit tout au long de 1964.
À la fin de 1964, Gaye enregistre "How Sweet It Is -LRB- To Be Loved By You -RRB- '', qui atteint le sommet des dix meilleurs pop charts américains et devient l'un de ses premiers succès à l'étranger, atteignant les cinquante premiers au Royaume-Uni.