Julia elle-même quitte Hazlehurst avec le bébé Robert, mais après quelque deux ans, l'envoie vivre à Memphis avec Dodds, qui a changé son nom pour Charles Spencer.
Né à Hazlehurst, au Mississippi, il est le 11e enfant de sa mère, Julia Major Dodds, et 10e enfant de son père, Charles Dodds.