Douglass et Anna avaient cinq enfants : Rosetta Douglass, Lewis Henry Douglass, Frederick Douglass, Jr., Charles Remond Douglass et Annie Douglass -LRB- meurent à l'âge de dix ans - RRB-.
Il écrit deux livres, Narrative of the Life of Frederick Douglass et My Bondage and My Freedom. Douglass passe plusieurs années en Angleterre et en Irlande.