Coleridge-Taylor est né à Holborn, Londres, d'un père sierra-léonais créole, Daniel Peter Hughes Taylor, et d'une mère anglaise, Alice Hare Martin.
Ses parents ne voulaient pas qu'elle soit mariée à une personne de race mixte.