Benjamin était un petit-fils du président William Henry Harrison et un arrière-petit-fils du chef révolutionnaire et ancien gouverneur de la Virginie, Benjamin Harrison V. Calhoun, pp.
Il était le grand-fils de William Henry Harrison.