Lubbock est le fils de Sir John Lubbock, troisième baronnet, et est élevé dans la maison familiale de High Elms, près de Downe.
Il fut bientôt un visiteur fréquent à Down House, et devint le plus proche des plus jeunes amis de Darwins.