Le père de Frost était professeur et plus tard rédacteur en chef du San Francisco Evening Bulletin - LRB- qui, par la suite, a fusionné avec l'examinateur de San Francisco -RRB-, et un candidat non reçu pour la collecte des taxes municipales.
En 1940, il achète un terrain à South Miami, en Floride, le nommant Pencil Pines ; il y passe ses hivers jusqu'à la fin de sa vie.