Née à Miami, en Floride, et instruite à la Pennsylvania Academy of the Fine Arts, Oliver commence sa carrière d'enregistrement sur Capitol Records, avec l'album Make Music, puis se déplace à Atlantic Records pour travailler avec Ahmet Ertegun et Leon Huff.
Elle produit Gladys Knight and the Pips, McFadden and Whitehead et John Lennons band Elephants Memory.