Kennedy est né et a grandi à Sacramento, en Californie, le fils d'Anthony J. Kennedy, avocat réputé pour son influence à l'Assemblée législative de la Californie, et Gladys McLeod, qui a participé à de nombreuses activités civiques locales.
Kennedy est né à Sacramento, en Californie, le 23 juillet 1936.