Parmi ses frères et sœurs aînés, mentionnons John F. Kennedy, Robert F. Kennedy et Eunice Kennedy Shriver.
Il était le frère cadet de l'ancien président John F. Kennedy et du sénateur Robert F. Kennedy, tous deux assassinés, ainsi que Joe Kennedy, qui a été tué pendant la Seconde Guerre mondiale.