После недолгого пребывания в Палаццо Веккьо на площади Синьории герцог Козимо I и его жена Элеонора Толедская приобрели дворец у обанкротившейся купеческой семьи Питти в 1549 году в качестве официальной резиденции Медичи; на протяжении веков он значительно расширялся и украшался.
Элеонора Толедская была дочерью герцога Козимо I.