Le site du Château de Carisbrooke a peut-être été occupé avant l'époque romaine.
Plus tard, le château est la résidence occasionnelle du gouverneur de l'île de Wight et il devient la résidence de la princesse Béatrice, la plus jeune fille de la reine Victoria, lorsqu'elle est gouverneur.