Bà Rịa - Vũng Tàu có một đơn vị hành chính hải đảo là huyện Côn Đảo. Đây là quần đảo, cách thành phố Vũng Tàu 97 hải lý và cách sông Hậu 45 hải lý, gồm 16 hòn đảo với tổng diện tích 76 km2.

Côn Đảo hay Côn Sơn cũng hay dùng cho tên của hòn đảo lớn nhất trong quần đảo này. Sử Việt trước thế kỷ 20 thường gọi nơi này là đảo Côn Lôn hoặc Côn Nôn. Tên gọi cũ trong các văn bản tiếng Anh và tiếng Pháp là Poulo Condor.

Theo tài liệu cổ, tên địa danh này có nguồn gốc Mã Lai từ chữ "Pulau Kundur" nghĩa là "Hòn Bí".  Năm 1977, Quốc hội Việt Nam quyết định tên gọi chính thức là Côn Đảo.

Thời điểm mới được khai phá, Côn Đảo thuộc tỉnh Hà Tiên (nay là Kiên Giang). Dưới thời chính quyền Ngô Đình Diệm, Côn Đảo là một tỉnh. Ngày 1/5/1975, quân Mặt trận Dân tộc Giải phóng miền Nam Việt Nam tiếp quản Côn Đảo. Đến tháng 9/1976, tỉnh Côn Đảo bị giải thể, chuyển thành huyện Côn Đảo thuộc TP HCM. Tháng 1/1977, hải đảo này trở thành một huyện thuộc tỉnh Hậu Giang. 

Tháng 5/1979, Côn Đảo trở thành quận thuộc đặc khu Vũng Tàu-Côn Đảo. Địa phương này chính thức là huyện đảo thuộc tỉnh Bà Rịa - Vũng Tàu từ tháng 10/1991.