Nhà tù Sơn La do thực dân Pháp xây dựng vào năm 1908.

Theo cổng thông tin điện tử thành phố Sơn La, đầu năm 1908, thực dân Pháp cho xây dựng nhà tù Sơn La trên đồi Khau Cả. Nhà tù chủ yếu giam giữ tù thường phạm, thiết kế ban đầu chỉ có 1.217m2. 
Năm 1930, Đảng Cộng sản Việt Nam ra đời đã lãnh đạo nhân dân ta vùng lên đấu tranh, tiến tới lật đổ ách thống trị của chế độ thực dân, phong kiến. Cách mạng làm cho kẻ địch bất ngờ, một mặt chúng tìm mọi cách đàn áp, hòng dập tắt các phong trào cách mạng đang sục sôi trong quần chúng, mặt khác chúng cho xây dựng, mở rộng hệ thống nhà tù trên lãnh thổ Việt Nam để uy hiếp tinh thần đấu tranh của nhân dân ta.
Nhà tù Sơn La lúc này được mở rộng thêm gần 1.000m2 nữa, đổi tên thành Ngục Sơn La và trở thành một “Địa ngục trần gian” để giam cầm, đầy ải, giết dần, giết mòn tù nhân chính trị và những người Việt Nam yêu nước.