Nhà tù Sơn La do Thực dân Pháp xây dựng năm 1908 với diện tích ban đầu là 500 m2, chủ yếu để giam cầm tù thường phạm, sau đó Thực dân Pháp đã mở rộng nhà tù Sơn La thêm 1.500m2 vào năm 1930 và 1.700m2 vào năm 1940 để biến nơi đây thành địa ngục để giam cầm tù chính trị.
Cây đào ở nhà tù Sơn La được mang tên Tô Hiệu vào năm 1945 khi cách mạng đã thành công để tượng trưng cho tinh thần đấu tranh cách mạng của một chiến sỹ kiên cường. Sau này một cành của cây đào này đã được chiết và đưa về trồng bên Lăng Bác Hồ.
Bác Tô Hiệu nguyên là Ủy viên Ban Thường vụ Xứ ủy Bắc Kỳ, Bí thư Khu ủy liên tỉnh B (Hải Phòng, Kiến An, Hải Dương, khu mỏ) nên giặc xếp vào phần tử nguy hiểm và biệt giam trong một gian chéo góc của nhà tù Sơn La. Bác phải làm việc khổ sai biệt lập, không được tiếp xúc với ai ngoài lính gác. Điều kiện hà khắc trong tù và bệnh lao hành hạ, Tô Hiệu vẫn hoạt động bí mật và được bầu làm Bí thư chi bộ Nhà tù Sơn La. Trong suốt 4 năm trong nhà ngục Sơn La - “Địa ngục trần gian”, bác đã vận động, cảm hóa được nhiều binh lính ở đây..
Năm 1952, khi thực dân Pháp rút khỏi Sơn La, đã ném bom nhằm xóa đi dấu vết tội ác của chúng, lần 2 vào năm 1965, đế quốc Mỹ đã dánh phá Thị xã Sơn La phá hủy một phần của nhà tù.