Nhà ngục được Pháp xây dựng năm 1930, nằm ở phía bắc sông Đắk Bla, thuộc địa phận tổng Tân Hương, tỉnh Kon Tum (nay là thành phố Kon Tum). Tại Ngục Kon Tum, tháng 9/1930, chi bộ Đảng Cộng sản đầu tiên của tỉnh Kon Tum được thành lập, do đồng chí Ngô Đức Đệ làm bí thư. Ngục Kon Tum là nơi giam giữ tù chính trị bị địch đưa từ Nghệ An, Hà Tĩnh, Thừa Thiên - Huế về, đồng thời cũng là nơi cung cấp nhân công khai phá miền cao nguyên, mở đường 14. Tại Ngục Kon Tum đã từng nổ ra nhiều cuộc biểu tình của các chiến sĩ cộng sản, điển hình là cuộc biểu tình 12/12/1931 để phản đối việc bắt tù nhân đi làm đường ở Đắk Pok trong điều kiện vô cùng cực khổ. Cuộc biểu tình đã bị đàn áp làm 8 người chết, 8 người bị thương. Đến 16/12/1931, cuộc biểu tình chuyển sang biểu tình tuyệt thực. Để che đậy chính sách vô nhân đạo và tẩy sạch dấu vết cuộc đấu tranh của các chiến sĩ cách mạng, tháng 12/1935, nhà ngục được lệnh đóng cửa. Ngày 16/11/1988, được công nhận là di tích lịch sử.