Мемориальный музей-гауптвахта был открыт в 1989 году в честь 175-летия со дня рождения Тараса Шевченко. Музей разместился в здании, построенном в 1843 году для нужд инженерного подразделения. Именно здесь в апреле 1851 года находился под арестом известный поэт и художник, задержанный за участие в Кирилло-Мефодиевском братстве.

Экспозиция музея воссоздает типичную обстановку гауптвахты XIX века, включая небольшую камеру арестованного и караульное помещение. На окнах установлены массивные кованые решетки, изображенные на одном из рисунков Шевченко. У входа в гауптвахту с главной улицы стоит реалистичный манекен казака в амуниции той эпохи. В главном зале представлены материалы, подробно освещающие различные этапы жизни Тараса Шевченко. Здесь можно увидеть документы о его пребывании в Орске, участии в Аральской экспедиции, жизни в Оренбурге и семи годах, проведенных на полуострове Мангышлак.

Тарас Шевченко оказался под арестом на гауптвахте из-за нарушения императорского запрета. Николай I запретил ссыльному поэту писать и рисовать, но, вдохновленный участием в научной экспедиции, Шевченко не подчинился и создал несколько портретов жителей Оренбурга.