Во времена правления Екатерины II земли вокруг города Почеп, как и сам город, входили в обширные владения бывшего малороссийского гетмана Кирилла Разумовского и его сына Алексея. Небольшой усадебный дом, который называли «охотничьим замком», служил графу Разумовскому местом отдыха во время охоты. Точные обстоятельства его строительства и имя архитектора остаются неизвестными.

Алексей Разумовский оставил Краснорогскую волость своим детям, рожденным вне брака и носившим фамилию Перовских, Льву и Василию. В 1825 году в усадьбах Красный Рог и Погорельцы поселился их брат Алексей, известный писатель, публиковавшийся под псевдонимом «Антоний Погорельский». После разрыва с мужем сюда приехала его сестра, графиня Анна Толстая, чтобы воспитывать маленького сына. После смерти брата в 1837 году она стала полноправной хозяйкой Красного Рога.

Сын Анны Алексеевны, Алексей Константинович Толстой, продолжил литературные традиции своего дяди, написавшего здесь фантастическую повесть «Двойник, или мои вечера в Малороссии». В 1841 году он опубликовал под псевдонимом Краснорогский повесть «Упырь», где описываются вампиры, обосновавшиеся в дворянской усадьбе.

Из-за сложных отношений с матерью Толстой обосновался недалеко от Петербурга в имении под названием «Пустынька». После смерти матери и выхода в отставку в 1861 году он переехал в Красный Рог, где работал над поэмами и драмами на исторические темы.

В 1875 году Алексей Константинович Толстой, страдавший от сильных головных болей, скончался в Красном Роге от передозировки морфия и был похоронен в местной церкви. Его вдова Софья Андреевна вернулась в столицу, а через два года, в июне, в пустующем имении побывал философ В. С. Соловьёв.

Из построек усадьбы сохранились только флигель и домик хозяйственного двора. Остальные здания, такие как домик садовника и сторожка, были возведены наследниками после смерти Толстого. Сам «охотничий замок» сгорел в ночь на 1 января 1942 года.

Литературно-мемориальный музей А. К. Толстого был открыт 3 сентября 1967 года в сохранившемся флигеле усадьбы, а в 1972 году рядом с ним установили бюст поэта. Экспозиция музея включает личные вещи Толстого, предметы быта его времени, копии портретов его знакомых и старинные книги. С момента открытия музей ежегодно проводит в Красном Роге областной день поэзии «Серебряная лира» в последнее воскресенье августа.

Проект восстановления главного дома усадьбы был разработан брянским архитектором В. Н. Городковым в 1960-е годы, но реализован только в 1988-1993 годах при поддержке писателя Н. М. Грибачёва.

В 2014 году Министерство культуры выделило 40 миллионов рублей на воссоздание оригинального интерьера музея-усадьбы. Часть предметов XIX века будет выкуплена из частных коллекций, а самым дорогим приобретением может стать шкаф стоимостью 2 миллиона рублей. Директор Елена Ловяго отметила, что точная обстановка дома писателя неизвестна, поэтому музей ориентируется на типичный облик дворянской усадьбы того времени.

В 2017 году вся мебель из усадьбы будет отправлена на реставрацию в преддверии юбилея А. К. Толстого.