Zu Zeiten von Katharina II gehörten die Ländereien um die Stadt Pochep, wie auch die Stadt selbst, zu den umfangreichen Besitztümern des ehemaligen Hetmans von Kleinrussland, Kirill Razumovsky, und seines Sohnes Alexei. Das kleine Herrenhaus, das als "Jagdschloss" bezeichnet wurde, diente Graf Razumovsky als Erholungsort während der Jagd. Die genauen Umstände seines Baues und der Name des Architekten sind unbekannt.

Alexei Razumovsky hinterließ die Gemeinde Krasnoryg seinen unehelichen Kindern, die den Nachnamen Perovsky trugen, Lew und Wasilij. Im Jahr 1825 ließ sich ihr Bruder Alexei, ein bekannter Schriftsteller, der unter dem Pseudonym "Antonij Pogorel'skij" veröffentlichte, in den Anwesen Krasny Rog und Pogorel'tsy nieder. Nach der Trennung von ihrem Ehemann kam seine Schwester, Gräfin Anna Tolstaja, hierher, um ihren kleinen Sohn zu erziehen. Nach dem Tod ihres Bruders im Jahr 1837 wurde sie die rechtmäßige Besitzerin von Krasny Rog.

Der Sohn von Anna Alexejewna, Alexei Konstantinowitsch Tolstoi, setzte die literarischen Traditionen seines Onkels fort, der hier die fantastische Erzählung "Der Doppelgänger oder meine Abende in Kleinrussland" schrieb. 1841 veröffentlichte er unter dem Pseudonym Krasnoryg die Erzählung "Der Vampir", in der Vampire beschrieben werden, die sich in einem Adelsanwesen niedergelassen haben.

Aufgrund der schwierigen Beziehungen zu seiner Mutter ließ sich Tolstoi in der Nähe von Petersburg in einem Anwesen namens "Pustyn'ka" nieder. Nach dem Tod seiner Mutter und seinem Rücktritt im Jahr 1861 zog er nach Krasny Rog, wo er an Gedichten und Dramen zu historischen Themen arbeitete.

Im Jahr 1875 starb Alexei Konstantinowitsch Tolstoi, der unter starken Kopfschmerzen litt, in Krasny Rog an einer Morphiumüberdosis und wurde in der örtlichen Kirche beigesetzt. Seine Witwe Sofja Andrejewna kehrte in die Hauptstadt zurück, und zwei Jahre später, im Juni, besuchte der Philosoph W. S. Solowjow das leerstehende Anwesen.

Von den Gebäuden des Anwesens sind nur das Flügelgebäude und das Wirtschaftsgebäude erhalten geblieben. Die anderen Gebäude, wie das Gärtnerhaus und die Wachhütte, wurden von den Erben nach dem Tod Tolstois errichtet. Das "Jagdschloss" brannte in der Nacht zum 1. Januar 1942 nieder.

Das literarisch-memoriale Museum A.K. Tolstoi wurde am 3. September 1967 im erhaltenen Flügel des Anwesens eröffnet, und 1972 wurde in der Nähe ein Büste des Dichters aufgestellt. Die Ausstellung des Museums umfasst persönliche Gegenstände Tolstois, Alltagsgegenstände seiner Zeit, Kopien von Porträts seiner Bekannten und alte Bücher. Seit der Eröffnung veranstaltet das Museum jährlich am letzten Sonntag im August in Krasny Rog den regionalen Poesietag "Silberne Lyra".

Das Projekt zur Wiederherstellung des Hauptgebäudes des Anwesens wurde in den 1960er Jahren vom Brjansk-Architekten W. N. Gorodkow entwickelt, jedoch erst zwischen 1988 und 1993 mit Unterstützung des Schriftstellers N. M. Gribatschow umgesetzt.

Im Jahr 2014 stellte das Kulturministerium 40 Millionen Rubel für die Wiederherstellung des ursprünglichen Interieurs des Museums-Anwesens zur Verfügung. Ein Teil der Objekte aus dem 19. Jahrhundert wird aus privaten Sammlungen aufgekauft, und das teuerste Stück könnte ein Schrank im Wert von 2 Millionen Rubel werden. Die Direktorin Elena Lovjago bemerkte, dass die genaue Einrichtung des Hauses des Schriftstellers unbekannt ist, weshalb das Museum sich an dem typischen Erscheinungsbild eines Adelsanwesens jener Zeit orientiert.

Im Jahr 2017 wird alle Möbel aus dem Anwesen zur Restaurierung geschickt, im Vorfeld des Jubiläums von A.K. Tolstoi.