Das Anwesen Kolzowo wurde Ende des 18. Jahrhunderts von General Wasilij Alexandrowitsch Kar gegründet und blieb bis 1814 im Besitz seiner Nachkommen. 1775 erwarb Wasilij Kar auf einer Auktion das kaluzhische Anwesen der Fürsten Golizyn, das Dorf Gorjainowo, wo sich ein hölzernes Herrenhaus befand. Das Anwesen wurde mit großem Aufwand entworfen: ein neues Haus mit zwei breiten Flügeln, die in runden Türmen endeten.

Nach dem Tod von Wasilij Kar baute seine Witwe Maria Sergejewna 1819 die Pokrowskaja-Kirche im Stil des Katharinenbarocks. Nach ihrem Tod ging das Anwesen an ihren Sohn, den Rittmeister Sergej Wasiljewitsch Kar, über. Er benannte Gorjainowo in Sergijewsko um, verlor jedoch 1843 das prächtige Anwesen beim Kartenspiel.

Das Anwesen wurde von Michail Michailowitsch Osorgin erworben, und von der Mitte des 19. Jahrhunderts bis 1918 war seine Geschichte eng mit diesem Namen verbunden. Osorgin, der den Rang eines Stabsrittmeisters hatte, trat 1858 in den Ruhestand und ließ sich in Sergijewsko nieder.

Sein Nachfolger Michail Osorgin II. führte eine Wasserleitung von einer automatischen Pumpe ein, ersetzte die Dampfmaschine durch eine Ölmotor, installierte eine Mühle und eine amerikanische Dreschmaschine und kümmerte sich um die Aufforstung. Im Anwesen entstanden Gewächshäuser und eine Brennerei. 1894 wurde hier die Bruderschaft der heiligen Juliana von Lazarewskaja gegründet, die für ihre guten Taten bekannt war.

1918 waren die Besitzer gezwungen, das Anwesen zu verlassen, woraufhin die Bolschewiki Sergijewsko in Kolzowo umbenannten, zu Ehren des Dichters Alexej Kolzow. 1923 brannte das Hauptbarockhaus nieder.

Von dem prächtigen Anwesen sind nur noch der verlassene Glockenturm der 1819 erbauten Pokrowskaja-Kirche und die kirchliche Schule übrig geblieben, die später umgebaut und als Sanatorium des Kaluzhischen Turbinenwerks genutzt wurde. Heute befindet sich an dieser Stelle ein Erholungsheim.