Усадьба Кольцово была основана в конце XVIII века генералом Василием Александровичем Каром и оставалась в собственности его наследников до 1814 года. В 1775 году Василий Кар приобрел на аукционе калужское имение князей Голицыных, сельцо Горяиново, где находился деревянный господский дом. Усадьба была спроектирована с размахом: новый дом с двумя широкими крыльями, заканчивающимися круглыми башнями.

После смерти Василия Кара его вдова Мария Сергеевна в 1819 году построила Покровскую церковь в стиле екатерининского барокко. После её смерти имение перешло к её сыну, ротмистру Сергею Васильевичу Кару. Он первым делом переименовал Горяиново в Сергиевское, однако в 1843 году проиграл великолепное имение в карты.

Усадьбу приобрел Михаил Михайлович Осоргин, и с середины XIX века до 1918 года её история была тесно связана с этой фамилией. Осоргин, имея чин штаб-ротмистра, вышел в отставку в 1858 году и поселился в Сергиевском.

Его наследник Михаил Осоргин Второй провел водопровод от автоматического насоса-тарана, заменил паровую машину на нефтяную, установил мельницу и американскую молотилку, занимался посадкой леса. В поместье появились теплицы и винокуренный завод. В 1894 году здесь было основано братство праведной Иулиании Лазаревской, известной своими добрыми делами.

В 1918 году владельцы были вынуждены покинуть усадьбу, после чего большевики переименовали Сергиевское в Кольцово в честь поэта Алексея Кольцова. В 1923 году главный барский дом сгорел.

От роскошной усадьбы остались лишь заброшенная колокольня Покровской церкви, построенной в 1819 году, и церковно-приходская школа, которая позже была перестроена и использовалась как санаторий Калужского турбинного завода. Сейчас на этом месте находится дом отдыха.