В 1901 году состоялась свадьба Петра Александровича Ольденбургского и Великой Княгини Ольги Александровны Романовой, сестры Николая II. Для них приобрели поместье, которое позже назвали "Ольгино".

Согласно разным источникам, усадьба первоначально принадлежала либо Чарыковым, либо Алексеевым. Началась перестройка Главного дома, проект которого разработал архитектор Г.В. Войневич, а художник Н.Н. Рубцов участвовал в оформлении. Свитский корпус, Гостевой дом и хозяйственные постройки были возведены по проекту С.С. Кричинского с участием художника С.В. Чехонина. Строительство "новой" усадьбы продолжалось с 1902 по 1907 годы.

Во время Великой Отечественной войны в Главный дом попал снаряд, и в 1959 году на его фундаменте возвели корпус районной больницы. В свитском корпусе разместили родильное отделение, были построены новые здания, добавлены различные статуи и фонтан.

В 2007 году больница переехала в современные здания, и с тех пор усадьба остается пустующей. В одной из служебных построек находится пост охраны, а Гостевой дом принадлежит частным владельцам, в нем живут люди. Усадьба разрушается на глазах.