Усадьба принадлежала дворянской семье Веневитиновых. Здесь провел свое детство будущий русский поэт и философ XIX века Дмитрий Веневитинов, который был четвероюродным братом А.С. Пушкина и стал прототипом Владимира Ленского в «Евгении Онегине». Дом сочетал в себе конструктивные и декоративные элементы барокко и классицизма. Его общий вид был близок к современному: вытянутое здание с балконом на главном фасаде. С северной стороны сохранилась часть антресоли, откуда поэт, вероятно, любовался видом на парк, фруктовые сады и реку Дон.

С усадьбой связаны и другие известные личности, такие как историк и археолог Михаил Веневитинов, племянник Дмитрия Веневитинова, а также английская писательница и композитор Этель Лилиан Войнич, автор знаменитого романа «Овод». Она работала в семье Веневитиновых с 1887 года в течение двух лет в качестве гувернантки и преподавателя музыки и английского языка.

После революции 1917 года последний владелец усадьбы, Алексей Владимирович Веневитинов, с семьей покинул Россию и через Константинополь перебрался в Англию. Мебель, посуда, картины и предметы быта из усадьбы были распределены по различным советским учреждениям Воронежа. В 1939 году в здании разместили детский дом, где жили дети из Испании и сироты. В первые месяцы Великой Отечественной войны в усадьбе находилась воинская часть. С 1943 по 1979 год в главном доме усадьбы располагалась сельская школа. Реставрационные работы начались только в 1988 году.