В разные годы в имении проживали баронесса Дука и Нелидовы, Карамзин (сын писателя) и Клейнмехель. В 1874 году его приобрел Александр Смецкой, чей деревянный дворец сохранился в Макаровке до начала XXI века.

Александр Николаевич был видным промышленником: у него были ситцевая и суконная фабрики в Москве и Костроме, а также запасы красного строевого леса и дела в Воронеже. В Макаровке Смецкой построил крупный винокуренный завод. Главный усадебный дом был памятником архитектуры начала XX века. В деревянном эклектичном здании сочетались элементы модерна и неоклассицизма, а оформление было выполнено в греческом и итальянском стилях. Фасады украшали колонны ионического и тосканского ордеров, а также декор в виде женских масок с растительным орнаментом.

В начале XIX века в Макаровке поселился князь Владимир Ширков с семьей. С 1780 года в селе были свой крепостной театр, хор и симфонический оркестр. Князь был близким другом Михаила Глинки и, по некоторым данным, именно он предложил композитору идею для «Камаринской», а также стал автором стихов к каватине Гориславы «Любви роскошная звезда» и либретто к первой части «Руслана и Людмилы». На это указывают опубликованные письма Глинки к Ширкову, в которых композитор подробно излагал развитие действия и обсуждал детали либретто. Их совместная работа продолжалась и после переезда князя в село.

С мая 1924 года в главном усадебном доме размещался противотуберкулезный санаторий областного значения. В 1999 году все корпуса закрыли на ремонт, который длился несколько лет, но на восстановление главного дома средств не хватило. Усадьба сгорела 24 сентября 2016 года.