Илья Андреевич Безбородко был известным государственным и военным деятелем конца XVIII века. Он принимал участие в победном сражении при Измаиле вместе с Александром Васильевичем Суворовым, за что получил Анненскую ленту и орден Святого Георгия третьей степени. На коронации императора Павла I граф Безбородко был награжден орденом Александра Невского.

В 1800 году Илья Андреевич ушел в отставку и женился на Анне Ширай. В наследство они получили Гринёво, где граф Безбородко возвел дворцовый комплекс с церковью святой Троицы. Считается, что архитектором дома и церкви мог быть Джакомо Кваренги.

Выбирая место для усадьбы, граф Безбородко остановился на участке у озера. В центре водоема находился плавучий остров с беседкой, до которого можно было добраться только на лодке. Из беседки открывался живописный вид на церковь и дворец. Сейчас ни острова, ни беседки не сохранилось.

В 1828 году усадьба перешла к Голициным. Княгиня Наталья Степановна владела Гринёво и другими Погарскими имениями до своей смерти 7 мая 1890 года. В период владения Безбородко и Голициными усадьбу посещали известные художники, такие как Боровиковский, Кипренский и Брюлов.

Во время Великой Отечественной войны в доме произошел пожар, и усадьба сильно пострадала, оставаясь долгое время в полуразрушенном состоянии. В 60-70-е годы XX века здание было отремонтировано и частично перестроено, в нем разместились клуб, школа и библиотека.

Дом двухэтажный с подвалом. Некоторые двери заколочены, но внутрь можно попасть. Более половины окон отсутствует, деревянные полы в основном разобраны. Лестницы на второй этаж сохранились, но местами обвалился потолок, а подвал завален мусором.

В 100 метрах от усадебного дома находится храм святой Троицы, построенный в 1802 году на месте деревянной церкви. Иконы для храма написал Орест Кипренский. В 1937 году, при советской власти, церковь закрыли и использовали как склад. К концу XX века храм сильно обветшал и разрушался. В 1998 году его вернули православной церкви, и вскоре в нем возобновились богослужения. Со временем удалось собрать средства для реставрации.