Усадьба в Губарёво, сохранившаяся до наших дней, расположена в южной части села и принадлежала дворянскому роду Лосевых. В 1780 году господский дом был еще деревянным. В начале XIX века главным лицом усадьбы стал гвардии поручик Иван Иванович Лосев, который родился около 1790 года и умер в 1841 году, будучи похороненным в этом же селе.

К сожалению, об усадебной жизни Лосевых сохранилось очень мало сведений. Исключением является портрет И.И. Лосева, который хранится в Областном художественном музее имени И.Н. Крамского.

Именно при Иване Ивановиче Лосеве, а возможно, и при его родителях, в начале XIX века был построен великолепный двухэтажный кирпичный дом в стиле ампир. Он был обращен к живописной пойме реки Ведуга, и его юго-западный фасад воплощал все великолепие русского дворянского быта и зрелого классицизма. Четырехколонный портик второго этажа опирался на изящную аркаду, поддерживающую балкон, и завершался треугольным фронтоном. Архитектура дома напоминает дом дворян Тулиновых в Воронеже, но усадьба Лосевых более свободна и импозантна, с широкой аркой в треугольном фронтоне. В центре композиции, над балконом, расположено большое полуциркульное окно. Перед портиком находилась арка в виде грота, вероятно, из природного камня Чернышовой горы. Две лестницы, поднимаясь по арке, соединялись в один марш, ведущий на балкон. Парковая зона соединяла природу и архитектуру: на плато устроили каменный грот, а парк террасами спускался к реке, оставляя в ландшафте большие камни. Плато украсили липами, кустарником и цветниками.

План Губарева, найденный в РГАДА, относится к 1856 году и показывает усадьбу на нынешнем месте с кирпичным домом и флигелями. В то время владельцами были уже не Лосевы, а Сомовы, наследники поручика Михаила Николаевича Сомова.

Афанасий Николаевич Сомов, родившийся в 1823 году и умерший в 1899 году, оставил след в истории, в его честь названа железнодорожная станция Сомово в Воронеже. В 1859 и 1868 годах он был губернским предводителем дворянства и первым председателем губернской земской управы. Усадьба сохранила планировку и постройки XIX века. Въездная дорога, украшенная сиренью, ведет от сельской церкви и превращается в главную аллею. Справа расположена парадная зона с главным домом и парком, слева, хозяйственная зона с двумя флигелями и садом.

После Гражданской войны в усадьбе разместили сельскохозяйственную станцию. В довоенное время, судя по фотографиям 1920-1930-х годов, главный дом сохранял архитектурное великолепие. Однако после войны, когда в доме разместилась школа и его неоднократно ремонтировали, особняк лишился портика с балконом. Дворовый фасад сохранился лучше, выделяясь пилястрами и треугольным фронтоном. На главном фасаде остались пилястры и некоторые детали, включая архивольт, обозначающий место уничтоженного окна. Эти остатки декора подчеркивают небрежность ремонтников и вызывают желание восстановить здание. С 1994 года оно находится под государственной охраной, а с 1995 года имеет статус памятника архитектуры федерального значения.

Надежд на полноценную реставрацию дома и усадьбы остается все меньше. В 2015-2016 годах здание школы в Губарёво постигла та же участь, что и школы-усадьбы в Терновом и Раздолье. Школы больше нет. Новые владельцы позаботились о сохранности имущества, заменив кровлю и огородив территорию забором. Однако строители снова повредили декор, накрыв кровлей верхние части карнизов. Тем не менее, хорошо, что памятник нашел применение и не превратится в руины.