Усадьбу "Хвалевское" спроектировал и построил Николай Александрович Качалов (1818, 1891), который был тайным советником, губернатором Архангельска и руководителем Таможни Российской империи, а также близким соратником царя Александра III. Его супруга, Александра Павловна Долгова-Сабурова, была дочерью Павла Яковлевича, отставного полковника и местного помещика, который передал деревни и земли усадьбы Хвалевское в качестве приданого.

К северу от главного дома находились оранжерея и большой фруктовый сад (сейчас это школьный сад и огород); на востоке располагались партер, формальный сад и спуск к реке Суде; на западе был курдонер и парк с подъездной дорогой к дому (ныне это парк Победы); на юге простирался большой лесопарк.

После революции 1917 года здание усадьбы заняли местные органы Советской власти. В 1919 году здесь открылась первая в районе средняя школа, известная как Борисовская средняя школа (ранее Хвалевская школа). Во время Великой Отечественной войны в усадьбе размещался прифронтовой военный госпиталь.

В 1990-е годы, из-за уменьшения числа учеников, здание усадьбы перестало использоваться, и она начала быстро ветшать и разрушаться.

В 2006 году, на празднование 380-летия Борисово-Судского, совпавшее со 150-летием усадьбы, жители села пригласили прямых потомков Качаловых, а также семьи Тутолминых и Головкиных. Во время этого визита впервые была обсуждена идея восстановления исторической усадьбы. В 2009 году усадьба и прилегающая территория были приобретены прямыми потомками рода Качаловых и Долговых-Сабуровых. В том же году начались восстановительные работы в усадьбе Хвалевское и близлежащей Покровской церкви на Нижней Чужбойке, финансируемые семьей праправнучки Н. А. Качалова (семьей Веры и Юрия Войцеховских-Качаловых) при поддержке местных жителей. Храм был заново освящен на Престольный праздник Покрова в октябре 2010 года.

Основные восстановительные работы усадебного дома были завершены в период с 2009 по 2014 годы. Торжественное освящение дома и домашней часовни состоялось 7 июля 2013 года, а формальное открытие усадьбы прошло в июне 2014 года, в честь 160-летия закладки первого камня.

Теперь усадьба снова стала родовым гнездом, где несколько раз в году собирается большая и дружная семья потомков строителя усадьбы и их друзья. Хвалевское постепенно становится культурным центром региона. Здесь регулярно проводятся занятия художественной школы, благотворительные концерты и спектакли, презентации книг, вручения наград, встречи с интересными людьми, семинары и конференции. Уже несколько лет на усадьбе проходит летний фестиваль "Народный Травник", который привлекает ремесленников и народные коллективы со всей округи. Усадьба Хвалевское также стала традиционной заключительной площадкой фестиваля классической музыки "Музыкальная Экспедиция", который собирает ведущих исполнителей из России и других стран.