История усадьбы в Заборовке берет начало в далеком прошлом. В 1708 году эти земли перешли к графу Платону Ивановичу Мусину-Пушкину, известному государственному деятелю, сенатору и послу в Париже и Копенгагене, а также председателю коммерц-коллегии.

После него владельцем поместья стал его сын, граф Иван Платонович, а затем его брат Валентин Платонович Мусин-Пушкин, участник русско-турецкой войны 1768, 1774 годов и главнокомандующий в шведской кампании 1788, 1790 годов. Однако ни отец, ни сын так и не посетили поместье.

В 1804 году земли унаследовал Василий Валентинович Мусин-Пушкин, сын фельдмаршала, который был близок к императорскому двору и активно участвовал в масонской деятельности. С 1812 года он часто бывал в Заборовке, жил в небольшом деревянном доме и лично управлял делами поместья. Он также помогал нуждающимся крестьянам и жертвовал на церковь в селе.

Генерал-майор и князь Иван Алексеевич Гагарин, владелец земель в Нижегородской губернии и друг Мусина-Пушкина по масонской ложе, познакомился в Заборовке с дочерью графа, Прасковьей Васильевной, и женился на ней. У них родились сыновья Николай и Иван, а также дочь Прасковья.

Перед смертью в 1836 году Мусин-Пушкин завещал всё имущество, включая усадьбу, своей жене, актрисе Семеновой. Она продала её семье Гагариных в 1837 году. Строительство нового усадебного комплекса началось еще при жизни Мусина-Пушкина, и князь Гагарин активно участвовал в этом процессе.

В 1870-х годах усадьба была расширена и перестроена. Со стороны пруда появился третий этаж с балконными галереями и колоннами, а со стороны дороги здание оставалось двухэтажным, напоминая роскошный пароход. В таком виде оно сохранилось до наших дней.