Поселок Полотняный Завод обладает богатой историей. В начале XVIII века Тимофей Филатов-Карамышев основал здесь одну из первых в России полотняных фабрик. 16 декабря 1775 года село посетила императрица Екатерина II. В 1812 году, после Малоярославецкого сражения, здесь располагалась главная квартира Кутузова. В 30-х годах XIX века село, являвшееся усадьбой Гончаровых, неоднократно посещал А.С. Пушкин.

В 1736 году А.А. Гончаров начал капитальное строительство своей усадьбы. В период с 1736 по 1741 годы на месте старой деревянной церкви была возведена новая каменная церковь Спаса Преображения с колокольней и двумя приделами: Иоанна Златоуста и Афанасия Великого. Деревянная церковь была перенесена в деревню Товарково. При храме работала церковноприходская школа.

Также были построены Спасские ворота в стиле петровского барокко, которые служили парадным въездом в усадьбу и одновременно церковными воротами. Вероятно, в это же время появилась высокая каменная стена к востоку от ворот, огораживающая церковный погост. Основные сооружения выполнены в стиле петровского барокко.

В январе 1784 года скончался А.А. Гончаров, и его похоронили в усыпальнице, пристроенной к церкви, гробница была из белого мрамора. В 1785 году усадьба перешла к его внуку Афанасию Николаевичу.

Известно, что знаменитый хирург Николай Иванович Пирогов и Александра Бистром, потомок Г. Щепочкина, сыграли свадьбу в Полотняном Заводе. Венчание состоялось 7/20 июня 1850 года в храме Преображения Господня в усадьбе Гончаровых.

Известны имена настоятелей храма с конца XIX века. До 1863 года им был священник Георгий Лебедев, в 1863-1875 годах, священник Василий Георгиевич Лебедев, в 1875-1890 годах, священник Иосиф Самуилович Спасский, в 1893-1894 годах, священник Николай Васильевский, в 1894-1911 годах, священник Михаил Демидов. В 1911 году настоятелем стал протоиерей Василий Иванов, который за время службы обратил из раскола более 100 человек. Он был арестован в 1929 году вместе со священником Василием Страховым и церковным старостой Николаем Николаевичем Сычевым. Приговор был вынесен 18 января 1930 года: о. Василий Иванов получил пять лет ссылки, о. Василий Страхов, десять лет лишения свободы, Николай Николаевич, пять лет лишения свободы.

17 августа 1932 года тройкой ПП ОГПУ были осуждены две монахини: Екатерина Ефремовна Авдеева получила десять лет исправительно-трудовых лагерей, а Пелагея Сергеевна Соколова, три года ссылки.

После национализации усадьбы в 1921 году церковь с колокольней и усыпальницей Гончаровых была разрушена, а Красный дом сгорел.

Во время войны 1941-1945 годов после пожара от дома Гончаровых остались только каменные стены, и парк сильно пострадал. В настоящее время все видовые точки сохранились, но панорамы, открывающиеся с них, изменились. Главное изменение, утрата основной высотной доминанты, церкви Спаса с колокольней.