Населённый пункт Полотняный Завод возник благодаря основанию парусно-полотняного завода в 1718 году по указу Петра I. Его основал калужский купец Тимофей Филатов-Карамышев. В 1720 году он совместно с Афанасием Абрамовичем Гончаровым, который был прапрадедом жены А.С. Пушкина, открыл бумажную фабрику.

В 1735 году завод стал собственностью семьи Гончаровых. Александр Сергеевич Пушкин посещал это место в 1830 и 1834 годах. Усадьба Гончаровых была заложена в первой четверти XVIII века при Афанасии Абрамовиче Гончарове. Здесь были построены главный усадебный дом, корпуса фабрик, церковь Спаса Преображения, Конный двор и Спасские ворота.

В 1775 году Екатерина Великая посетила Полотняный Завод, который к тому времени стал одним из самых современных производств. Главный дом усадьбы, построенный при Афанасии Абрамовиче, представлял собой красный дворец с белым барочным декором. Архитектор неизвестен, но некоторые исследователи предполагают, что это мог быть Б. Растрелли. В 1777 году дом был перестроен по проекту К.И. Бланка в стиле конца XVIII века.

После смерти А.А. Гончарова в 1785 году усадьба перешла к его сыну Николаю Афанасьевичу Гончарову и Афанасию Николаевичу Гончарову, деду Натальи Гончаровой. Наследники не были столь предприимчивы, как их предшественник, но вынуждены были вкладывать значительные средства в поддержание усадьбы.

Строительство господского дома продолжалось: в 1787 году добавили третий этаж, а в 1792 году 14 комнат второго этажа были украшены росписью и лепниной. В 1811 году в Большой гостиной было сделано новое перекрытие, а фасад приобрел классическую отделку. В этих работах участвовали мастера, которые расписывали усадьбу Золотарёва в Калуге и дом Щепочкина в Полотняном Заводе.

С 15 по 17 октября 1812 года, после Малоярославецкого сражения, в усадьбе находилась главная квартира русской армии и ставка Михаила Илларионовича Кутузова. С 1832 по 1860 год усадьбой владел Дмитрий Николаевич Гончаров, внук Афанасия Николаевича Гончарова, затем она перешла к его сыну Дмитрию Дмитриевичу Гончарову.

К началу XX века усадьба Гончаровых в Полотняном Заводе пришла в упадок. Последней владелицей стала актриса Вера Константиновна Гончарова, вдова Д.Д. Гончарова.

В 1920-1940 годы Полотняный Завод понёс значительные разрушения. В 1919 году была уничтожена домовая Спасо-Преображенская церковь, вскрыт фамильный склеп Гончаровых. В 1960-е годы на месте храма построили столовую. До войны в усадебном доме размещалась школа и курсы повышения квалификации работников писчебумажной промышленности. В первый день оккупации Полотняного Завода немцами в Великую Отечественную войну усадебный дом сгорел, остались только стены.

Реставрация началась в 1972 году под руководством архитектора В.А. Жилиной, праправнучки С.Н. Гончарова, младшего брата Натальи Гончаровой. В июне 1999 года, к 200-летию со дня рождения Пушкина, историко-архитектурный и природный музей-усадьба «Полотняный Завод» был открыт для посетителей.