Кто именно построил усадебный дом в Полотняном заводе, неизвестно, но предполагается, что это были московские мастера, возможно, ученики Матвея Казакова. Точно не установлено, кто занимался отделкой, но, вероятно, это те же мастера, которые в 1806 и 1808 годах работали над усадьбой Золотаревых в Калуге, так как некоторые росписи почти идентичны.

Усадьба Щепочкина включала небольшой сад, два ткацких корпуса, хозяйственные постройки, каменные амбары, деревянную баню, двухэтажный корпус для работников, каретный сарай, каменную конюшню, оранжерею и две теплицы. На реке Суходрев находилась мыловарня и сушильня. В пруду напротив западного фасада разводили зеркальных карпов.

Восточный фасад здания, обращенный к реке Суходрев, украшен портиком в стиле русского классицизма. Четыре круглые колонны с капителями стоят на мощном фундаменте с тремя арочными пролетами. Медальоны с изображениями античных героев также украшают фасад. Северный и южный фасады оформлены одинаково: две круглые колонны и симметрично расположенные пилястры поддерживают классические балконы.

Через парадный вход с западной стороны можно подняться по деревянной лестнице на второй этаж. Первый этаж использовался для хозяйственных нужд и не имел художественной отделки. На втором этаже находилась парадная анфилада комнат с уникальными росписями потолков. Третий этаж был жилым, с комнатами для хозяев, гостей и детей, туда вела небольшая лестница.

Григорий Иванович Щепочкин и А.А. Гончаров с 1732 года были партнерами Тимофея Карамышева в развитии парусно-полотняного производства в Полотняном Заводе. В 1735 году, после смерти Карамышева, они разделили имущество, и рядом возникли две усадьбы: А.А. Гончарова и Г.И. Щепочкина.

После смерти Г.И. Щепочкина в 1781 году усадьбу унаследовал его сын Павел Григорьевич, который в 1800 году основал бумажную фабрику в деревне Кондырево, купив здание у князя М.П. Волконского. Фабрика перешла по наследству его дочери Елене Павловне Мещериновой, которая продала её в 1853 году англичанину Говарду.

В 1834 году усадьба перешла к другой дочери Павла Григорьевича, Марии Павловне, вышедшей замуж за барона Антона Антоновича Бистрома, генерал-лейтенанта из известной семьи, десять членов которой участвовали в войне в рядах русской армии.

В середине XIX века усадьба перешла к их дочери Александре Антоновне. Она стала второй женой известного хирурга Николая Ивановича Пирогова, и в 1850 году их свадьба состоялась в усадебном доме. После венчания семья Пироговых провела в Полотняном Заводе три недели медового месяца.

В конце XIX века дом был продан купцу Ершову. В 1909 году на третьем этаже открыли школу. Будучи старообрядцем, Ершов сделал это "ради спасения души". После его смерти дом и имение по завещанию получила Александра Прохорова, которая в 1910 году передала наследство мужу Даниилу Семеновичу Прохорову. Школу оставили, а хозяин построил молельню и установил иконостас в большом зале.

Во время Великой Отечественной войны дом Щепочкина не пострадал, хотя немецкие оккупанты устроили на первом этаже конюшню. После освобождения поселка здание привели в порядок. До 2007 года в доме Г.И. Щепочкина находилась средняя школа.

В январе 2008 года дом передали Калужскому областному краеведческому музею, но он до сих пор находится в аварийном состоянии.