Дом № 12, строение 1 на Пятницкой улице, это сохранившийся флигель бывшей городской усадьбы. Ранее она включала главный дом, расположенный в глубине двора, и два флигеля, построенных в конце XVIII века и выходивших торцами на красную линию Пятницкой. В пожаре 1812 года флигели пострадали незначительно и были полностью восстановлены через пять лет, при этом их размеры немного увеличились. В 1820-е годы, следуя моде ампира, владелец усадьбы, серпуховской купец В.В. Варгин, надстроил флигели деревянными мезонинами. В 1845 году новый хозяин Б.В. Варгин добавил к зданию небольшой объем, выдвинутый по новой красной линии улицы, что создало заметный уступ на фасаде.

В середине XIX века на первом этаже флигеля располагались пять комнат и две кухни, а в мезонине, еще одно жилое помещение. В 1871 году Д.И. Варгин продал усадьбу Е.А. Барановой, потомственной почетной гражданке. С 1885 года некоторые помещения сдавались под лавки, и в 1900 году часть флигеля занимали лавки купца Козырева, торговавшего лампадным маслом. В 1907 году, в связи с изменением красной линии улицы, был снесен второй флигель, стоявший справа, и вместо него построили каменную ограду с кованой решеткой, что изменило классическую композицию усадьбы. За четыре года до революции на месте деревянных пристроек к западной части здания возвели каменный объем квадратной формы.

В 1920-е годы все строения усадьбы были переоборудованы под коммунальные квартиры. Главный дом (Пятницкая улица, 12, строение 2) надстроили четырьмя этажами. В советское время здание было отреставрировано, и его украшения были частично восстановлены.

В 1985 году во флигеле открылся филиал музея Л.Н. Толстого. Существует мнение, что Толстой снимал этот дом осенью 1857 года, но документальных подтверждений этому нет. Известно, что он арендовал одно из строений усадьбы Варгиных, но это был другой дом, откуда открывался вид на церковь Параскевы Пятницы. Сегодня в Толстовском центре на Пятницкой улице проходят выставки, детские программы, встречи с деятелями культуры и концерты. Флигель сохранился без значительных изменений и является примером купеческой усадьбы XIX века.