Трёхэтажный дом № 16 на Пятницкой улице, вытянувшийся вдоль улицы, в XIX веке принадлежал купцам Варгиным. Его основой стал флигель большой купеческой усадьбы XVIII века, принадлежавшей купцу Р. И. Журавлёву. Главный дом был уничтожен пожаром 1812 года, но позже восстановлен с добавлением мезонина. В конце 1820-х годов владение перешло к Варгиным, и в части помещений разместилось мелкое производство.

В записной книжке Н. В. Гоголя за 1846 год упоминается: «Василий Васильевич Варгин, умный купец в Москве». Василий Варгин, самый выдающийся представитель рода Варгиных, родился в 1791 году в крестьянской семье. Его предки занимались вязанием и продажей варежек, называемых варьгами, откуда и пошла фамилия. Василий рано проявил организаторские способности и предпринимательский талант, получив в 16 лет свой первый казённый подряд на поставку холста в армию. Во время войны 1812 года он был одним из основных поставщиков русской армии.

Проблемы начались в 1827 году, когда военного министра Татищева сменил А. И. Чернышёв, который начал преследовать Варгина как протеже Татищева. Василия Васильевича обвинили в растратах и передержке казённых денег. Позже обвинения были сняты, но здоровье его было подорвано. 9 января 1859 года он скончался, не оставив наследников, и его состояние унаследовали братья и племянники.

В 1860-х Яков Васильевич Варгин объединил все строения вдоль красной линии Пятницкой в единый дом, который через десять лет был достроен третьим этажом и стал доходным с торговыми лавками на первом этаже.

Стоит обратить внимание на небольшую арку для пешеходов слева от подворотни дома № 16. Подобных арок в Москве осталось немного.

До недавнего времени под окнами второго этажа находился знак «Крепим оборону СССР», введённый в 1937 году для осоавиахимовских организаций жилых домов. Летом 2012 года знак исчез.

Если войти в подворотню, можно попасть в систему проходных дворов. В правой части двора находится небольшой одноэтажный флигель (дом № 16, строение 6), где в 1857 и 1858 годах снимал квартиру Лев Толстой и написал повесть «Казаки».