Семья Хлудовых, выходцев из Егорьевска, обосновалась в Москве в 1817 году, когда И.И. Хлудов, основатель известного купеческого рода, открыл свою первую мастерскую на Швивой горке. Это стало началом их крупного производства по прядению бумаги.

С течением времени семья разрасталась и расселялась по Москве, а многие адреса, связанные с Хлудовыми, стали известны историкам. В конце XIX века Хлудовы заняли участок на углу Малой Полянки и 1-го Хвостова переулка в северном Замоскворечье. Справочник «Вся Москва» фиксирует этот участок за Хлудовыми с 1901 года.

Усадьба имеет давнюю историю и интересное местоположение. Малую Полянку, вероятно, проложили как продолжение Малой Якиманки, чтобы соединить основные дороги района. Эти дороги расходились у храма Св. Великомучеников Козьмы и Дамиана, который стоял на Большой Полянке и вел на Серпухов, а Большая Якиманка, на Калугу.

Формирование Малой Полянки и Малой Якиманки относится к концу 1770-х годов, когда в Москве проводились крупные градостроительные работы. В 1771 году город пережил «Чумной бунт», а в 1774 году Екатерина II утвердила первый генплан развития Москвы, который предусматривал множество мероприятий, включая создание централизованного водоснабжения.

Трассы 1-го и 2-го Хвостовых переулков напоминают о древнем роде бояр Хвостовых. Застройка участка, вероятно, связана с «Прожектерским планом», который рекомендовал скруглять углы зданий для удобства. К таким зданиям относится двухэтажный дом на Малой Полянке, 7.

Современный облик фасадов здания относится к 1860-м годам, когда проводились строительные работы. Фасад сохранил композицию конца XVIII века, дополненную интересными деталями, такими как коринфские пилястры и сложный тимпан.

Перед Первой мировой войной, в 1914 году, на участке был построен Доходный дом по проекту архитектора В.В. Шервуда-младшего. В этом доме с 1915 по 1922 год жил И.С. Шмелев.

В Кухонном корпусе усадьбы проводится поддерживающий ремонт и работы по адаптации для современного использования.