В XV веке, при великом князе Иване III, на части территории была основана Пушечная изба, которая после пожара 1488 года стала Московским Пушечным двором. Этот двор, подчинённый Пушкарскому приказу, в 1670 году был переведён на данную территорию и представлял собой конусообразную башню, окружённую высокой стеной. В 1739 году двор переместили, а до 1795 года на его месте находились военный склад и Московское артиллерийское депо. В 1803-1804 годах Пушечный двор был разобран, холм срезан, а улица Рождественка продлилась до современного Театрального проезда. В 1821-1823 годах участок приобрели грузинские цесаревичи Ираклий и Окропир Георгиевичи, построившие там новые здания с церковью Рождества Богородицы.

В конце 1870-х участок купил текстильный фабрикант Г. И. Хлудов. По его заказу архитекторы В. Г. Залесский и П. П. Скоморошенко отремонтировали и расширили строения. Современное здание, выходящее на Театральный проезд, было построено в 1889 году по проекту С. С. Эйбушица и включило в себя здание грузинских цесаревичей. Фасад четырёхэтажного дома, позднее надстроенного, выполнен в эклектичном стиле с элементами классической и барочной архитектуры.

В 1893 году Л. Н. Кекушев построил для Хлудовых ещё одно здание на углу Рождественки и Театрального проезда. Его срезанный угол выделен трёхгранным эркером с порталом на пять этажей. В 1934 году дом был надстроен по проекту С. Е. Чернышёва, а в 2001 году изменён по проекту М. М. Посохина, сохранив формы раннего московского модерна. Оба здания являются важными градоформирующими объектами.

В советское время бани стали называться "Центральными" и работали до начала 1990-х. В 1934 году здание было надстроено двумя этажами. В одном из корпусов разместились "Русско-китайские бани", известные как Хлудовские, с ценами от 5 копеек до 10 рублей за отдельный номер. Интерьеры бань расписал художник А. А. Томашко.

В начале XX века в доходном доме Хлудовых находились московское отделение "Русского общества Шуккерт и К", магазин "Эмиль Бодло и К", книжный магазин И. Фадеева, кинематограф "Экспресс", ресторан "Ялта" и бар "Товарищества Трёхгорного пивного завода". Русское общество любителей фотографии посещали Н. Е. Жуковский, Н. А. Умов и другие. В доме также размещалось Московское отделение Русского технического общества с "Музеем содействия труду", где работали Л. А. Чугаев и другие. Здесь жили актриса М. Ф. Андреева, архитекторы Л. Н. Кекушев и И. В. Жолтовский.

В 1924-1925 годах в доме начал работу Московский коммунальный музей, предшественник Музея истории Москвы, возглавляемый П. В. Сытиным и П. Н. Миллером. В доме 1с1 разместилось Министерство транспорта РФ. После закрытия бань в их помещениях открылись ресторан "Серебряный век" и трактир "Аркадия".