В XIX веке этой усадьбе не везло, ее часто перепродавали. После войны и пожара 1812 года в деревянном доме жила Елизавета Молчанова. В 1840-х годах усадьба перешла к семье Чаплыгиных. В 1875 году ее приобрел коллежский ассесор Модест Михайлович Терновский, а через два года продал Филиппу Павловичу Соловьеву. Соловьев планировал построить доходный дом по проекту А.С. Каминского, но участок оказался слишком мал.

В 1891 году вдова Соловьева продала владение камер-юнкеру Ивану Михайловичу Леонтьеву, который через два года передал его семье купца Ивана Михайловича Живаго. Живаго пытались отремонтировать старый особняк и привести в порядок остальные строения, но, отчаявшись, продали все супругам Карлу Ивановичу и Рахили Гесте в 1907 году. Рахиль Гесте энергично взялась за дело, снесла все старые постройки и в том же году построила новый особняк по проекту архитектора Сергея Сергеевича Шуцмана. Шуцман, работавший в мастерской архитектора Кекушева, создал дом, напоминающий сложенные кубики, в стиле неоклассики и модерна. Двух- и трехэтажные части здания объединены неоклассическим декором с ярким рустом первого этажа и классическими наличниками. Ограда украшена полукруглыми нишами, характерными для ампирной Москвы.

Карл Иванович был членом правления Товарищества Высоковской мануфактуры под Клином. Его основными партнерами были сосед Р.Р. Мак-Гилл, К.И. Прове и Т.Л. Кнопп. По словам Н. М. Сулейкина, Гесте вложил в фабрику всю свою жизнь, не жалея средств и усилий на техническое оснащение рабочих корпусов и всех зданий.

С 1927 года здесь находилась научная радиолаборатория, а сейчас здесь располагается посольство Алжира.