В настоящее время участок включает два владения, являющихся памятниками истории и культуры Москвы: дом Д.Н. Свербеева на Страстном бульваре, 6, и доходный дом врача Л.Э. Адельгейма на улице Большая Дмитровка, 23. Исторически эти территории составляли единый участок, который разделился в середине 1880-х годов, когда на месте сада в южной части был построен доходный дом.

Участок известен с XVIII века, а после Отечественной войны 1812 года его самым известным владельцем стала вдова фельдмаршала М.Ф. Каменского. Главный дом усадьбы, современный дом на Страстном бульваре, 6, представляет собой вытянутый вдоль бульвара двухэтажный корпус, который был надстроен тремя этажами в 1930-е годы. В 1830 году владелец усадьбы, отставной дипломат Д.Н. Свербеев, организовал здесь салон, который посещали А.С. Пушкин, В.А. Жуковский и М.Н. Языков.

В 1845 году усадьбу заняла «Рисовальная школа в отношению к искусству и ремеслам», основанная графом С.Г. Строгановым и переданная государству в 1843 году (Строгановское художественно-промышленное училище). К моменту переезда в бывшей усадьбе Свербеева была проведена реконструкция, о которой напоминают «ренессансные наличники».

В середине 1880-х годов в Москве началась крупная кампания по строительству новых учебных комплексов, в рамках которой Строгановское училище переехало на Рождественку, а южная часть владения была продана врачу Л.Э. Адельгейму. По его заказу был построен четырехэтажный доходный дом по проекту Р.И. Клейна, который недавно вернулся из учебной поездки в Италию и Францию. Эркер на углу Страстного бульвара и улицы Большой Дмитровки имел завершение в виде четырехгранного купола, который был утрачен при надстройке здания в 1930-е годы.

В главном доме усадьбы с 1919 по 1938 годы размещался клуб латышских политэмигрантов с театром «Скатувэ», возникшим в результате значительной латышской эмиграции в Москву в период Первой мировой войны. Театр был закрыт 27 декабря 1937 года, а всем актерам предъявили обвинение в шпионаже в пользу буржуазной Латвии. 3 февраля 1938 года артисты театра были расстреляны на Бутовском полигоне.

В здании проводится поддерживающий ремонт, а также отдельные работы по приспособлению для современного использования.