Княгиня Трубецкая, известная своей красотой и умом, в 1769 году вышла замуж за графа А.С. Строганова, который был старше её на 11 лет. Александр Сергеевич был состоятельным человеком и меценатом; его коллекция картин стала основой собрания живописи Эрмитажа. Супруги отправились в Париж, где встретились с Вольтером. Вольтер, восхищённый графиней, сказал: «Ах, сударыня, какой прекрасный день сегодня: я видел солнце и вас!». В Париже у них родились сын Павел и дочь Софья. Однако, вернувшись в Россию в 1779 году, молодая графиня влюбилась в бывшего фаворита Екатерины II, Ивана Николаевича Римского-Корсакова. Красавец Римский-Корсаков был удалён от двора и переехал в Москву, куда за ним последовала и Строганова, оставив мужа и сына. Дочь Софья уехала с матерью. Строганов философски отнёсся к ситуации, предоставил жене развод и приобрёл усадьбу на Тверском бульваре рядом с домом Корсакова.

Римский-Корсаков и Строганова прожили вместе всю жизнь, хотя и не могли официально пожениться. У них родились двое детей: Василий Николаевич (Иванович) Ладомирский (1786, 1847) и Варвара Николаевна (Ивановна) Ладомирская (1785, 1840). Дети носили двойное отчество и чужую фамилию, так как считались лишь воспитанниками родителей. По легенде, фамилию им дала Екатерина II, намекая на детей «от бога любви Ладо». По другой версии, фамилия принадлежала угасшему польскому роду. Дворянство для детей Римский-Корсаков добился при Павле I.

Василий унаследовал дом отца № 26 и имение Братцево, а дом Строгановой достался дочери Варваре, которая передала его своей дочери, княгине Зинаиде Ивановне Нарышкиной.

Княгиня Нарышкина была замужем дважды, поэтому имение сначала числилось за З.И. Юсуповой, затем за З.И. де Шево. Усадьба осталась в собственности Юсуповых и в итоге досталась единственному наследнику всех богатств рода, Феликсу Феликсовичу Юсупову, князю, известному как убийца Распутина. Сам он в доме не жил, хотя в Москве ходили слухи о кладе, якобы спрятанном им во время одного из визитов.

В 1870-х в доме графини де Шево располагалось водолечебное заведение д-ра Крейзера, утверждённое Высочайшей властью.

Величественный особняк с двумя флигелями, приписываемый О.И. Бове, простоял на бульваре до 1930-х годов, когда его снесли в ходе реконструкции четной стороны Тверского бульвара вместе с домом Градоначальства. На бульваре остался только флигель, в котором сейчас находится ресторан «Бублик».