Die Fürstin Trubetskaya, bekannt für ihre Schönheit und Intelligenz, heiratete 1769 den Grafen A.S. Stroganov, der 11 Jahre älter war als sie. Alexander Sergejewitsch war ein wohlhabender Mann und Mäzen; seine Sammlung von Gemälden wurde zur Grundlage der Gemäldesammlung der Eremitage. Das Ehepaar reiste nach Paris, wo sie Voltaire trafen. Voltaire, von der Gräfin begeistert, sagte: „Ach, meine Dame, was für ein schöner Tag heute: ich habe die Sonne und Sie gesehen!“. In Paris wurden ihnen der Sohn Pawel und die Tochter Sofja geboren. Doch als sie 1779 nach Russland zurückkehrten, verliebte sich die junge Gräfin in den ehemaligen Favoriten von Katharina II., Iwan Nikolajewitsch Rimski-Korsakow. Der schöne Rimski-Korsakow war vom Hof verbannt worden und zog nach Moskau, wohin auch Stroganowa folgte und ihren Mann und Sohn verließ. Die Tochter Sofja ging mit ihrer Mutter. Stroganov nahm die Situation philosophisch, gewährte seiner Frau die Scheidung und erwarb ein Landhaus am Tverskoy Boulevard neben dem Haus Korsakows.

Rimski-Korsakow und Stroganowa lebten ihr ganzes Leben zusammen, obwohl sie nicht offiziell heiraten konnten. Sie hatten zwei Kinder: Wasilij Nikolajewitsch (Iwanowitsch) Ladomirski (1786, 1847) und Warwara Nikolajewna (Iwanowna) Ladomirska (1785, 1840). Die Kinder trugen einen doppelten Vornamen und einen fremden Nachnamen, da sie nur als Zöglinge der Eltern galten. Der Legende nach gab Katharina II. ihnen den Nachnamen, in Anspielung auf die Kinder „vom Gott der Liebe Lado“. Nach einer anderen Version gehörte der Nachname einem erloschenen polnischen Geschlecht. Die Adeligkeit für die Kinder erreichte Rimski-Korsakow unter Paul I.

Wasilij erbte das Haus seines Vaters Nr. 26 und das Anwesen Bratschewo, während das Haus Stroganowa der Tochter Warwara zufiel, die es ihrer Tochter, der Fürstin Zinaida Iwanowna Naryshkina, übergab.

Die Fürstin Naryshkina war zweimal verheiratet, daher gehörte das Anwesen zunächst Z.I. Jusupowa, dann Z.I. de Cheveau. Das Anwesen blieb im Besitz der Jusupows und fiel schließlich dem einzigen Erben aller Reichtümer der Familie, Felix Felixowitsch Jusupow, zu, einem Fürsten, der als Mörder Rasputins bekannt ist. Er selbst lebte nicht im Haus, obwohl in Moskau Gerüchte über einen Schatz kursierten, den er angeblich während eines seiner Besuche versteckt hatte.

In den 1870er Jahren befand sich im Haus der Gräfin de Cheveau eine Wasserheilanstalt des Dr. Kreizer, die von der höchsten Macht genehmigt wurde.

Das majestätische Herrenhaus mit zwei Flügeln, das O.I. Bowe zugeschrieben wird, stand bis in die 1930er Jahre am Boulevard, als es im Zuge der Rekonstruktion der geraden Seite des Tverskoy Boulevards zusammen mit dem Haus der Stadtverwaltung abgerissen wurde. Am Boulevard blieb nur der Flügel, in dem sich jetzt das Restaurant „Bublik“ befindet.