Au XIXe siècle, cet hôtel particulier a connu des revers, étant souvent revendu. Après la guerre et l'incendie de 1812, Élisabeth Moltchanova y a vécu. Dans les années 1840, la propriété est passée à la famille Tchaplyguines. En 1875, elle a été acquise par le conseiller Modeste Mikhaïlovitch Ternovski, qui l'a vendue deux ans plus tard à Philippe Pavlovitch Soloviev. Soloviev prévoyait de construire un immeuble locatif selon le projet d'A.S. Kaminski, mais le terrain s'est avéré trop petit.

En 1891, la veuve de Soloviev a vendu la propriété au chambellan Ivan Mikhaïlovitch Leontiev, qui l'a cédée deux ans plus tard à la famille du marchand Ivan Mikhaïlovitch Jivago. Jivago a tenté de rénover l'ancienne demeure et de mettre en ordre les autres bâtiments, mais, désespéré, a tout vendu aux époux Karl Ivanovitch et Rahil Geste en 1907. Rahil Geste s'est activement mise au travail, a démoli tous les anciens bâtiments et a construit la même année un nouveau manoir selon le projet de l'architecte Sergueï Sergueïevitch Schutman. Schutman, qui travaillait dans l'atelier de l'architecte Kekouchev, a créé une maison ressemblant à des cubes empilés, dans un style néoclassique et moderne. Les parties à deux et trois étages du bâtiment sont unies par une décoration néoclassique avec un rustique vif au premier étage et des encadrements classiques. La clôture est ornée de niches semi-circulaires, caractéristiques de l'Empire à Moscou.

Karl Ivanovitch était membre du conseil d'administration de la Société de la manufacture de Vysokovsk sous Klin. Ses principaux partenaires étaient le voisin R.R. MacGill, K.I. Prove et T.L. Knopp. Selon N.M. Souleïkine, Geste a investi toute sa vie dans l'usine, ne ménageant ni moyens ni efforts pour équiper techniquement les bâtiments des travailleurs et tous les bâtiments.

Depuis 1927, un laboratoire de recherche en radio était situé ici, et maintenant, l'ambassade d'Algérie s'y trouve.