Im 18. Jahrhundert befand sich an dieser Stelle ein großes Anwesen, das zunächst dem Kaufmann Boris Sysoyev gehörte und am Ende des Jahrhunderts an den Hofrat Peter Leontjewitsch Ermolow, einen Vertreter des jüngeren Zweigs des bekannten Adelsgeschlechts, überging. Sein Sohn, Alexander Petrowitsch Ermolow, war zwei Jahre lang (von 1785 bis 1786) der Favorit von Kaiserin Katharina II. und genoss die Unterstützung des Fürsten G.A. Potemkin. Er war der Cousin des berühmten Generals Alexei Petrowitsch Ermolow.

An der Wende vom 18. zum 19. Jahrhundert gehörte das Anwesen dem rigaer Kaufmann Karl Friedrich Rathen, der, wie man annimmt, das bis heute erhaltene Herrenhaus (Nr. 4, Gebäude 1) erbaut hat, obwohl es möglich ist, dass er lediglich ein bereits bestehendes Gebäude umgebaut hat. Hinter der schlichten Fassade des Hauses könnten alte Paläste aus dem 18. Jahrhundert verborgen sein. Das moderne Aussehen erhielt das Haus in der Mitte des 19. Jahrhunderts, als ein zweiter Stock hinzugefügt wurde. Der lakonische Dekor der Fassaden des Hauses und des Flügels (Nr. 4, Gebäude 2) ist charakteristisch für die zweite Hälfte des 19. Jahrhunderts. Die Hauptfassade des Hauses ist zum Innenhof gerichtet, ihr Risalit ist mit einem dreieckigen Giebel geschmückt, und die Ecken des Hauses und des Flügels sind mit dekorativem Rustika gestaltet.

Im 19. Jahrhundert wechselte das Anwesen, das 1823 seine heutigen Grenzen erhielt, mehrfach den Besitzer. Es gehörte dem petersburger Kaufmann S. von Brinen, dann dem Kaufmann E.A. Luther. Das Anwesen wurde als Einkommensquelle genutzt, im Hauptgebäude und im Flügel wurden Wohnungen zur Vermietung eingerichtet.

Seit Ende des 19. Jahrhunderts gehörte das Anwesen dem Kaufmann und Getreidehändler Ivan Michailowitsch Sargin, dann ging es an seinen Sohn Dawid Ivanowitsch über. D.I. Sargin wurde bekannt als Forscher und Popularisierer von Dame und Schach. Er begann als Bankangestellter, widmete sich jedoch, begeistert von Dame und Schach, diesem Bereich und gab die Zeitschrift "Dame" ("Schachübersicht") heraus, entwickelte Eröffnungen und Studien und schrieb Artikel zur Geschichte des Schachs. 1916 veröffentlichte er die wissenschaftliche Arbeit "Die Antike der Spiele Dame und Schach", das Ergebnis jahrelanger Forschung.

In seinem Anwesen in der Archangelski-Gasse baute D.I. Sargin 1912 eine Garage (Nr. 4, Gebäude 3), die er an Autofahrer vermietete. Im Hauptgebäude lebte er mit seinen Kindern, Konstantin und Olga. Nach 1917 wurde das Anwesen der Sargins nationalisiert, die Garage wurde an die Moskauer Stadtbank übergeben, und später wurde hier eine Garage für besondere Zwecke eingerichtet.