Im Grund des heutigen Gebäudes liegen steinerne Paläste, die in der letzten Drittel des 17. Jahrhunderts errichtet wurden, als dieses Anwesen den Brüdern Michail und Ivan Gurjew gehörte, wohlhabenden Kaufleuten mit dem Status von Gästen. Dieser Status befreite sie von Zollgebühren und städtischen Steuern und gab ihnen das Recht auf freie Ausreisen ins Ausland für den Handel. Die Familie Gurjew stammte aus Jaroslawl, wo sie im Handel tätig waren. In den 1640er Jahren errichteten sie eine Festung am Fluss Jaik (heute Ural), die zu einem wichtigen russischen Außenposten im nördlichen Kaspischen Meer wurde, später die Stadt Gurjew, heute Atyrau. Zu dieser Zeit begannen sie auch mit der Entwicklung der Fischerei am Fluss Jaik.

1671 wurden die Brüder Gurjew Eigentümer des Anwesens in der Potapowski-Gasse, wo sie wahrscheinlich die steinernen Paläste errichteten. Diese einstöckigen Gebäude mit hohem Sockel lagen im Inneren des Anwesens und hatten ihre Giebelseite zur Gasse. In der „Auflistung der Höhlen“ von 1688 wurde das Haus als „Hof der Gäste Gurjews, bei ihnen im Hof sind Paläste, die eine Hälfte mit Torf und die andere mit Brettern gedeckt, und der Dachboden ist hoch und mit Brettern gedeckt“ beschrieben.

1728 verkaufte Alexei Gurjew das Anwesen an Rodion Koschelew, den Stallmeister der Palastpferdeställe. Der neue Eigentümer fügte einen steinernen Anbau hinzu und erneuerte die Fassaden im Einklang mit dem Barockstil: Die Fenster wurden mit barocken Rahmen verziert, zwischen ihnen wurden Halbsäulen installiert, und die Wände wurden mit Rustika gestaltet.

Die Koschelews besaßen das Anwesen bis in die 1780er Jahre, als sie es an den Kaufmann Michail Kolosow verkauften, der es dann an den englischen Kaufmann Doughty weitergab. Kolosow erweiterte das Haus, und Doughty baute Ende der 1790er Jahre einen neuen Flügel entlang der Gasse, der später mit dem Hauptgebäude verbunden wurde. Das Anwesen blieb beim Brand von 1812 unbeschädigt.

1821 erwarb der kaluzhische Kaufmann Peter Zolotarew das Anwesen und machte es zu einer rentablen Immobilie: Das Haus und die Flügel wurden vermietet. Über die Jahre beherbergte es private Bildungseinrichtungen, in denen bekannte Professoren der Moskauer Universität unterrichteten. Zu den Absolventen gehörten herausragende Persönlichkeiten wie der Arzt Sergei Botkin und der Historiker Wladimir Gerje.

Seit 1870 ging das Anwesen kurzzeitig an den Kaufmann und Mäzen Wasilij Kokorew, der es als Einnahmequelle nutzte. Unter ihm wurde ein Teil des Hauses aufgestockt, ein Torbogen für den Zugang zum Hof geschaffen, und die Fassaden erhielten ein modernes Aussehen.

1881 erwarben die Kaufleute Abrikosow, Eigentümer einer bekannten Konditorei in Moskau, das Anwesen. Die große Familie von Alexei Ivanovich Abrikosow bewohnte zwei große Wohnungen, während die anderen vermietet wurden. Die Innenräume der Wohnung der Abrikosows waren exquisit gestaltet: Stuck, Marmorfensterbänke und Parkett.

Das Anwesen blieb bis zur Revolution von 1917 im Besitz der Abrikosows, danach wurde es nationalisiert und in kommunale Wohnungen umgewandelt. In den 1930er Jahren wurde das Haus um zwei Stockwerke aus kurzlebigen Materialien aufgestockt.

Die Innenräume der Wohnung der Abrikosows blieben bis zum Brand im Jahr 2009 fast im ursprünglichen Zustand, als der sowjetische Anbau beschädigt wurde und die Feuerwehr alle Etagen mit Wasser überflutete. Die Räumlichkeiten benötigten dringend eine Restaurierung. Nach Angaben von 2018 wurden am Objekt Notfallarbeiten durchgeführt.