Zu Beginn des 19. Jahrhunderts wurde das Haus in der Bolschaja Dmitrowka der Familie des Moskauer Kaufmanns Iwan Afanasjewitsch Zhivago zugeordnet. Diese Familie besaß das Haus bis zur Revolution von 1917.

Der Nachname Zhivago war unter den Kaufmannsfamilien Moskaus und Rjasans gut bekannt. Im Jahr 1820 zogen die Brüder Sergij und Iwan Zhivago nach Moskau.

Sergij Afanasjewitsch Zhivago wurde der bekannteste Vertreter der Familie in Moskau. Er gründete die Rjasaner Handelsbank und besaß ein Geschäft für Offizierswaren in der Uspenskij-Gasse. Sergij wurde mit einer Goldmedaille für den Umbau der Uspenskij-Kirche in der Uspenskij-Vrazhka ausgezeichnet. Sein Bruder Iwan Afanasjewitsch besaß ein Haus an der Ecke der Bolschaja Dmitrowka und der Dmitrowskij-Gasse, das seit den 1830er Jahren bekannt ist. Die gewölbten Keller dieses Gebäudes sind bis heute erhalten geblieben, und die Besucher des Cafés „Pirogi“, das hier in den 1990er Jahren eröffnet wurde, konnten sie sehen.

Im Jahr 1884 wurde nach dem Entwurf des Architekten S.S. Eibushitz für die Kaufleute Zhivago ein Mietshaus errichtet, das die Ecke der Straße und der Gasse gestaltete. Dieses dreigeschossige Gebäude im neoklassizistischen Stil mit einem halbrunden Eck und einem Vordach, das mit dem Monogramm der Eigentümer verziert war, fügte sich harmonisch in die Reihe der Mietshäuser der Bolschaja Dmitrowka ein. Ein Durchgangsbogen führte von der Dmitrowskij-Gasse in den Innenhof. Im Erdgeschoss befanden sich Geschäfte, während die beiden oberen Etagen vermietet wurden.

Von 1901 bis zur Oktoberrevolution lebte Alexander Wasiljewitsch Zhivago, der Enkel von Iwan Afanasjewitsch, in dem Haus. Er war Arzt im Golizyn-Krankenhaus und Mitglied der Russischen Fotografischen Gesellschaft. Alexander sammelte eine einzigartige Sammlung altägyptischer Raritäten, die in seinem Haus ausgestellt war und heute im Puschkin-Museum für Schöne Künste zusammen mit seiner Bibliothek, die mehr als 6.000 Bände umfasst, aufbewahrt wird. Nach der Revolution arbeitete er als wissenschaftlicher Sekretär im Museum für Schöne Künste in Moskau und wurde 1923 Dozent und Leiter der Abteilung für klassischen Osten. Zhivago, der mehrere Sprachen sprach und über enzyklopädisches Wissen verfügte, führte Führungen durch das Museum, die Fachleute und Orientalisten begeisterten. Es ist erwähnenswert, dass er nichts mit dem Roman von Boris Pasternak zu tun hat; die Wahl des Nachnamens im Roman ist zufällig.

Derzeit wurde das Gebäude um ein viertes Stockwerk aufgestockt und hat das Monogramm der Kaufleute Zhivago verloren.