В начале XIX века дом на Большой Дмитровке был закреплен за семьей московского купца Ивана Афанасьевича Живаго. Эта семья владела домом до революции 1917 года.

Фамилия Живаго была хорошо известна среди купеческих родов Москвы и Рязани. В 1820 году братья Сергий и Иван Живаго переехали в Москву.

Сергий Афанасьевич Живаго стал самым известным представителем рода в Москве. Он основал Рязанский Коммерческий банк и владел магазином офицерских товаров в Успенском переулке. Сергий был награжден золотой медалью за перестройку церкви Успения на Успенском Вражке. Его брат Иван Афанасьевич владел домом на углу Большой Дмитровки и Дмитровского переулка, известным с 1830-х годов. Сводчатые подвалы этого здания сохранились до наших дней, и посетители кафе "ПирОГИ", открывшегося здесь в 1990-х, могли их видеть.

В 1884 году по проекту архитектора С.С. Эйбушитца для купцов Живаго был построен доходный дом, оформивший угол улицы и переулка. Это трехэтажное здание в стиле неоклассики с полукруглым углом и козырьком, украшенным вензелем владельцев, гармонично вписывалось в ряд доходных домов Большой Дмитровки. Проездная арка вела во двор со стороны Дмитровского переулка. На первом этаже находились магазины, а два верхних этажа сдавались в аренду.

С 1901 года и до Октябрьской революции в доме жил Александр Васильевич Живаго, внук Ивана Афанасьевича. Он был врачом Голицынской больницы и членом Русского фотографического общества. Александр собрал уникальную коллекцию древнеегипетских раритетов, которая выставлялась в его доме и сейчас хранится в ГМИИ им. А.С. Пушкина вместе с его библиотекой, насчитывающей более 6 тысяч томов. После революции он работал ученым секретарем Музея изящных искусств в Москве, а с 1923 года стал лектором и руководителем отдела классического востока. Живаго, владея несколькими языками и обладая энциклопедическими знаниями, проводил экскурсии по музею, которые восхищали профессионалов и востоковедов. Стоит отметить, что он не имеет отношения к роману Бориса Пастернака, выбор фамилии в романе случаен.

В настоящее время здание надстроено четвертым этажом и утратило вензель купцов Живаго.