С середины XVIII века обширное владение на четной стороне 1-й Мещанской улицы, ныне известной как проспект Мира, принадлежало купцу 1-й гильдии и именитому гражданину Луке Ивановичу Долгову.

В прошлом здесь находилось загородное поместье князей Пожарских, которое позже перешло к князьям Долгоруким. После заключения Андрусовского перемирия с Польшей в 1667 году и создания за Сретенскими воротами Земляного города Мещанской слободы, это владение было выкуплено казной и разделено на слободские дворы.

Часть этих дворов, где сейчас расположены дома №№ 16-20, была приобретена Лукой Ивановичем Долговым.

Лука Иванович удачно устроил судьбы своих дочерей, выдав их замуж за известных архитекторов: Василия Ивановича Баженова и Елизвоя Семеновича Назарова.

К 1770 году Долгов возвел на своей земле трехэтажный каменный особняк, вероятно, по проекту Баженова. Этот дом упоминается в знаменитых Альбомах М.Ф. Казакова. Он сохранился до наших дней, но после пожара 1812 года был перестроен и потерял верхний этаж (современный дом № 16 по проспекту Мира).

В 1775 году Е. Назаров построил для своего тестя еще одно здание рядом с первым (ныне дом № 20), представляющее собой великолепный усадебный особняк в классическом стиле.

После смерти Луки Ивановича владение перешло к его вдове Сусанне Филипповне (урожденной Аршелевской). Позже часть его была продана, но дом № 20 оставался в семье Долговых до 1863 года, когда его приобрел известный московский врач и профессор Г.А. Захарьин. В этом особняке на 1-й Мещанской улице прошли последние годы жизни Григория Антоновича. В конце XIX, начале XX века усадьба принадлежала его сыну Сергею Григорьевичу, который продал дом симбирскому купцу Василию Афанасьевичу Арацкову.

При Арацкове особняк был перестроен по проекту молодых архитекторов братьев Весниных. Фасады здания обрели новые ампирные декорации. Центральная часть фасада была украшена эркером в виде полуротонды с колонным портиком, а на оконных камнях первого этажа появились маскароны в виде львов. Окна были расширены, а интерьеры перепланированы и украшены новой лепниной.

В настоящее время здесь располагаются различные учреждения и коммерческие организации. Здание охраняется государством как объект культурного наследия федерального значения.