Территория домовладения была сформирована после пожара около 1819 года, когда крупная городская усадьба Анны Николаевны Матюшиной была разделена на части. Усадьба, построенная в начале XIX века на пустующих землях артиллерийского ведомства, пострадала от пожара 1712 года, вызвавшего мощный взрыв на пороховых складах Гранатного двора, который занимал значительную часть района.

В 1812 году усадьба почти полностью выгорела, что привело к ее разделению на небольшие владения. Одно из таких владений, расположенное на углу квартала, начало застраиваться только после 1825 года. Тогдашние владельцы решили построить главный жилой дом на пересечении Георгиевского (ныне Вспольного) и Гранатного переулков (строение № 1). Деревянный одноэтажный дом на каменном фундаменте оставался неизменным до последней трети XIX века, сменив множество владельцев.

С 1850 по 1873 годы одной из владелиц была Марья Петровна Ахлестышева, вдова героя войны 1812 года генерал-лейтенанта Михаила Федоровича Ахлестышева. Ахлестышев участвовал в сражениях при Аустерлице, в Восточной Пруссии, воевал против турок на Дунае. В Отечественную войну 1812 года он командовал полком в пехотной дивизии Дунайской армии, участвовал в многочисленных боях и был ранен. За свои заслуги он получил ордена Святой Анны 1-й степени, Святого Иоанна Иерусалимского, Святого Владимира и другие.

В 1870-е годы новый владелец, штабс-капитан А.А. Зерщиков, провел первую крупную перепланировку усадьбы. Чтобы увеличить доходность, он пристроил к главному дому двухэтажный каменный корпус вдоль Георгиевского переулка (современное строение № 2) и двухэтажный деревянный дом со стороны Гранатного, оставив между ними проезд (утраченное строение № 3). Проект домов был разработан гражданским инженером Василием Герасимовичем Залесским в стиле неоклассицизма.

В 1880 году владелец частично надстроил второй деревянный этаж на современном строении 1.

Все три дома усадьбы составляли единый архитектурный ансамбль. Их фасады, украшенные прямоугольными и полуциркульными оконными проемами, пилястрами с женскими головками и лепным орнаментом с растительными мотивами, хорошо сохранились до наших дней.

В домах были устроены квартиры для сдачи в аренду. После революции владение перешло в ведение жилтоварищества.

Комплекс усадьбы оставался без изменений до начала 1990-х годов, когда строение № 3 было снесено, а строение № 2 подверглось реконструкции.