Дом в Малом Толмачевском переулке сложился в результате нескольких этапов строительства. Первое жилое здание на этом месте появилось в середине XVIII века как главный дом городской усадьбы, расположенный в глубине двора. В 1806 году, когда владельцами были дворяне Соловьевы, особняк был перестроен в соответствии с новыми тенденциями классицизма. Здание приобрело правильную прямоугольную форму, близкую к квадрату, и было надстроено крестообразным мезонином, что придало ему пирамидальность, характерную для начала XIX века. Парадные помещения располагались вдоль западного фасада, а вдоль восточного были устроены антресоли.

После пожара 1812 года усадьба перешла к купцу первой гильдии, почетному гражданину Москвы Алексею Семеновичу Медынцеву. Его сын, Алексей Алексеевич Медынцев, был близким другом Павла Михайловича Третьякова, жившего неподалеку в Лаврушинском переулке. В 1860-х годах к главному дому со стороны Малого Толмачевского переулка добавили двухэтажную пристройку с двумя квартирами для аренды. Фасад пристройки был оформлен в стиле эклектики, а между старым и новым зданиями разместили лестницу. На территории также находились каменные и деревянные хозяйственные постройки.

После Медынцевых усадьба перешла к купцу Михаилу Алексеевичу Ремизову, у которого в 1877 году родился сын, будущий писатель Алексей Михайлович Ремизов. В Толмачах он провел лишь первые годы своей жизни. В эмиграции, незадолго до смерти, Ремизов написал автобиографическую повесть «Подстриженными глазами», где описал свою малую родину. В начале XX века, при купце Я.Н. Крейнесе, который организовал здесь производство, плотность застройки усадьбы значительно увеличилась. В главном доме появились новые окна с дворовой стороны, что несколько нарушило композицию фасада в стиле классицизма.

Сегодня бывший дом Медынцева-Ремизова является объектом культурного наследия. Здание было отреставрировано и играет важную роль в застройке этой части Замоскворечья, формируя фронт Малого Толмачевского переулка. Древняя часть дома (западная часть) является примером архитектуры классического стиля и частично сохранила композицию и декоративные элементы классицизма. Объем, выходящий на красную линию переулка, украшен обильной декорацией, характерной для эклектики: фигурные аттики, венчающие фасады, пилястры на углах здания, сложные межэтажные карнизы, изящные ниши окон первого этажа и другие детали. Однако главная ценность этого дома, мемориальная, связанная с именем писателя Алексея Михайловича Ремизова, родившегося здесь.