Двухэтажный главный дом, сформировавшийся в результате нескольких строительных этапов, находился в глубине участка и представлял собой переделанные палаты XVII века. В 1790 году имение принадлежало дворянам Дашковым. По их заказу по обе стороны от главного дома, на красной линии Малого Толмачевского переулка, были возведены каменные флигели, придавшие усадьбе симметрию, характерную для классицизма. Перед особняком появился парадный двор, а со стороны Старомонетного (тогда Проезжего) переулка были построены служебные здания.

После пожара 1812 года уцелели только главный дом и один каменный флигель, которые были восстановлены. Новые владельцы, купцы Поленовы, вместо второго, сгоревшего флигеля, построили небольшую деревянную сторожку. К 1858 году усадьба перешла к Алексею Степановичу Протопопову, купцу первой гильдии, владельцу воскового завода и лавок в Свечном ряду Китай-города. Перестроенный главный дом оставался центром усадьбы, границы которой расширились за счет соседних участков. У него было два этажа и каменная одноэтажная пристройка для сеней и швейцарской. Полуподвал использовался для прислуги. Восточную часть владения занимал обширный сад. До революции 1917 года здесь сохранялась купеческая усадьба, и помещения не сдавались в аренду.

В советское время часть территории была отведена под строительство школы, некоторые здания разрушили. В главном доме располагался республиканский совет Всесоюзного добровольного физкультурно-спортивного общества профсоюзов.

Сейчас дом в Малом Толмачевском переулке является объектом культурного наследия. Фасад здания имеет трехчастную композицию с центральным ризалитом. Второй этаж ризалита украшают три высоких окна с профилированными архивольтами. Богатый декор ризалита скрывает асимметрию фасада, что нехарактерно для классицизма. Окна второго этажа боковых крыльев выделены пышными украшениями и наличниками с профилированными сандриками. Первый этаж и угловые части фасада обработаны горизонтальным рустом. Со стороны двора восстановлены наличники XVII века. В интерьерах сохранились некоторые элементы, например, штукатурные карнизы конца XIX века. В здании находится дом туризма и спорта «Спартак».