Усадьба была возведена в 1814 году в честь победы в Отечественной войне 1812 года. Главным зданием городской усадьбы являлось строение с четырехколонным портиком. Ранее здесь располагались сад, парк, овраг и ручей.

Существует легенда, связывающая дом с творчеством русского писателя Ивана Тургенева. Горожане называли усадьбу "дом хозяйки Муму".

Усадьба Толмачевых была основана на окраине Калуги в 1814 году купцом-старообрядцем Хвостовым. В 1881 году она перешла во владение дворян Толмачевых, а в 1919 году была муниципализирована.

Центральное место в усадьбе занимает дом с колоннами, а флигели, находившиеся по бокам, не сохранились. В комплекс также входили хозяйственные постройки, оранжерея и парк.

Построена усадьба неизвестным архитектором в стиле екатерининского классицизма, где в деревянных конструкциях использованы элементы, характерные для каменных зданий.

Известный краевед С. Бессонов в своей книге «Калужский деревянный ампир» (1928 г.) отмечал, что дом Толмачевых был одним из красивейших образцов деревянного зодчества в Калуге и уже тогда нуждался в ремонте.

Сегодня этот памятник деревянного ампира находится под опекой корпорации Русская Недвижимость, которая занимается его восстановлением и реконструкцией после пожара, случившегося летом 2011 года.