Деревянный дом с мансардой на кирпичном цокольном этаже был построен в первой трети XIX века. В Государственном архиве Калужской области краевед Г.М. Морозова обнаружила документы, которые помогают восстановить историю строительства и смены владельцев усадьбы, расположенной на возвышенности в Григоровом переулке, ранее известном как Малютина улица.

Документы до 1860 года не найдены. В 1860-х годах дом и усадьба принадлежали дворянке М.А. Боряевой. После её смерти в 1883 году усадьба перешла к князю В.Д. Волконскому. В 1887 году он завещал её своим наследникам из Орла, всего 11 человек с фамилией Волконские. В том же году они продали усадьбу титулярной советнице В.Ф. Ольховской.

В 1902 году Ольховская продала дом с усадьбой и мезонином купцам Дмитрию и Гурию Слесаревым за 12 900 рублей. Гурий Иванович Слесарев, инженер-лесовод, родился в 1859 году и умер в 1922 году. Слесаревы перестроили главный дом и построили флигель. Изначально дом имел первый этаж и мезонин с четырьмя деревянными колоннами вдоль фасада. Он напоминал классический особняк, как усадьба Толмачёвых на улице Плеханова, 26.

Реставрация 1972-1974 годов подтвердила, что основной сруб здания старше пристроек. Автор-архитектор не упомянут в документах, но, вероятно, принадлежал к столичной школе и придал дому стиль псевдорусского направления "ропет". Дом Слесаревых имеет аналоги в Калуге, например, дом Цыпулина на улице Подвойского.

В 1918 году дом был муниципализирован. Здесь родился и вырос Гурий Гурьевич Слесарев, известный врач и хирург. В доме устроили коммунальные квартиры, сохранив печное отопление. В 1971 и 1973 годах был разработан проект реставрации для конторы ГЖУ № 5. Были восстановлены окна, резьба наличников и карнизов, но не выполнены некоторые элементы, такие как балкон и третья лестница на мезонин.

С 1974 года в доме разместилось домоуправление №5 ГЖУ, а флигель использовался как жилые помещения. Дом был оснащён центральным отоплением, канализацией, водопроводом, электроснабжением и другими системами. В 1991 году дом был признан памятником архитектуры местного значения. В 1992 году был выполнен проект реставрации для размещения в доме центра прикладных промыслов и ремесел "Дом мастеров". В связи с этим дом передали на баланс городского отдела культуры.