В начале XIX века в Калуге, на фоне активного развития общественной жизни, возникла необходимость в строительстве здания для Дворянского собрания. Первоначальные проекты, созданные главным архитектором Калужской губернии Николаем Федоровичем Соколовым, не были воплощены в жизнь.

Основные строительные работы велись в 1848 и 1850-х годах под руководством архитектора Петра Ивановича Гусева, бывшего крепостного крестьянина, под наблюдением главного зодчего Калужской губернии Ивана Ивановича Таманского и инженера Александра Дмитриевича Кавелина.

Двухэтажное здание с трехэтажным центральным блоком и балконом на четырех массивных колоннах стало одним из символов города, часто изображаемым на открытках.

Фасад особняка из красного кирпича, выполненный в стиле классицизма, украшен белыми пилястрами с капителями, оформленными волютами и листьями аканта, а внутри впечатляет чугунная лестница художественного литья.

Главным событием, регулярно проводившимся в здании, были съезды дворянского собрания, которые проходили раз в три года в парадном зале на втором этаже.

Со временем Дом Дворянского собрания стал важным центром общественной и культурной жизни города и губернии. Здесь устраивались благотворительные концерты и балы, в честь приезда наследника престола Александра Николаевича (будущего Александра II) проводились художественные выставки, литературные и музыкальные вечера. В этом доме выступали пианист Николай Григорьевич Рубинштейн и композитор Сергей Иванович Танеев, а также его посещали Алексей Константинович Толстой и братья Жемчужниковы.

В 1899 году в залах дома проходила выставка картин художников-передвижников, где были представлены работы Абрама Ефимовича Архипова, Николая Никаноровича Дубовского, Николая Алексеевича Касаткина, Исаака Ильича Левитана, Михаила Васильевича Нестерова, Василия Дмитриевича Поленова, Ильи Ефимовича Репина, Ивана Ивановича Шишкина и уроженца Калужской губернии Иллариона Михайловича Прянишникова.

С этим зданием связано множество значимых событий для Калужской губернии. Например, 26 августа 1866 года в большом зале Дворянского собрания имам Чечни и Дагестана Шамиль вместе с сыновьями принял присягу на верность русскому царю.

Во время Первой мировой войны Дворянское собрание стало центром сбора благотворительных средств и проведения мероприятий для помощи фронту и лечения раненых.

После 1917 года бывшая резиденция дворянского собрания стала Домом труда, также известным как Рабочий дом, и была передана профсоюзам. В 1936 году здесь разместился Дворец пионеров с множеством кружков. В девяностые годы здание получило новое название, Дом творчества юных, а сейчас это Областной центр дополнительного образования детей имени Гагарина.