Основателем особняка Пузанова был Иван Васильевич Пузанов, курский купец и меценат, скончавшийся в 1903 году. Он владел особняком на улице Ртищева (сейчас это улица Советская, дом № 3), а также гостиницей и магазином на Большой Московской улице (ныне улица Ленина). В Курске его знали как актёра-любителя, который успешно участвовал в спектаклях по пьесам А. Н. Островского, иногда выступая вместе с актёрами Малого театра, приезжавшими на гастроли.

В 1903 году Пузанов пожертвовал 10 тысяч рублей на строительство церкви во имя преподобного Серафима Саровского. Церковь была возведена после его смерти в Дядином переулке Курска (сейчас улица Полевая) и освящена 11 декабря 1905 года. Это был один из первых приходов преподобного Серафима Саровского в России.

Одноэтажный особняк Пузанова был построен в начале XX века. Его главный фасад, украшенный полуколоннами и парадным входом, выходит на улицу, а во двор дом смотрит окнами двух этажей благодаря естественному уклону земли. Здание выполнено из качественного лицевого кирпича, который четко передает множество мелких архитектурных деталей на фасаде, а большие полуциркульные окна с колонками напоминают архитектурный стиль эпохи Возрождения.

После Октябрьской революции особняк был национализирован, и в 1920-х годах в нем располагался противотуберкулезный диспансер. В 1946 году, после ремонта, здание было передано Курской картинной галерее.

Сейчас в особняке находятся только дирекция галереи и ее фонды, а выставочные залы размещены в филиале на углу улиц Радищева и Гоголя.