Der Gründer des Puzanov-Herrenhauses war Ivan Vasilievich Puzanov, ein Kursker Kaufmann und Mäzen, der 1903 starb. Er besaß das Herrenhaus in der Rtischeva-Straße (heute ist es die Sowjetstraße, Haus Nr. 3) sowie ein Hotel und ein Geschäft in der Großen Moskauer Straße (heute die Lenin-Straße). In Kursk war er als Amateur-Schauspieler bekannt, der erfolgreich an Aufführungen nach Stücken von A. N. Ostrowski teilnahm und manchmal zusammen mit Schauspielern des Kleinen Theaters auftrat, die zu Gastspielen kamen.

Im Jahr 1903 spendete Puzanov 10.000 Rubel für den Bau einer Kirche zu Ehren des heiligen Seraphim von Sarow. Die Kirche wurde nach seinem Tod in der Dyadin-Straße in Kursk (heute die Feldstraße) errichtet und am 11. Dezember 1905 geweiht. Es war eine der ersten Gemeinden des heiligen Seraphim von Sarow in Russland.

Das einstöckige Puzanov-Herrenhaus wurde zu Beginn des 20. Jahrhunderts erbaut. Seine Hauptfassade, geschmückt mit Halbsäulen und einem prunkvollen Eingang, zeigt zur Straße, während die Fenster des Hauses dank des natürlichen Gefälles des Geländes in den Innenhof auf zwei Etagen blicken. Das Gebäude ist aus hochwertigem Sichtziegel gefertigt, der zahlreiche kleine architektonische Details an der Fassade deutlich wiedergibt, während große halbrunde Fenster mit Säulen an den architektonischen Stil der Renaissance erinnern.

Nach der Oktoberrevolution wurde das Herrenhaus nationalisiert und in den 1920er Jahren beherbergte es ein Tuberkulose-Dispensar. Im Jahr 1946, nach Renovierungsarbeiten, wurde das Gebäude der Kursker Kunstgalerie übergeben.

Heute befinden sich im Herrenhaus nur die Direktion der Galerie und ihre Bestände, während die Ausstellungsräume in einer Filiale an der Ecke der Straßen Radischeva und Gogol untergebracht sind.