В 1782 году Курск получил свой первый градостроительный план, утверждённый Екатериной II. До его реализации застройка города была хаотичной: улицы извивались беспорядочно, большинство домов были деревянными и находились глубоко в усадьбах. Новый план предусматривал строгую сетку улиц, которая в значительной степени сохранилась до наших дней. В центральной части города деревянные здания заменялись на каменные, а новые дома строились по красной линии, обращённые фасадом к улице. Чтобы ускорить застройку первых кварталов, городские власти сосредоточили внимание на возведении зданий на углах перекрёстков. На углу Флоровской и Гостинной улиц по типовому проекту был построен «Дом казначея», где изначально жил чиновник, отвечавший за городские финансы.

После Октябрьской революции в этом здании разместилось Курское губернское отделение военной цензуры, а позже оно долгое время использовалось как жилое. В послевоенные годы в подвале находилась керосиновая лавка. Сегодня в здании располагаются офисы и магазины.

В июле 2012 года комиссия по сохранению объектов культурного наследия в Курске включила «Дом казначея» в список объектов, на которых планируется установить таблички с названием памятника и датой его постройки.

Этот небольшой двухэтажный каменный дом в стиле классицизма имеет на первом этаже нарядные русты и маленькие окна, а на втором, большие окна и четыре пилястры, поддерживающие крутой карниз. Здание служит примером типовой застройки конца XVIII века, когда для жилых домов централизованно разрабатывались восемь типов зданий, из которых формировались кварталы провинциальных городов.