Между главной гауптвахтой и казенной палатой находилось уездное казначейство, возведенное в 1843 году. Оно служило для хранения и выдачи медной монеты, государственных ассигнаций, а также для продажи гербовой бумаги. Пятиоконный фасад здания был позже расширен, что почти удвоило его объем.

В советский период в этом здании располагался ресторан "Нева".