Zwischen der Hauptwache und der Kammer befand sich das Kreisfinanzamt, das 1843 erbaut wurde. Es diente zur Aufbewahrung und Ausgabe von Kupfermünzen, staatlichen Anleihen sowie zum Verkauf von Briefmarkenpapier. Die fünf Fensterfassade des Gebäudes wurde später erweitert, was ihr Volumen fast verdoppelte.

In der sowjetischen Zeit befand sich in diesem Gebäude das Restaurant "Newa".