Zu Beginn des 19. Jahrhunderts verkauften die verarmten Nachkommen des Kaufmanns Kholodilov ihr Haus und den angrenzenden Komplex der örtlichen Polizei an das Bezirksgefängnis. Genau zu dieser Zeit entstand im Garten des Komplexes die Gefängniskirche Aller Trauernden Freude, da Kirchen für Gefangene damals üblich waren.

Die Trauernden-Kirche wurde in den Jahren 1854-1857 im Stil der alten russischen Architektur erbaut. Es war ein recht hübsches Gebäude, besonders die Fenster mit Kokoschniks und die schöne Kirchturmhaube stachen hervor. An der Ostwand des Tempels befand sich ein einfacher Glockenturm, da ein vollwertiger Glockenturm im Gefängniskomplex nicht vorgesehen war.

In der sowjetischen Zeit wurde das zerstörte Gebäude der alten Polizei von der Miliz genutzt. Die neue bolschewistische Macht missbilligte die Nachbarschaft der Kirche mit der Volksmiliz, weshalb die Kuppel und alle dekorativen Elemente, einschließlich der Kokoschniks, zerstört wurden. Ohne sie und mit zugemauerten Fenstern hat das Gebäude, das jetzt von der örtlichen Abteilung der GAI-GIBDD genutzt wird, seine Attraktivität vollständig verloren.