Au début du XIXe siècle, les descendants ruinés du marchand Kholodilov ont vendu leur maison et le complexe adjacent de la police locale à la prison de district. C'est à ce moment-là qu'une église de prison dédiée à Tous les Affligés a été construite dans l'enceinte du complexe, car à cette époque, les églises pour les détenus étaient courantes.

L'église de l'Affliction a été érigée entre 1854 et 1857 dans un style inspiré de l'architecture russo-ancienne. C'était un bâtiment assez sympathique, avec des fenêtres ornées de kokoshniks et un beau dôme d'église. À l'est du temple se trouvait une simple cloche, car une véritable tour de cloche n'était pas prévue dans le complexe pénitentiaire.

Pendant la période soviétique, le bâtiment de l'ancienne police, en ruines, a été occupé par la milice. Le nouveau pouvoir bolchevique n'appréciait pas la proximité de l'église avec la milice populaire, c'est pourquoi le dôme et tous les éléments décoratifs, y compris les kokoshniks, ont été détruits. Sans eux et avec des fenêtres complètement bouchées, le bâtiment, qui est maintenant utilisé par le département local de la GAI-GIBDD, a complètement perdu son attrait.