В начале XIX века разорившиеся потомки купца Холодилова продали свой дом и прилегающий комплекс местной полиции и уездной тюрьме. Именно тогда в ограде комплекса появилась тюремная церковь Всех скорбящих Радость, так как в те времена церкви для заключённых были обычным делом.

Скорбященская церковь была возведена в 1854-1857 годах в стиле, заимствованном из древнерусской архитектуры. Это было довольно симпатичное здание, особенно выделялись окна с кокошниками и красивая церковная главка. У восточной стены храма находилась простая звонница, так как полноценная колокольня в тюремном комплексе не предусматривалась.

В советский период в разгромленном здании старой полиции разместилась милиция. Новая большевистская власть не одобряла соседство церкви с народной милицией, поэтому купол и все декоративные элементы, включая кокошники, были уничтожены. Без них и с наглухо замазанными окнами здание, которое сейчас используется местным отделением ГАИ-ГИБДД, полностью утратило свою привлекательность.