28 июня 1888 года соборный протоиерей Писаревский вместе с городским духовенством освятил каменную часовню, построенную жителями в 1884 году рядом с соборной церковью в память о мученической смерти Императора Александра II.

Существует и другая версия, согласно которой эта часовня была освящена, как и часовня Александра Невского в Ярославле, в честь чудесного спасения семьи Александра III при крушении поезда 17 октября 1888 года и посвящена небесному покровителю царя Александру Невскому.