В конце XIX и начале XX века центральная площадь города носила название Соборной, поскольку там находился Спасо-Вознесенский кафедральный собор. В 1925 году на месте, где стоял собор, был разбит сад имени В.И. Ленина. В состав соборного комплекса входила часовня, построенная в честь спасения императора Александра II от покушения революционера Каракозова в апреле 1866 года. Часовня сохранилась до нашего времени и была отреставрирована в конце 1990-х годов.