В 1896 году на военном кладбище была возведена церковь в честь святого князя Александра Невского. Храм был небольшим, его площадь составляла всего 112 кв.м, не считая алтаря и притвора. Здесь проводились заупокойные службы и отпевания для военных и гражданских работников железнодорожной бригады, в которую входили три батальона.

С апреля 1921 по октябрь 1931 года этот храм, как и позднее Покровский, оставался единственным православным храмом в городе. Это произошло из-за пожара, уничтожившего приходскую церковь Смоленской иконы Божией Матери, которая находилась на месте современного Свято-Покровского храма.

После Великой Отечественной войны, в связи с застройкой центра города, было предложено перенести храм за город, на место, где сейчас проходит улица Тельмана. Однако прихожане отказались, так как в то время там был пустырь. В результате в 1949 году храм и причтовый дом были разобраны. Община святого Александра Невского объединилась с Покровской, а из материалов, полученных после демонтажа, были построены причтовые дома Свято-Покровского прихода. На месте бывшей кладбищенской церкви сейчас расположена стоянка такси на площади Ленина.

Интересно, что храм в честь святого Александра Невского все же появился на улице Тельмана, а неподалеку от места старого храма теперь стоит храм Святых Жен-Мироносиц.