Im Jahr 1896 wurde auf dem Militärfriedhof eine Kirche zu Ehren des heiligen Fürsten Alexander Newski errichtet. Die Kirche war klein, ihre Fläche betrug nur 112 qm, ohne den Altar und den Vorraum. Hier fanden Trauergottesdienste und Beerdigungen für Militärs und zivile Mitarbeiter der Eisenbahnbaugruppe statt, die aus drei Bataillonen bestand.

Von April 1921 bis Oktober 1931 war diese Kirche, wie später die Pokrowski-Kirche, die einzige orthodoxe Kirche in der Stadt. Dies geschah aufgrund eines Brandes, der die Pfarrkirche der Smolensker Ikone der Gottesmutter zerstörte, die sich an der Stelle der heutigen Heiligen Pokrowski-Kirche befand.

Nach dem Zweiten Weltkrieg wurde im Zusammenhang mit dem Bau im Stadtzentrum vorgeschlagen, die Kirche außerhalb der Stadt an den Ort zu verlegen, wo sich heute die Telman-Straße befindet. Die Gemeindemitglieder lehnten jedoch ab, da es damals dort eine Brachfläche gab. Infolgedessen wurden 1949 die Kirche und das Pfarrhaus abgerissen. Die Gemeinde des heiligen Alexander Newski vereinigte sich mit der Pokrowski-Gemeinde, und aus den Materialien, die nach dem Abbruch gewonnen wurden, wurden die Pfarrhäuser der Heiligen Pokrowski-Gemeinde gebaut. An der Stelle der ehemaligen Friedhofskirche befindet sich jetzt ein Taxistandplatz auf dem Leninplatz.

Interessanterweise erschien die Kirche zu Ehren des heiligen Alexander Newski dennoch in der Telman-Straße, und in der Nähe des Standorts der alten Kirche steht jetzt die Kirche der heiligen Frauen-Mironen.