La iglesia de Elías fue construida en 1844 gracias a los esfuerzos de todos los habitantes de la ciudad. Era de piedra y sólida, con cinco altares: uno principal y cuatro en las capillas. En las capillas frías estaban los altares de San Nicolás y de la santa mártir reina Alexandra, y en las cálidas, en honor de la Presentación del Señor y de la imagen de la Madre de Dios de Kazán.

La iglesia estaba bien equipada con utensilios y tenía una casa de guardia de piedra. La más cercana a ella era la iglesia catedral de la Trinidad en la misma ciudad. La iglesia no tenía tierras de propiedad, pero en 1879 se le asignaron 33 desiatinas de tierras cultivables de las parcelas de los campesinos del pueblo de Yeremenikha. En la iglesia funcionaba una escuela parroquial, abierta el 15 de enero de 1888.

Para 1912, la iglesia era visitada por hasta cuatro mil feligreses y poseía 33 desiatinas de tierra. Sin embargo, el 2 de marzo de 1930, las autoridades decidieron cerrar la iglesia. Su edificio y campanario fueron desmantelados, y 2 millones de ladrillos se utilizaron para la construcción de un departamento militar. La actual calle Lunacharsky se llamaba anteriormente calle de Elías, ya que en ella se encontraba la iglesia de Elías, que dio nombre a la calle.