Históricamente, la colonia Balzer fue luterano-reformada. Inicialmente, formaba parte de la parroquia evangélica de Messer, pero en 1856 se convirtió en una parroquia independiente. La primera iglesia de madera se construyó en 1777, y luego se reconstruyó en 1821. Se sabe que el templo fue consagrado en 1839. El edificio, que a menudo se puede ver en viejas fotografías, se erigió en 1849 y 1851. Era una amplia iglesia de piedra con columnas y un campanario, diseñada para 1350 asientos, ubicada en el centro del pueblo. Contaba con una escuela parroquial y un pastorado. Durante la época soviética, el templo fue cerrado, y ahora en su lugar se encuentra el cine 'Victoria'.

La iglesia ortodoxa en Krasnoarmeysk apareció después de la disolución de la URSS. El 2 de mayo de 1993, se consagró un templo en una antigua casa de ladrillo en la calle Kirov en nombre de los santos apóstoles Pedro y Pablo. Se abrió una escuela dominical para niños en la iglesia. El 12 de julio de 2004, el obispo Longin realizó el rito de fundación de un nuevo templo. Mientras se construye un amplio edificio con campanario, los servicios continúan en el antiguo local.