Historiquement, la colonie de Balcer était luthérienne-réformée. Initialement, elle faisait partie de la paroisse évangélique de Messer, mais en 1856, elle est devenue une paroisse autonome. La première église en bois a été construite en 1777, puis elle a été reconstruite en 1821. Il est connu que le temple a été consacré en 1839. Le bâtiment, que l'on peut souvent voir sur de vieilles photographies, a été érigé en 1849 et 1851. C'était une grande église en pierre avec des colonnes et un clocher, pouvant accueillir 1350 personnes, située au centre du village. Une école paroissiale et un presbytère y fonctionnaient. À l'époque soviétique, le temple a été fermé, et maintenant, à sa place se trouve le cinéma "Pobeda".

L'église orthodoxe à Krasnoarmeysk est apparue après la dissolution de l'URSS. Le 2 mai 1993, un temple au nom des saints apôtres Pierre et Paul a été consacré dans une vieille maison en briques sur la rue Kirov. Une école du dimanche pour les enfants a été ouverte à l'église. Le 12 juillet 2004, l'évêque Longin a célébré la cérémonie de fondation d'un nouveau temple. En attendant la construction d'un grand bâtiment avec un clocher, les services religieux continuent dans l'ancien local.