Historisch war die Kolonie Balzer lutherisch-reformiert. Ursprünglich gehörte sie zur evangelischen Gemeinde Messer, wurde jedoch 1856 zu einer eigenständigen Gemeinde. Die erste Holzkirche wurde 1777 erbaut und 1821 umgebaut. Es ist bekannt, dass der Tempel 1839 geweiht wurde. Das Gebäude, das oft auf alten Fotos zu sehen ist, wurde 1849 und 1851 errichtet. Es war eine geräumige Steinkirche mit Säulen und einem Glockenturm, die für 1350 Plätze ausgelegt war und sich im Zentrum des Dorfes befand. Nebenan gab es eine Gemeindeschule und ein Pfarrhaus. In der Sowjetzeit wurde der Tempel geschlossen, und heute befindet sich an seiner Stelle das Kino "Pobeda".

Die orthodoxe Kirche in Krasnoarmeisk entstand nach dem Zerfall der UdSSR. Am 2. Mai 1993 wurde in einem alten Ziegelhaus in der Kirova-Straße ein Tempel zu Ehren der heiligen Apostel Peter und Paul geweiht. An der Kirche wurde eine Sonntagsschule für Kinder eröffnet. Am 12. Juli 2004 führte Bischof Longin die Weihe des neuen Tempels durch. Während ein geräumiges Gebäude mit Glockenturm gebaut wird, finden die Gottesdienste weiterhin in den alten Räumlichkeiten statt.