Исторически колония Бальцер была лютеранско-реформатской. Изначально она входила в состав евангелического прихода Мессер, но в 1856 году стал самостоятельным приходом. Первую деревянную церковь построили в 1777 году, затем её перестроили в 1821 году. Известно, что храм был освящён в 1839 году. Здание, которое часто можно увидеть на старых фотографиях, возвели в 1849 и 1851 годах. Это была просторная каменная кирха с колоннами и колокольней, рассчитанная на 1350 мест, находившаяся в центре села. При ней действовали приходская школа и пасторат. В советское время храм закрыли, и сейчас на его месте находится кинотеатр "Победа".

Православная церковь в Красноармейске появилась после распада СССР. 2 мая 1993 года в старом кирпичном доме на улице Кирова был освящён храм во имя святых первоверховных апостолов Петра и Павла. При церкви открыли воскресную школу для детей. 12 июля 2004 года епископ Лонгин провёл Чин основания нового храма. Пока строится просторное здание с колокольней, богослужения продолжаются в старом помещении.