La única iglesia viejo ritual en Penza estaba situada en las afueras de la ciudad, en la zona de las modernas calles Kavkaz y Shevchenko. Ahora no queda nada de ella.

Los viejos ritualistas comenzaron a trasladarse a esta región a finales del siglo XVII. Buscaban refugio en el Campo Salvaje, escapando de las persecuciones del gobierno, que los equiparaba a sectarios. En la frontera del Estado de Moscú, la presión se sentía más débil, y los primeros colonos trataban de no molestar a los viejos ritualistas, ya que tenían suficientes preocupaciones. Con el tiempo, el número de viejos ritualistas en Penza aumentó, y a finales del siglo XIX contaban con varios miles. Durante este período, la comunidad logró obtener permiso para crear un lugar de oración oficial. Sin embargo, no se les permitió construir la iglesia en el centro de la ciudad, y se les asignó un terreno en las afueras. El templo era de madera y modesto, pero aquí se reunían los viejos ritualistas de Penza para sus festividades religiosas. Estuvo en la zona de las calles Kavkaz y Shevchenko hasta la década de 1920, después de lo cual desaparecen las referencias sobre él.

Las últimas menciones sobre las comunidades viejo ritualistas datan de la década de 1930. Con la llegada de la política anticlerical, no desaparecieron, sino que solo se fueron temporalmente a la clandestinidad.