En la Penza de antes de la revolución había numerosos templos diversos, lo que sorprendía incluso a los viajeros. Además de iglesias, la ciudad contaba con capillas. Una de las más veneradas se encontraba detrás de la casa 15 en la calle Kírov.

La historia de esta capilla comenzó con una pequeña fuente que brotaba de la montaña, donde ahora se encuentra el mirador. En 1765, un antiguo campesino del monasterio, Fiódor Bochkariov, decidió construir su iglesia y erigió junto al arroyo una pequeña capilla de madera. Según los recuerdos de los contemporáneos, pronto comenzaron a ocurrir verdaderos milagros. Los primeros casos de curación datan de 1831. En el verano de ese año, la ciudad fue azotada por una epidemia de cólera, y, según se dice, en sueños se le apareció un ángel a la esposa del consejero titular Paraskéva Mazyryna, quien le ordenó rezar ante el ícono de la Fuente Vivificante. La mujer siguió el consejo, y pronto todos los enfermos se sanaron. Desde entonces, la capilla se volvió muy venerada. La dirección diocesana incluso asignó fondos para su embellecimiento. A mediados del siglo XIX, la capilla fue reconstruida de madera a piedra, se añadió un comedor para 250 personas y se ampliaron los altares. Los habitantes de Penza consideraban el manantial local sagrado y recogían agua de allí en cubos.

La capilla se deterioró y se destruyó por completo a mediados del siglo pasado. También desapareció la fuente misma, probablemente se secó.