Dans la Penza d'avant la révolution, il y avait de nombreux temples variés, ce qui étonnait même les voyageurs. En plus des églises, la ville comptait aussi des chapelles. L'une des plus vénérées se trouvait derrière la 15e maison sur la rue Kirov.

L'histoire de cette chapelle a commencé avec une petite source qui jaillissait de la montagne, où se trouve maintenant le belvédère. En 1765, un ancien paysan de monastère, Fiodor Bochkarev, a décidé de construire sa propre église et a érigé à côté du ruisseau une petite chapelle en bois. Selon les souvenirs des contemporains, de véritables miracles ont commencé à se produire peu après. Les premiers cas de guérison datent de 1831. Cet été-là, une épidémie de choléra a éclaté dans la ville, et, selon les dires, un ange est apparu en rêve à la femme du conseiller titulaire Paraskéva Mazyryna, lui ordonnant de prier devant l'icône de la Source vivifiante. La femme a suivi ce conseil, et bientôt tous les malades ont été guéris. Depuis lors, la chapelle est devenue très vénérée. La direction diocésaine a même alloué des fonds pour son aménagement. Au milieu du 19e siècle, la chapelle a été reconstruite en pierre, remplaçant le bois, une salle à manger pour 250 personnes a été ajoutée et les chapelles ont été élargies. Les habitants de Penza considéraient la source locale comme sainte et y prenaient de l'eau par seaux.

La chapelle s'est détériorée et a finalement été détruite au milieu du siècle dernier. La source elle-même a disparu, probablement asséchée.