In der vorrevolutionären Penza gab es viele verschiedene Kirchen, was selbst Reisende erstaunte. Neben den Kirchen gab es in der Stadt auch Kapellen. Eine der am meisten verehrten befand sich hinter dem 15. Haus in der Kirov-Straße.

Die Geschichte dieser Kapelle begann mit einer kleinen Quelle, die aus dem Berg sprudelte, wo sich heute der Aussichtspunkt befindet. Im Jahr 1765 beschloss der ehemalige Klosterknecht Fjodor Bochkarev, seine eigene Kirche zu bauen und errichtete neben dem Bächlein eine kleine hölzerne Kapelle. Laut den Erinnerungen von Zeitgenossen begannen bald wahre Wunder zu geschehen. Die ersten Heilungsfälle datieren auf das Jahr 1831. Im Sommer jenes Jahres brach in der Stadt eine Choleraepidemie aus, und wie berichtet wird, erschien im Traum der Frau des Titularrates Paraskeva Mazyryna ein Engel, der ihr befahl, vor dem Ikone der Lebensspendenden Quelle zu beten. Die Frau folgte dem Rat, und bald wurden alle Kranken geheilt. Seitdem wurde die Kapelle sehr verehrt. Die Diözesanleitung stellte sogar Mittel für ihre Verschönerung bereit. In der Mitte des 19. Jahrhunderts wurde die Kapelle von Holz in Stein umgebaut, eine Speisehalle für 250 Personen hinzugefügt und die Seitenkapellen erweitert. Die Einwohner von Penza hielten die lokale Quelle für heilig und schöpften Wasser mit Eimern daraus.

Die Kapelle verfiel und wurde in der Mitte des letzten Jahrhunderts endgültig zerstört. Auch die Quelle selbst verschwand, wahrscheinlich versiegte sie.