Die über der Quelle errichtete Kapelle im Namen Allerheiligen wurde am 9. August 1998 von Erzbischof Paisij von Orjol und Liwen mit der Teilnahme des Pfarrers Protopresbyter Wladimir (Dorosh W. W.) und des Stifters Iossif Nikolajewitsch Kalaschnikow geweiht. Die Kapelle befindet sich über einem Brunnen, aus dem Wasser aus einer Tiefe von 140 Metern aufsteigt und am Kreuz innerhalb der Kapelle herabfließt.

An diesem Ort wurde in den Jahren 1641-1646 eine hölzerne Kirche erbaut, die als Tempel des Epiphanie-Männerklosters diente, das bis 1680 existierte. Nach dem Brand in diesem Jahr wurde das Kloster auf den Wzwoznoj-Berg verlegt, und für die Kirche wurde ein Steingebäude errichtet. Im Jahr 1822 wurde an dem Glockenturm mit der Uhr eine große Glocke mit einem Gewicht von 568 Pud (etwa 9 Tonnen) installiert, und bis 1830 läutete ihr Klang als Beginn des Glockenläutens aller Kirchen in Orjol.

In den Jahren 1837-1838 wurde die Kirche erheblich umgebaut und erweitert, die Trauungshalle wurde mit dem Glockenturm verbunden, und es wurde eine steinerne Umfriedung mit Haupttoren errichtet. Im Jahr 1900 wurde der baufällige Glockenturm abgerissen, und 1908 wurde ein Tor-Glockenturm erbaut, der 1930 zerstört wurde. Von 1901 bis 1903 war Ilja Wassiljewitsch Liwanskij (1854-1920), ein bekannter geistlicher Schriftsteller, Heimatforscher und Bibliophiler, der den Religionsunterricht an verschiedenen Bildungseinrichtungen der Stadt unterrichtete, der Priester und von 1903 bis 1920 der Pfarrer der Kirche. In den Jahren 1921-1922 lebte der orjoler Narrenheilige Afanasij Andrejewitsch Saiko (1887-1967) im Glockenturm.

Die Kirche wurde 1938 geschlossen, ein Jahr später wurde der Glockenturm abgerissen und die Umfriedung zerstört. In den Jahren 1939-1941 befand sich im Gebäude ein antireligiöses Museum. Die Gottesdienste wurden im Dezember 1941 wieder aufgenommen. Nach der Befreiung Orjols von den deutschen faschistischen Besatzern blieb die Kirche Kathedrale, wurde jedoch 1960 erneut geschlossen. Von 1962 bis 1993 befand sich im Gebäude ein Puppentheater. Im Jahr 1993 wurde die Kirche der Gemeinde der Gläubigen übergeben, und nach Renovierungs- und Wiederherstellungsarbeiten wurde sie 1996 geweiht. In den Jahren 1997-1998 wurde neben der Kirche die über der Quelle errichtete Kapelle im Namen Allerheiligen gebaut und geweiht.