In Rylsk gab es eine altgläubige Kirche, die 1737 erbaut wurde und als Pokrowskaja bekannt war, später als Blessingskirche. Sie hob sich durch zahlreiche Kuppeln, runde Dome und Zwiebelabschlüsse von anderen Kirchen ab. 1910 begann man mit dem Bau einer neuen Ziegel-Pokrowski-Kirche in der Nähe. Der Entwurf der steinernen altgläubigen Kirche wurde am 4. März 1909 genehmigt, der Entwurf des Glockenturms am 28. April 1910. Bis 1917 war die Kirche errichtet und es fanden Gottesdienste statt, obwohl sie noch nicht vollständig ausgestattet war. Der Priester war Vater Trofim. Der Protopriester Vokadorov schrieb über sie: "Während ihrer gesamten Existenz diente sie der Verherrlichung der Stadt Rylsk und ihrer Gebiete und vereinte alle Richtungen des lokalen Schismas in sich."

In der sowjetischen Zeit wurde die vielkuppelige Kirche abgerissen. Heute ist von der altgläubigen Kirche nur der unvollendete Glockenturm erhalten geblieben.