En Rylsk existía una iglesia viejo creyente, construida en 1737, conocida como la iglesia de la Protección, y más tarde como la Bendita. Se destacaba entre otras iglesias por sus múltiples cúpulas, cúpulas redondas y remates en forma de cebolla. En 1910, comenzaron a construir una nueva iglesia de ladrillo de la Protección. El proyecto de la iglesia de piedra viejo creyente fue aprobado el 4 de marzo de 1909, y el proyecto del campanario, el 28 de abril de 1910. Hasta 1917, la iglesia fue erigida y se celebraban servicios en ella, aunque no estaba completamente equipada. El sacerdote era el padre Trofim. El protoiereo Vokadorov escribió sobre ella: "Durante toda su existencia, sirvió para la glorificación de la ciudad de Rylsk y sus dominios, uniendo en sí todas las direcciones de la división local".

En el período soviético, la iglesia de múltiples cúpulas fue desmantelada. Hoy en día, de la iglesia viejo creyente solo queda el campanario inacabado.