À Rylsk, il existait une église vieux-croyante, construite en 1737, connue sous le nom de l'église de la Protection, puis de l'église Béatifiée. Elle se distinguait des autres églises par ses multiples coupoles, ses dômes ronds et ses terminaisons en forme d'oignon. En 1910, on a commencé à construire une nouvelle église de briques de la Protection à proximité. Le projet de l'église vieux-croyante en pierre a été approuvé le 4 mars 1909, et le projet du clocher, le 28 avril 1910. Jusqu'en 1917, l'église a été érigée et des services y ont été célébrés, bien qu'elle soit restée inachevée. Le prêtre était le père Trofim. Le protodiacre Vokadorov a écrit à son sujet : "Tout au long de son existence, elle a servi à glorifier la ville de Rylsk et ses domaines, unissant en elle toutes les tendances de la scission locale".

Pendant la période soviétique, le temple à plusieurs coupoles a été démoli. Aujourd'hui, il ne reste de l'église vieux-croyante que le clocher inachevé.