В Рыльске существовала старообрядческая церковь, возведенная в 1737 году, известная как Покровская, а позже Благословенная. Она выделялась среди других храмов множеством глав, круглыми куполами и луковичными завершениями. В 1910 году рядом начали строить новую кирпичную Покровскую церковь. Проект каменной старообрядческой церкви был утвержден 4 марта 1909 года, а проект колокольни, 28 апреля 1910 года. До 1917 года церковь была возведена, и в ней проводились службы, хотя она оставалась не полностью благоустроенной. Священником служил отец Трофим. Протоиерей Вокадоров писал о ней: "Во все время своего существования она служила для прославления г. Рыльска и его уделов, объединяя в себе все направления местного раскола".

В советский период многоглавый храм был разобран. Сегодня от старообрядческой церкви сохранилась только недостроенная колокольня.