Храм Вознесения Господня был возведен в 1866 году. Согласно клировым ведомостям за 1915 год, его строительство было осуществлено благодаря усилиям купцов Ивана Стефановича Деменкова и Никифора Гавриловича Каменкова, а также на проценты от вклада коммерции советника Григория Ивановича Шелехова и пожертвования других благотворителей.

Церковь выделяется своим внешним видом и архитектурой среди других храмов Рыльска. Ее основание и сам храм выполнены в форме корпуса, напоминающего ковчег. Вероятно, этот план был выбран в честь великого мореплавателя. Семиглавый храм выглядит красиво и величественно со всех сторон. Внутри иконостас был сделан из кирпича и украшен деревянными резными элементами, такими как наличники, пояски, карнизы и полуколонны. Царские врата с изображениями ангелов были покрыты позолотой. Здание было оштукатурено и окрашено в белый цвет, а купола покрыты луженой сталью и выкрашены в голубой цвет. Золоченые купола и кресты, устремленные ввысь, придают храму особую красоту и величие.

В тридцатых годах XX века Вознесенская церковь стала использоваться как склад горкомхоза. С 1942 по март 1943 года в храме проводились богослужения с разрешения немецкого командования. После освобождения Рыльска от оккупантов церковь вновь закрыли: были разобраны деревянные полы, сняты наличники и царские врата алтаря. Храм снова использовали как склад стройматериалов. В 1985 году городские власти приняли решение отреставрировать храм и использовать его в качестве картинной галереи. В ходе реконструкции планировалось разобрать кирпичный алтарь, переделать притвор, устроив там раздевалку, а колокольню использовать как склад.

В октябре 1990 года храм был передан Русской православной церкви, и с 1991 года в Вознесенском храме возобновились богослужения.