Успенская церковь в Рыльске изначально была обычной приходской церковью, но позже получила статус городского собора. Идея строительства каменной церкви Успения Пресвятой Богородицы принадлежала рыльскому купцу первой гильдии Ивану Федотовичу Филимонову, который разбогател на торговле косами из Австрии. Документы о времени строительства не сохранились, но общепринятая дата постройки, 1811 год, взята из «Клировых ведомостей» и относится к освящению престолов. Известно, что в конце XIX века в архиве собора хранились метрические книги с 1770 по 1810 годы и приходно-расходные книги с 1809 по 1840 годы. Это позволяет предположить, что деревянная церковь Успения существовала с конца 1770-х до 1809/10 годов, пока не была заложена новая каменная церковь с тремя престолами, главный из которых посвящен Успению Пресвятой Богородицы. 30 июля 1840 года церковь была преобразована в соборную по указу Святейшего Синода, что потребовало изменений в её оформлении. 9 июня 1847 года был утвержден план строительства каменной ограды вокруг церковной усадьбы. С середины XIX века в ансамбль собора вошла эта ограда, выполненная в стиле позднего классицизма.

Близость храма к главной торговой площади города вызывала просьбы о строительстве торговых лавок, но они отклонялись, так как в завещании Филимонова было запрещено застраивать территорию вокруг храма. Имя автора проекта и мастеров, участвовавших в строительстве, неизвестно. Собор долгое время служил учебным центром для духовного училища, переведенного в Рыльск в 1876 году, и семинарии, открытой в 1906 году. Успенский собор оставался действующим до 1936 года, после чего был закрыт и использовался в хозяйственных целях, постепенно приходя в упадок. Сейчас ведутся реставрационные работы и проводятся службы.

Храм представляет собой монументальное здание в стиле зрелого классицизма. Это четырехстолпный крестово-купольный храм с пятью главами, внешне напоминающий четверик со скругленными углами и четырьмя портиками в центре каждого фасада. Здание полностью кирпичное, с ограниченным использованием белого камня в декоре карнизов. Храм имеет три престола: главный престол Успения Божией Матери находится в восточном рукаве, престол Василия Великого, в юго-восточной угловой ячейке, а престол Иоанна Предтечи, в северо-восточной. Иконостасы, вероятно, были выполнены в стиле позднего классицизма. С середины XIX века храм был теплым благодаря системе отопления с «амосовскими» печами в подвалах. Колокольня собора, примыкающая с западной стороны, имеет четыре яруса и квадратную форму. Она была построена одновременно с храмом и соединена с ним переходом. В её архитектуре заметно влияние барокко. Часы на колокольне установили в начале XX века, а шпиль, вероятно, заменили на рубеже XIX-XX веков.