С самого начала храм задумывался как кладбищенский. Деревянная церковь была возведена вскоре после того, как в 1784 году выделили землю под новое городское кладбище. Она строилась по образцовому проекту, который прилагался к первому Генеральному плану Рязани 1780 года. В 1807 году, при архиепископе Амвросии, на пожертвования надворного советника и купца Петра Алексеевича Мальшина вместо деревянной церкви возвели новую каменную. В ней располагались три престола: главный в честь иконы Божией Матери «Всех скорбящих Радость», правый, в честь праведного Алексия человека Божия, и левый, в честь преподобного Онуфрия Великого. Рядом с церковью, одновременно с её строительством, на средства Петра Алексеевича Мальшина был возведён дом для служителей храма, так как добираться к храму, находившемуся за городской чертой, было неудобно. Мальшин также планировал построить богадельню при храме, но по просьбе городских властей её перенесли на угол улиц Курганской и Мальшинской, ныне улиц Маяковского и Свободы.

Архитектура и внутреннее оформление храма отражали его предназначение. Небольшие размеры, камерность и уютность интерьера создавали атмосферу, призванную не вызывать восхищение и торжественность, а скорее успокаивать и утешать молящихся. В некоторых старинных источниках храм называли «Всех скорбящих Утешение». В храме хранится почитаемый список чудотворной иконы Пресвятой Богородицы «Всех скорбящих Радость», которая впервые прославилась в 1688 году в Москве, в Преображенской церкви на Ордынке, исцелением Евфимии, сестры Патриарха Иоакима. Также интерес представляет Тихвинская икона Божией Матери с окладом, вышитым бисером неизвестными мастерицами. Среди святынь храма, икона великомученика и целителя Пантелеимона с частицей его мощей. Иконостас храма был написан в 1878 году, а стены расписаны известным рязанским иконописцем Николаем Васильевичем Шумовым. Возле храма похоронен епископ Борис Скворцов, возглавлявший Рязанскую епархию с 1965 по 1972 год. На территории Скорбященского кладбища находится часовня в честь святой блаженной Любови Рязанской, над местом её погребения.

Во время Великой Отечественной войны на Скорбященском кладбище хоронили умерших в госпиталях Рязани раненых. Позже здесь был установлен мемориал в память о воинах-героях Великой Отечественной войны.