До начала XX века старообрядцы Рязани не имели собственного храма и проводили службы в молитвенных домах. В 1904 году рязанский купец Феодот Игнатьевич Масленников, при поддержке своих братьев, решил построить храм за свой счет. Несмотря на гонения на старообрядцев, он приобрел землю для кладбища и построил сторожевой дом, где проводились первые богослужения. В 1904 году участок кладбища был огорожен каменной стеной по указу Рязанского Губернского Правления. После указа императора Николая II о веротерпимости в 1905-1906 годах, Масленников подал прошение в Министерство внутренних дел и Рязанское Губернское Правление о разрешении строительства храма на кладбище. К прошению прилагался план постройки, утвержденный старообрядческим архиепископом Иоанном.

Подготовительные работы начались в 1907-1908 годах, когда был утвержден проект каменного храма с колокольней. Летом следующего года состоялась закладка первого камня. Храм Пресвятой Богородицы был освящен в честь Ее иконы «Всем скорбящим радость». На собрании общины 21 ноября 1910 года протоиерей Еразм Иванович Пчелин был избран духовным отцом храма. В 1912 году состоялось освящение и поднятие колоколов на колокольню. После 12 лет службы Пчелин был переведен в Егорьевск, а его место занял о. Димитрий Варакин, который помогал епископу Александру в годы гражданской войны. В 1929 году Варакин был переведен на другой приход, но богослужения продолжались до 1937 года, когда начались репрессии, и храм был закрыт.

Последним священником перед Великой Отечественной войной был о. Тимофей, который был арестован и расстрелян. С 1937 по 1945 год храм оставался закрытым и разграбленным. С 1991 года здания церковного комплекса были переданы общине, которая под руководством священника Александра активно занимается их восстановлением. Братья во Христе проводят реставрационные работы, стремясь вернуть храму прежний облик.