En 1772 se emitió un decreto que prohibía enterrar a los fallecidos dentro de la ciudad, cerca de las iglesias parroquiales. En relación con esto, se asignó un terreno para el cementerio de la ciudad en la Colina Roja, detrás de la iglesia de Pokrov. El 1 de julio de 1772, se realizó una procesión desde la Catedral de la Asunción hacia el nuevo cementerio, y se instaló una cruz en el lugar de la futura iglesia del cementerio. El 22 de mayo de 1774, se llevó a cabo nuevamente una procesión desde la Catedral de la Asunción hacia el cementerio, donde, después de un servicio, se colocó la primera piedra de una iglesia de madera, trasladada desde la parroquia de Navidad de Cristo en la volost de Sukhonka.

La iglesia fue consagrada el 15 de octubre de 1774 en nombre de San Esteban de Velikoperm. El 4 de agosto de 1799, el obispo de Vologda y Velikoustyug, Arsenio, emitió un decreto para la construcción de una iglesia de piedra en honor a Esteban de Perm. El 30 de junio de 1800, se colocó la base de la iglesia de piedra en nombre de la Madre de Dios de Todos los Que Lloran de Alegría, con capillas en honor al santo Esteban de Perm y al venerable Teodosio de Totem, el milagroso. La construcción fue financiada por los feligreses bajo la dirección de los comerciantes Yamshikov.

La torre del campanario de la iglesia del cementerio de Esteban se construyó al mismo tiempo que el templo y tenía nueve campanas de diferentes tamaños. La más grande de ellas, fundida en 1807, pesaba 107 puds y 30 libras y estaba decorada con imágenes de la Crucifixión del Señor, la Madre de Dios y Nicolás el Milagroso. El tiempo de fabricación y el peso de la segunda campana más grande son desconocidos. La tercera campana, que pesaba 12 puds, fue fundida en Ustyug en 1786. Las demás campanas eran pequeñas y no tenían características notables.

En la década de 1960, se emitió una resolución secreta del Comité Central del PCUS, firmada por Nikita Sergeyevich Jruschov, sobre la liquidación de iglesias en la URSS. Las autoridades locales debían cumplir con esta orden. En Veliky Ustyug se decidió que en el cementerio no había inspectores, y mediante una resolución del ejecutivo del 8 de enero y 6 de mayo de 1964, se cerró la Catedral de Prokopyevsky, dejando solo la iglesia del cementerio de Esteban-Perm para los creyentes. En relación con esto, se planeó realizar reparaciones en la iglesia: instalar un iconostasio, calefacción por vapor, colocar pisos, limpiar y pintar las paredes, decorar los templos, acondicionar los coros, el vestíbulo y el pórtico, blanquear las paredes exteriores y pintar las cruces en las cúpulas. También se suprimió la capilla en honor a Teodosio de Totem, y en su lugar se instaló un relicario de Prokopy el Justo de la Catedral de Prokopyevsky.

En 1965 y 1966, se pintó el techo y las cúpulas del templo, se doró el iconostasio en la capilla de Esteban, se restauraron íconos y se decoraron nichos. En 1970, se repararon los techos, se reconstruyó el iconostasio en la capilla, se reparó la capilla y se decoró la cúpula. Poco a poco, la iglesia de Esteban-Perm recuperó un aspecto digno para los servicios religiosos. Hasta 1991, fue la única iglesia parroquial activa en Veliky Ustyug.