El templo de la Icono de Kazán en el territorio del monasterio se construyó de 1874 a 1885 bajo la dirección de la abadesa Arsenia. El proyecto del templo fue desarrollado por el profesor de la Academia de Bellas Artes de San Petersburgo, el académico I.I. Gornostáev. La madre Arsenia era hija del conocido general Mijaíl Vasílievich Sebriákov, líder del Ejército Don, quien también hizo donaciones para la construcción del templo. Tras la finalización de la construcción y la consagración del templo, Arsenia, con tres monjas, comenzó a excavar cuevas debajo de él. Estos laberintos, según el plan de la abadesa, simbolizaban la historia de los últimos días de Cristo, incluyendo la Semana Santa, la traición de Judas y la crucifixión de Jesús. Las cuevas se dividen en dos caminos: uno simboliza el camino de Cristo, el otro, el de la Madre de Dios, y ambos conducen al Gólgota. En 1905, Arsenia falleció a la edad de 72 años y fue enterrada en la cripta de la iglesia inferior del monasterio.

Con la llegada del poder soviético, el monasterio fue cerrado, el templo saqueado y el ataúd con el cuerpo de la abadesa Arsenia fue abierto. El cuerpo resultó ser incorrupto, pero a la mañana siguiente el ataúd desapareció y aún no ha sido encontrado. Actualmente, en el Monasterio Uspensko-Preobrazhensky Ust-Medveditsky se encuentran el templo superior de la Icono de Kazán y el templo inferior del venerable Arsenio el Grande. La iglesia subterránea, la cueva de la madre Arsenia, donde se encuentra la Piedra Sagrada, también está siendo restaurada.