Храм Казанской иконы Божией Матери на территории монастыря возводился с 1874 по 1885 год под руководством настоятельницы Арсении. Проект храма разработал профессор Санкт-Петербургской академии художеств, академик И.И. Горностаев. Матушка Арсения была дочерью известного генерала Михаила Васильевича Себрякова, предводителя Войска Донского, который также вносил пожертвования на строительство храма. После завершения строительства и освящения храма Арсения с тремя монахинями начала рыть под ним пещеры. Эти лабиринты, по замыслу настоятельницы, символизировали историю последних дней Христа, включая Страстную неделю, предательство Иуды и распятие Иисуса. Пещеры разделяются на два пути: один символизирует путь Христа, другой, Богоматери, и оба ведут к Голгофе. В 1905 году Арсения скончалась в возрасте 72 лет и была похоронена в склепе нижней церкви монастыря.

С приходом советской власти монастырь был закрыт, храм разграблен, а гроб с телом игуменьи Арсении вскрыт. Тело оказалось нетленным, но на следующее утро гроб исчез и до сих пор не найден. В настоящее время в Спасо-Преображенском Усть-Медведицком монастыре находятся верхний храм Казанской иконы Божьей Матери и нижний храм преподобного Арсения Великого. Подземная церковь, пещера Матушки Арсении, где расположен Святой камень, также восстанавливается.