Der Tempel der Kazaner Ikone der Gottesmutter auf dem Gelände des Klosters wurde von 1874 bis 1885 unter der Leitung der Äbtissin Arsenia errichtet. Das Projekt des Tempels wurde von Professor I.I. Gornostajev, Akademiker der Sankt Petersburger Akademie der Künste, entworfen. Mutter Arsenia war die Tochter des bekannten Generals Michail Wasiljewitsch Sebrjakow, des Anführers der Donkosaken, der ebenfalls Spenden für den Bau des Tempels leistete. Nach der Fertigstellung und Weihe des Tempels begann Arsenia mit drei Nonnen, unter ihm Höhlen zu graben. Diese Labyrinthe symbolisierten nach dem Plan der Äbtissin die Geschichte der letzten Tage Christi, einschließlich der Karwoche, des Verrats von Judas und der Kreuzigung Jesu. Die Höhlen teilen sich in zwei Wege: einer symbolisiert den Weg Christi, der andere den der Gottesmutter, und beide führen zum Golgatha. Im Jahr 1905 starb Arsenia im Alter von 72 Jahren und wurde in der Gruft der unteren Kirche des Klosters beigesetzt.

Mit dem Kommen der sowjetischen Macht wurde das Kloster geschlossen, der Tempel geplündert und der Sarg mit dem Körper der Äbtissin Arsenia geöffnet. Der Körper war unversehrt, aber am nächsten Morgen verschwand der Sarg und wurde bis heute nicht gefunden. Derzeit befinden sich im Spaso-Transfiguration Ust-Medwedizki Kloster der obere Tempel der Kazaner Ikone der Gottesmutter und der untere Tempel des heiligen Arsenia des Großen. Die unterirdische Kirche, die Höhle der Mutter Arsenia, wo der Heilige Stein liegt, wird ebenfalls restauriert.