A un kilómetro del monasterio, al otro lado del río Oskol, en las montañas de yeso se encuentran las cuevas, donde se ubica la iglesia dedicada a Ignacio el Diosportador. No se sabe quién inició la creación de estas cuevas, pero desde 1897 los monjes comenzaron a acondicionarlas y ampliarlas. Los trabajos avanzaban con dificultad y en una ocasión fueron suspendidos por orden de las autoridades. En 1910, las cuevas fueron limpiadas y examinadas por un arquitecto, quien confirmó su seguridad y la solidez del terreno. Las cuevas se extendían más de 300 sazhenes (alrededor de 640 m) y se encontraban a una altura de aproximadamente 50 sazhenes (106 m) sobre el nivel del agua del río. El ancho de las cuevas era de aproximadamente 89 cm, y la altura, de alrededor de 3 m. Dentro de las cuevas se creó un templo de aproximadamente 8 m de largo, 6,5 m de ancho y 5,5 m de alto.

El templo subterráneo fue consagrado el 4 de mayo de 1914 en honor a Ignacio el Diosportador, quien sufrió muerte martirial por su fe en el primer siglo de nuestra era. A la entrada de las cuevas se construyó una capilla, y en la cima de la montaña en 1916 comenzó la construcción de un templo en nombre de la Transfiguración del Señor, que quedó inconcluso. En el lugar donde se inició la excavación de las cuevas se estableció un skit, donde en verano vivían hasta 10 personas, y en invierno un poco menos. Las cuevas junto con el templo y las capillas se convirtieron en un adorno del monasterio. T.M. Oleinikov escribió que este lugar recuerda al monte Tabor, por lo que se le llamó "Skit de las cuevas de Ignacio el Diosportador de Tabor".

En 2005 se creó un consejo de administración para la restauración de las reliquias del monasterio. Entre 2005 y 2007 se construyó un templo de madera en la cima de la montaña Lysa sobre las cuevas en honor al santo mártir Ignacio el Diosportador. En ese mismo tiempo se limpiaron los pasajes subterráneos y el templo de la cueva, se acondicionó una plataforma de observación y las áreas circundantes, así como se creó una zona de parque.