À un kilomètre du monastère, de l'autre côté de la rivière Oskol, dans les montagnes de craie se trouvent des grottes, où se situe une église dédiée à Ignace le Théophore. Qui a exactement commencé la création de ces grottes, on ne sait pas, mais depuis 1897, les moines ont commencé à les aménager et à les agrandir. Les travaux ont été difficiles et ont été suspendus une fois par ordre de la direction. En 1910, les grottes ont été nettoyées et inspectées par un architecte, qui a confirmé leur sécurité et la solidité du sol. Les grottes s'étendent sur plus de 300 sajenes (environ 640 m) et se trouvent à environ 50 sajenes (106 m) au-dessus du niveau de l'eau de la rivière. La largeur des grottes était d'environ 89 cm, et la hauteur, d'environ 3 m. À l'intérieur des grottes, un temple a été créé, mesurant environ 8 m de long, 6,5 m de large et 5,5 m de haut.

Le temple souterrain a été consacré le 4 mai 1914 en l'honneur d'Ignace le Théophore, qui a subi le martyre pour sa foi au premier siècle de notre ère. À l'entrée des grottes, une chapelle a été construite, et au sommet de la montagne, en 1916, la construction d'un temple au nom de la Transfiguration du Seigneur a commencé, mais il est resté inachevé. À l'endroit où les grottes ont été creusées, un ermitage a été établi, où vivaient jusqu'à 10 personnes en été, et un peu moins en hiver. Les grottes, avec le temple et les chapelles, sont devenues un ornement du monastère. T.M. Oleinikov a écrit que cet endroit rappelle le mont Thabor, c'est pourquoi il a été nommé "ermitage souterrain de Favore et d'Ignace le Théophore".

En 2005, un conseil de bienfaisance a été créé pour restaurer les sanctuaires du monastère. De 2005 à 2007, un temple en bois du saint martyr Ignace le Théophore a été construit au sommet de la montagne Lysa au-dessus des grottes. Pendant ce temps, les passages souterrains et le temple souterrain ont été nettoyés, un point de vue et des zones environnantes ont été aménagés, ainsi qu'une zone de parc.