Dans de nombreux monastères russes, il existait des ermitages, servant de lieux de solitude et de silence pour les moines ermites. Ainsi, les moines du monastère de Valouï ont initialement construit une maison en bois dans la forêt, mais ont ensuite aménagé un ermitage dans des grottes de craie, situées à un kilomètre du monastère, de l'autre côté de la rivière Oskol. Des recherches menées par des spéléologues à la fin du XXe siècle ont montré que les grottes de la région de Belgorod ont une origine naturelle. Il est difficile de déterminer la date exacte de la fondation de l'ermitage, mais par des indices indirects, on peut le dater du milieu du XVIIe siècle.

Au début du XXe siècle, en raison de l'état dégradé des galeries souterraines, un ensemble de travaux de restauration a été réalisé dans les grottes. Les zones dangereuses des murs et du plafond ont été renforcées, et les fissures et les crevasses ont été colmatées avec du plâtre. L'aménagement de l'ermitage a commencé en 1890, principalement grâce aux dons des paroissiens. Les travaux ont été réalisés tant par la communauté monastique que par des habitants de confiance. Les grottes ont été nettoyées, élargies et renforcées, et en 1910, un architecte les a déclarées sûres. Un temple a été créé dans les grottes en l'honneur du saint martyr Ignace de Dieu. Les grottes se trouvent à une altitude de 106 mètres au-dessus du niveau de l'eau de la rivière.

On estime que la longueur totale des passages souterrains est d'environ un kilomètre, dont 640 mètres sont actuellement dégagés. La largeur des grottes atteint un mètre, et la hauteur, environ trois. Le temple souterrain a été consacré le 4 mai 1914 en l'honneur d'Ignace de Dieu, un saint qui a subi un martyre pour la foi chrétienne au Ier siècle de notre ère. Sur la colline au-dessus des grottes, la construction d'un temple au nom de la Transfiguration du Seigneur a commencé en 1916, mais il est resté inachevé. En 1917, l'église a été incendiée.

Les travaux de restauration ont commencé en 2005, et en 2007, le complexe culturel et historique « Monastère souterrain au nom d'Ignace de Dieu » a été ouvert, transféré à l'Église orthodoxe russe. Actuellement, un temple d'Ignace de Dieu se trouve à cet endroit.