En muchos monasterios rusos existían skites que servían como lugares de soledad y silencio para los monjes ermitaños. Así, los monjes del monasterio de Valuy construyeron inicialmente una casa de madera en el bosque, pero más tarde establecieron un skite en las cuevas de yeso, ubicadas a un kilómetro del monasterio, al otro lado del río Oskol. Investigaciones de espeleólogos realizadas a finales del siglo XX mostraron que las cuevas en la región de Belgorod tienen origen natural. Es difícil determinar la fecha exacta de la fundación del skite de la cueva, pero por indicios indirectos se puede atribuir a mediados del siglo XVII.

A principios del siglo XX, debido al mal estado de las galerías subterráneas, se llevó a cabo un complejo de trabajos de restauración en las cuevas. Se reforzaron las zonas peligrosas de las paredes y el techo, y se sellaron las grietas y hendiduras con yeso. La adecuación del skite comenzó en 1890, principalmente con donaciones de los feligreses. Los trabajos fueron realizados tanto por la comunidad del monasterio como con la ayuda de habitantes locales de confianza. Las cuevas fueron limpiadas, ampliadas y reforzadas, y en 1910 un arquitecto las declaró seguras. En las cuevas se creó un templo en honor al santo mártir Ignacio de Bogonosets. Las cuevas se encuentran a una altura de 106 metros sobre el nivel del agua del río.

Se estima que la longitud total de los pasajes subterráneos es de aproximadamente un kilómetro, de los cuales actualmente se han limpiado 640 metros. El ancho de las cuevas alcanza un metro, y la altura, alrededor de tres. El templo subterráneo fue consagrado el 4 de mayo de 1914 en honor a Ignacio de Bogonosets, un santo que sufrió muerte martirial por la fe cristiana en el siglo I d.C. En la montaña sobre las cuevas, en 1916 se comenzó a construir un templo en nombre de la Transfiguración del Señor, pero quedó inconcluso. En 1917, la iglesia fue incendiada.

Los trabajos de restauración comenzaron en 2005, y en 2007 se inauguró el complejo cultural e histórico "Monasterio de la cueva en nombre de Ignacio de Bogonosets", transferido a la Iglesia Ortodoxa Rusa. Actualmente, en este lugar se encuentra el templo de Ignacio de Bogonosets.