Bei vielen russischen Klöstern gab es Einsiedeleien, die als Orte der Abgeschiedenheit und Stille für Eremiten dienten. So bauten die Mönche des Walujskij-Klosters ursprünglich ein Holzhaus im Wald, richteten aber später eine Einsiedelei in den Kreidehöhlen ein, die sich einen Kilometer vom Kloster entfernt am Fluss Oskol befinden. Forschungen von Höhlenforschern, die Ende des 20. Jahrhunderts durchgeführt wurden, zeigten, dass die Höhlen in der Region Belgorod natürlichen Ursprungs sind. Das genaue Gründungsdatum der Höhlenkloster ist schwer zu bestimmen, aber aufgrund indirekter Hinweise kann es auf die Mitte des 17. Jahrhunderts datiert werden.

Zu Beginn des 20. Jahrhunderts wurden aufgrund des schlechten Zustands der unterirdischen Galerien umfassende Restaurierungsarbeiten in den Höhlen durchgeführt. Gefährliche Wand- und Deckenbereiche wurden verstärkt, und Risse und Spalten wurden mit Putz verschlossen. Die Einrichtung der Einsiedelei begann 1890, hauptsächlich durch Spenden der Gemeindemitglieder. Die Arbeiten wurden sowohl von den Mönchen des Klosters als auch mit Hilfe vertrauenswürdiger einheimischer Bewohner durchgeführt. Die Höhlen wurden geräumt, erweitert und verstärkt, und 1910 erklärte ein Architekt sie für sicher. In den Höhlen wurde eine Kirche zu Ehren des heiligen Märtyrers Ignatius von Godbearer errichtet. Die Höhlen befinden sich in einer Höhe von 106 Metern über dem Wasserspiegel des Flusses.

Es wird angenommen, dass die Gesamtlänge der unterirdischen Gänge etwa einen Kilometer beträgt, von denen derzeit 640 Meter geräumt sind. Die Breite der Höhlen erreicht einen Meter, die Höhe etwa drei. Der unterirdische Tempel wurde am 4. Mai 1914 zu Ehren von Ignatius von Godbearer geweiht, einem Heiligen, der im 1. Jahrhundert n. Chr. für den christlichen Glauben den Märtyrertod starb. Auf dem Hügel über den Höhlen begann man 1916 mit dem Bau einer Kirche im Namen der Verklärung des Herrn, die jedoch unvollendet blieb. 1917 wurde die Kirche verbrannt.

Die Restaurierungsarbeiten begannen 2005, und 2007 wurde der kulturell-historische Komplex "Höhlenkloster im Namen von Ignatius von Godbearer" eröffnet, der der Russisch-Orthodoxen Kirche übergeben wurde. Heute befindet sich an diesem Ort die Kirche Ignatius von Godbearer.