Einen Kilometer vom Kloster entfernt, hinter dem Fluss Oskol, befinden sich in den Kreidebergen Höhlen, in denen eine Kirche zu Ehren Ignatius von Antiochien liegt. Wer genau mit dem Bau dieser Höhlen begonnen hat, ist unbekannt, aber seit 1897 begannen die Mönche, sie auszubauen und zu erweitern. Die Arbeiten verliefen mühsam und wurden einmal auf Anordnung der Vorgesetzten eingestellt. Im Jahr 1910 wurden die Höhlen gereinigt und von einem Architekten inspiziert, der ihre Sicherheit und die Festigkeit des Bodens bestätigte. Die Höhlen erstrecken sich über mehr als 300 Sazhen (ca. 640 m) und befinden sich in einer Höhe von etwa 50 Sazhen (106 m) über dem Wasserspiegel des Flusses. Die Breite der Höhlen betrug etwa 89 cm, die Höhe etwa 3 m. Im Inneren der Höhlen wurde ein Tempel mit einer Länge von etwa 8 m, einer Breite von etwa 6,5 m und einer Höhe von etwa 5,5 m geschaffen.

Der unterirdische Tempel wurde am 4. Mai 1914 zu Ehren Ignatius von Antiochien geweiht, der im ersten Jahrhundert nach Christus für seinen Glauben den Märtyrertod starb. Am Eingang zu den Höhlen wurde eine Kapelle errichtet, und auf dem Gipfel des Berges begann 1916 der Bau einer Kirche zu Ehren der Verklärung des Herrn, die jedoch unvollendet blieb. An dem Ort, an dem mit dem Graben der Höhlen begonnen wurde, wurde ein Skit eingerichtet, in dem im Sommer bis zu 10 Personen und im Winter etwas weniger lebten. Die Höhlen mit dem Tempel und den Kapellen wurden zu einer Zierde des Klosters. T.M. Olejnikov schrieb, dass dieser Ort an den Berg Tabor erinnert, weshalb er als "Taborer Höhlen-Skit des heiligen Ignatius von Antiochien" bezeichnet wurde.

Im Jahr 2005 wurde ein Kuratorium zur Wiederherstellung der Heiligtümer des Klosters gegründet. Von 2005 bis 2007 wurde auf dem Gipfel des kahlen Berges über den Höhlen eine Holzkirche des heiligen Märtyrers Ignatius von Antiochien erbaut. Zur gleichen Zeit wurden die unterirdischen Übergänge und die Höhlenkirche gereinigt, eine Aussichtsplattform und angrenzende Gebiete eingerichtet sowie eine Parkzone geschaffen.