В километре от монастыря, за рекой Оскол, в меловых горах находятся пещеры, в которых расположена церковь, посвященная Игнатию Богоносцу. Кто именно начал создание этих пещер, неизвестно, но с 1897 года монахи начали их обустраивать и расширять. Работы шли с трудом и однажды были приостановлены по распоряжению начальства. В 1910 году пещеры были очищены и осмотрены архитектором, который подтвердил их безопасность и прочность грунта. Пещеры протянулись на более чем 300 саженей (около 640 м) и находились на высоте примерно 50 саженей (106 м) над уровнем воды в реке. Ширина пещер составляла около 89 см, а высота, около 3 м. Внутри пещер был создан храм длиной около 8 м, шириной около 6,5 м и высотой около 5,5 м.

Подземный храм был освящен 4 мая 1914 года в честь Игнатия Богоносца, который принял мученическую смерть за веру в первом веке нашей эры. При входе в пещеры была построена часовня, а на вершине горы в 1916 году началось строительство храма во имя Преображения Господня, который так и остался недостроенным. На месте начала рытья пещер был устроен скит, где летом жило до 10 человек, а зимой несколько меньше. Пещеры вместе с храмом и часовнями стали украшением монастыря. Т.М. Олейников писал, что это место напоминает гору Фавор, поэтому его назвали "Фаворским Богоносче-Игнатиевским пещерным скитом".

В 2005 году был создан попечительский совет для восстановления святынь монастыря. В 2005-2007 годах на вершине Лысой горы над пещерами был построен деревянный храм священномученика Игнатия Богоносца. В это же время были очищены подземные переходы и пещерный храм, обустроена смотровая площадка и прилегающие территории, а также создана парковая зона.