При многих русских монастырях существовали скиты, служившие местами уединения и тишины для монахов-отшельников. Так, монахи Валуйского монастыря изначально построили в лесу деревянный дом, но позже обустроили скит в меловых пещерах, расположенных в километре от монастыря за рекой Оскол. Исследования спелеологов, проведенные в конце XX века, показали, что пещеры в Белгородской области имеют естественное происхождение. Точную дату основания пещерного скита определить сложно, но по косвенным признакам его можно отнести к середине XVII века.

В начале XX века, из-за плохого состояния подземных галерей, в пещерах провели комплекс восстановительных работ. Опасные участки стен и потолка укрепили, а трещины и щели заделали штукатуркой. Обустройство скита началось в 1890 году, в основном на пожертвования прихожан. Работы выполнялись как силами монастырской братии, так и с помощью доверенных местных жителей. Пещеры были расчищены, расширены и укреплены, а в 1910 году архитектор признал их безопасными. В пещерах был создан храм в честь священномученика Игнатия Богоносца. Пещеры находятся на высоте 106 метров над уровнем воды в реке.

Предполагается, что общая длина подземных ходов составляет около километра, из которых в настоящее время расчищено 640 метров. Ширина пещер достигает одного метра, а высота, около трех. Подземный храм был освящён 4 мая 1914 года в честь Игнатия Богоносца, святого, принявшего мученическую смерть за христианскую веру в I веке н.э. На горе над пещерами в 1916 году начали строить храм во имя Преображения Господня, но он так и остался незавершённым. В 1917 году церковь была сожжена.

Восстановительные работы начались в 2005 году, а в 2007 году был открыт культурно-исторический комплекс «Пещерный монастырь во имя Игнатия Богоносца», переданный Русской Православной Церкви. Сейчас на этом месте находится храм Игнатия Богоносца.