На восточном склоне Атаманских гор, недалеко от храма иконы Божией Матери «Всех скорбящих Радости», находится пещерный скит, созданный в 1820-х годах подвижниками по образцу Киево-Печерской лавры. Среди них были крестьянин из села Тримихайловка, ныне Сухоречка, Никита Лоскутов, казак Иван Иванович Гнедышев с товарищем Тимофеем и несколько человек из Бузулука. Архивные документы свидетельствуют, что 29 июня 1875 года в этих пещерах состоялась беседа Л.Н. Толстого со старцами, создавшими скит. Именно с этих подземных келий началась история Спасо-Преображенского Бузулукского мужского монастыря.

Сегодня монастырские пещеры представляют собой два извилистых тоннеля, несколько комнат и вертикальный колодец. Все сооружения, за исключением конечных помещений, выложены красным кирпичом. Разрушенные части сводов и стен восстановлены современным кирпичом. Тоннели начинаются с полочки на склоне горы и уходят вглубь с небольшим подъемом, их высота около двух метров, а ширина, полметра. Расстояние между входами составляет примерно 20 метров. Недалеко от входов тоннели сближаются, и в стене между ними есть проем. В левом тоннеле находится вертикальный колодец, соединяющий пещеры с храмом на поверхности. Ранее в колодце была винтовая лестница, следы от ее ступеней видны на стенах. Высота колодца около 15 метров. Далее располагается помещение с выходом в оба тоннеля, возможно, здесь был алтарь, так как на стенах видны следы от распятий и икон. Свод комнаты был поврежден в 1930-х годах и недавно восстановлен кирпичом. Вблизи этого помещения в левом тоннеле находится трехпролетная лестница, ведущая в еще одну комнату, сооруженную при восстановлении пещер. От алтаря тоннели расходятся, между ними есть поперечный ход. Каждый тоннель заканчивается помещением без кирпичной облицовки. Эти комнаты длиной около двух метров, их ширина и высота соответствуют размерам тоннелей. На стенах видны следы инструментов, использованных при создании пещер. Предполагается, что эти помещения служили кельями для отшельников. В настоящее время обитель возрождается усилиями бузулукского иеромонаха Виталия Климова, настоятеля Свято-Преображенского храма в Бузулуке.