En la ladera oriental de las montañas Ataman, cerca del templo de la imagen de la Madre de Dios "Consuelo de todos los afligidos", se encuentra una ermita en la cueva, creada en la década de 1820 por ascetas a imagen de la Lavra de las Cuevas de Kiev. Entre ellos estaban un campesino del pueblo de Trimikhailovka, hoy Sukhorechka, Nikita Loskutov, el cosaco Ivan Ivanovich Gnedyshev con su compañero Timofey y varias personas de Buzuluk. Documentos archivísticos atestiguan que el 29 de junio de 1875, en estas cuevas, tuvo lugar una conversación de L.N. Tolstoy con los ancianos que crearon la ermita. Precisamente desde estas celdas subterráneas comenzó la historia del Monasterio masculino Spaso-Preobrazhensky de Buzuluk.

Hoy en día, las cuevas del monasterio consisten en dos túneles sinuosos, varias habitaciones y un pozo vertical. Todas las construcciones, excepto las habitaciones finales, están revestidas de ladrillo rojo. Las partes destruidas de los arcos y paredes han sido restauradas con ladrillo moderno. Los túneles comienzan con un estante en la ladera de la montaña y se adentran con una ligera inclinación, su altura es de aproximadamente dos metros y su ancho, medio metro. La distancia entre las entradas es de aproximadamente 20 metros. Cerca de las entradas, los túneles se acercan, y en la pared entre ellos hay una abertura. En el túnel izquierdo hay un pozo vertical que conecta las cuevas con el templo en la superficie. Anteriormente, había una escalera de caracol en el pozo, las huellas de sus peldaños son visibles en las paredes. La altura del pozo es de aproximadamente 15 metros. Más adelante hay una habitación con salida a ambos túneles, posiblemente aquí había un altar, ya que en las paredes son visibles las marcas de crucifijos e íconos. El arco de la habitación fue dañado en la década de 1930 y recientemente restaurado con ladrillo. Cerca de esta habitación, en el túnel izquierdo, hay una escalera de tres tramos que conduce a otra habitación, construida durante la restauración de las cuevas. Desde el altar, los túneles se separan, entre ellos hay un paso transversal. Cada túnel termina en una habitación sin revestimiento de ladrillo. Estas habitaciones tienen una longitud de aproximadamente dos metros, su ancho y altura corresponden a las dimensiones de los túneles. En las paredes son visibles las marcas de herramientas utilizadas en la creación de las cuevas. Se supone que estas habitaciones servían como celdas para ermitaños. En la actualidad, la comunidad está renaciendo gracias a los esfuerzos del ieromonje Vitaly Klimov de Buzuluk, rector de la iglesia de la Santa Transfiguración en Buzuluk.