Am östlichen Hang der Ataman-Berge, in der Nähe des Tempels der Ikone der Gottesmutter "Freude aller Trauernden", befindet sich ein Höhlenkloster, das in den 1820er Jahren von Eremiten nach dem Vorbild der Kiewer Höhlenkloster gegründet wurde. Unter ihnen waren ein Bauer aus dem Dorf Trimichailowka, heute Sukhorechka, Nikita Loskutov, der Kosake Ivan Ivanovich Gnedyshev mit seinem Freund Timofey und mehrere Personen aus Buzuluk. Archivdokumente belegen, dass am 29. Juni 1875 in diesen Höhlen ein Gespräch von L.N. Tolstoi mit den Ältesten, die das Kloster gegründet hatten, stattfand. Genau von diesen unterirdischen Zellen begann die Geschichte des Spaso-Transfiguration-Buzuluk-Männerklosters.

Heute bestehen die Klosterhöhlen aus zwei gewundenen Tunneln, mehreren Räumen und einem vertikalen Brunnen. Alle Bauwerke, mit Ausnahme der Endräume, sind aus rotem Ziegelstein errichtet. Zerstörte Teile der Gewölbe und Wände wurden mit modernem Ziegelstein wiederhergestellt. Die Tunnel beginnen mit einer kleinen Ablage am Hang des Berges und führen mit einer leichten Steigung ins Innere, ihre Höhe beträgt etwa zwei Meter, die Breite einen halben Meter. Der Abstand zwischen den Eingängen beträgt etwa 20 Meter. In der Nähe der Eingänge nähern sich die Tunnel, und in der Wand zwischen ihnen gibt es eine Öffnung. Im linken Tunnel befindet sich ein vertikaler Brunnen, der die Höhlen mit dem Tempel an der Oberfläche verbindet. Früher gab es im Brunnen eine Wendeltreppe, deren Spuren an den Wänden sichtbar sind. Die Höhe des Brunnens beträgt etwa 15 Meter. Weiter befindet sich ein Raum mit Ausgängen zu beiden Tunneln, möglicherweise gab es hier einen Altar, da an den Wänden Spuren von Kreuzigungen und Ikonen sichtbar sind. Das Gewölbe des Raumes wurde in den 1930er Jahren beschädigt und kürzlich mit Ziegeln wiederhergestellt. In der Nähe dieses Raumes im linken Tunnel befindet sich eine dreiflügelige Treppe, die zu einem weiteren Raum führt, der bei der Wiederherstellung der Höhlen errichtet wurde. Vom Altar aus verzweigen sich die Tunnel, zwischen ihnen gibt es einen Quergang. Jeder Tunnel endet in einem Raum ohne Ziegelverkleidung. Diese Räume sind etwa zwei Meter lang, ihre Breite und Höhe entsprechen den Abmessungen der Tunnel. An den Wänden sind Spuren von Werkzeugen sichtbar, die bei der Schaffung der Höhlen verwendet wurden. Es wird angenommen, dass diese Räume als Zellen für Eremiten dienten. Derzeit wird das Kloster durch die Bemühungen des Buzuluk-Ieromonachs Vitaly Klimov, des Vorstehers der Heilig-Transfiguration-Kirche in Buzuluk, wiederbelebt.