El histórico templo en las cuevas fue consagrado en 1903 en honor a la icono, que se hizo conocida en 1888 en San Petersburgo. Cuando un rayo cayó en la capilla cerca de la fábrica de vidrio, el interior del edificio sufrió daños por el fuego, pero la imagen de la Madre de Dios permaneció intacta. Monedas de una taza rota con donaciones se adhirieron a la icono. Pronto, las personas comenzaron a recibir sanaciones de enfermedades. En 1897, el igumen Mijaíl, abad del monasterio de Buzuluk, encargó una copia de esta icono. La imagen fue recibida por una gran multitud y también se hizo conocida por sus milagros, recibiendo el nombre de icono de la Madre de Dios “Alegría de Todos los Afligidos” con monedas. El templo en honor a esta icono fue construido en las cuevas, excavadas en la década de 1820.

Después de la apertura del monasterio en las cuevas, que consisten en corredores subterráneos y celdas de tierra, vivían ancianos. León Tolstói viajaba especialmente desde su propiedad en Buzuluk para reunirse con uno de ellos. Esta visita se refleja en su correspondencia con su esposa y en los recuerdos de sus hijos. Después del cierre del monasterio, el templo fue destruido y las cuevas, probablemente, voladas, lo que se confirma por la naturaleza de las destrucciones. El renacimiento de las tradiciones monásticas en nuestros días ocurre en la base de la parroquia de la Transfiguración en Buzuluk, donde el clero está compuesto por monjes. Bajo la dirección del archimandrita Leonid Antipov, actualmente obispo de la diócesis de Buzuluk, el Ilustre Alexis y el igumen Vitaly Klimov, a finales de la década de 1990 comenzaron los trabajos de limpieza de las cuevas. En 2001 se colocó la primera piedra de un nuevo templo, cuya construcción se completó en 2007. La consagración del templo de la icono de la Madre de Dios “Alegría de Todos los Afligidos” tuvo lugar el 5 de agosto de 2012. El templo de la Transfiguración fue restaurado junto a las paredes del antiguo monasterio, que ahora es una colonia de mujeres. Hoy en día, se celebran servicios semanales en el templo.