La iglesia en la cueva, que incluye dos capillas, es un complejo único de tres templos: el de Clemente, consagrado en 1852, el de Martín el Confesor, consagrado en 1867, y el de Andrés el Primero Llamado, consagrado en 1900. Las obras de restauración se llevaron a cabo bajo la dirección del arquitecto D. M. Strukov. Durante la Guerra de Crimea, la iglesia sufrió graves daños. En la década de 1930, fue transferida al Museo de Sebastopol y reabierta en la década de 1990.

Desde 1991, tras el periodo soviético, gracias a los esfuerzos del abad archimandrita Agustín (Polovetsky, †1996), comenzó la gradual resurrección del monasterio: se restauraron los templos y los edificios de celdas. Se trasladó una parte de la cabeza del santo mártir Clemente desde Kiev, y la urna con sus reliquias se instaló en la iglesia de Santo Clemente.

El 26 de enero de 2019, en el complejo de la iglesia en la cueva, en la iglesia de Clemente Romano, se reanudaron los servicios semanales.