Die Höhlenkirche, die zwei Kapellen umfasst, stellt einen einheitlichen Komplex aus drei Tempeln dar: dem Clemens-Tempel, das 1852 geweiht wurde, dem Tempel des heiligen Martin von Tours, das 1867 geweiht wurde, und dem Tempel des heiligen Andreas, das 1900 geweiht wurde. Die Restaurierungsarbeiten wurden unter der Leitung des Architekten D. M. Strukow durchgeführt. Während des Krimkriegs wurde die Kirche stark beschädigt. In den 1930er Jahren wurde sie dem Sevastopol-Museum übergeben und in den 1990er Jahren wiedereröffnet.

Seit 1991, nach der sowjetischen Ära, begann dank der Bemühungen des Abtes Archimandrit Augustin (Polowetski, †1996) die schrittweise Wiederbelebung des Klosters: Die Tempel und Zellengebäude wurden wiederhergestellt. Aus Kiew wurde ein Teil des ehrwürdigen Hauptes des heiligen Märtyrers Clemens übergeben, und die Reliquien wurden in der Clemens-Kirche aufgestellt.

Am 26. Januar 2019 wurden im Höhlenkirchenkomplex, in der Kirche des heiligen Clemens von Rom, die wöchentlichen Gottesdienste wieder aufgenommen.