Los principales espacios del monasterio, excavados en cuevas, se encuentran en el acantilado occidental de la Roca del Monasterio, en la meseta donde se conservan las ruinas de la fortaleza medieval de Kalamita, fundada en el siglo VI. En los siglos XIV-XV, la fortaleza se convirtió en parte del principado ortodoxo de Teodoro y protegía su puerto, pero en 1475 fue capturada por los turcos. Los historiadores datan de diferentes maneras la fundación del monasterio: desde los siglos VIII-IX hasta los siglos XIV-XV.

Según la leyenda, el monasterio surgió en relación con la veneración de Clemente, obispo romano, exiliado por el emperador Trajano por predicar el cristianismo en las canteras cerca de Jersón y asesinado aquí en el año 101. Las reliquias del santo Clemente, encontradas un año después de su muerte, se guardaron primero en una gruta submarina cerca de Jersón, a la que se podía acceder una vez al año, cuando el mar retrocedía. Más tarde, fueron trasladadas a una isla, donde, según la leyenda, los ángeles construyeron una iglesia. Alrededor del año 861, las reliquias fueron encontradas por los santos Cirilo y Metodio y trasladadas al templo de Jersón, donde, por las oraciones del santo, ocurrían milagros.

Cerca del monasterio había una fuente, abierta por el santo Clemente para aliviar la suerte de los condenados. En la década de 1970, la fuente se secó y su agua inundó la cantera de extracción de piedra de Inkerman al otro lado de la roca.

Después de la captura de la fortaleza de Kalamita por los turcos en 1475, el monasterio cayó en decadencia. La fortaleza fue renombrada como Inkerman, lo que dio nombre a la ciudad, que desde 1783 perteneció a Rusia.

En 1850, el monasterio fue renovado y recibió su nombre moderno en honor a la ciudad y al santo Clemente. En 1867, se reestructuró y se abrió el templo de cueva de San Martín el Confesor. En 1895 se construyó un templo en honor al gran mártir Pantaleón en memoria del salvamento de la familia imperial, y en 1905, la iglesia de San Nicolás de Mira en memoria de la Guerra de Crimea.

Desde 1924, los templos del monasterio comenzaron a cerrarse. En 1927, un terremoto dañó las iglesias de la Anunciación y de San Nicolás, y fueron desmanteladas. En 1928 se cerró el templo de la imagen de "Todos los que lloran, alegría". En 1931, los servicios en los templos de cueva cesaron, el monasterio fue cerrado definitivamente y sus bienes fueron transferidos a la asociación de museos de Sebastopol. Después del cierre, permanecieron viviendo en el monasterio el abad Benedicto, el padre Procopio y dos ancianos.

Durante la Gran Guerra Patria, en las cuevas del monasterio se encontraba el cuartel del 25º División Chapáyev del Ejército del Mar. En junio de 1942, los soldados de esta división en las alturas de Inkerman detuvieron el avance de las tropas alemanas hacia Sebastopol.

Desde 1991, comenzó la renovación gradual del monasterio bajo la dirección del archimandrita Agustín, la comunidad monástica y los laicos. Se restauraron los templos y los edificios de celdas, y se trajo desde Kiev una parte de la cabeza del santo Clemente, que se colocó en la nave lateral del templo de San Clemente.

El 26 de enero de 2019, se reanudaron los servicios semanales en el complejo del templo de cueva, en el templo de Clemente Romano.