Die Haupträume des Klosters, die in Höhlen gehauen sind, befinden sich am westlichen Abhang des Klosterfelsens, auf dessen Plateau die Ruinen der mittelalterlichen Festung Kalamita erhalten geblieben sind, die im 6. Jahrhundert gegründet wurde. Im 14. und 15. Jahrhundert wurde die Festung Teil des orthodoxen Fürstentums Theodoro und schützte dessen Hafen, wurde jedoch 1475 von den Türken erobert. Historiker datieren die Gründung des Klosters unterschiedlich: von den 8.-9. bis zu den 14.-15. Jahrhunderten.

Laut einer Legende entstand das Kloster in Verbindung mit der Verehrung von Klemens, dem römischen Bischof, der von Kaiser Trajan wegen der Predigt des Christentums in die Steinbrüche nahe Chersones verbannt und hier im Jahr 101 getötet wurde. Die Reliquien des heiligen Klemens, die ein Jahr nach seinem Tod gefunden wurden, wurden zunächst in einer Unterwasserhöhle nahe Chersones aufbewahrt, die einmal im Jahr zugänglich war, wenn das Meer sich zurückzog. Später wurden sie auf eine Insel gebracht, wo, so die Legende, Engel eine Kirche errichteten. Um das Jahr 861 wurden die Reliquien von den Heiligen Kyrill und Methodius gefunden und in den Chersones-Kirche gebracht, wo durch die Gebete des Heiligen Wunder geschahen.

In der Nähe des Klosters gab es eine Quelle, die der heilige Klemens zur Linderung des Schicksals der Sträflinge öffnete. In den 1970er Jahren versiegte die Quelle, und ihr Wasser überflutete den Steinbruch zur Gewinnung von Inkermańer Stein auf der anderen Seite des Felsens.

Nach der Eroberung der Festung Kalamita durch die Türken im Jahr 1475 verfiel das Kloster. Die Festung wurde in Inkermań umbenannt, was der Stadt ihren Namen gab, die seit 1783 zu Russland gehörte.

Im Jahr 1850 wurde das Kloster wiederbelebt und erhielt seinen modernen Namen zu Ehren der Stadt und des heiligen Klemens. 1867 wurde der Höhlenaltar des heiligen Martinus des Bekenners umgestaltet und eröffnet. 1895 wurde eine Kirche zu Ehren des heiligen Märtyrers Panteleimon erbaut, um an die Rettung der kaiserlichen Familie zu erinnern, und 1905 die Kirche des heiligen Nikolaus von Myra zur Erinnerung an den Krimkrieg.

Seit 1924 begannen die Kirchen des Klosters zu schließen. 1927 beschädigte ein Erdbeben die Mariä-Entschlafens- und Nikolauskirche, und sie wurden abgerissen. 1928 wurde die Kirche der Ikone „Freude aller Trauernden“ geschlossen. 1931 wurden die Gottesdienste in den Höhlenkirchen eingestellt, das Kloster wurde endgültig geschlossen, und sein Eigentum wurde dem Sevastopol Museum übergeben. Nach der Schließung lebten der Abt Benedikt, Vater Prokopij und zwei Älteste im Kloster.

Während des Großen Vaterländischen Krieges befand sich in den Höhlen des Klosters das Hauptquartier der 25. Tschapaew-Division der Primorsky-Armee. Im Juni 1942 hielten die Soldaten dieser Division auf den Inkermańer Höhen den Vormarsch der deutschen Truppen auf Sewastopol auf.

Seit 1991 begann die schrittweise Wiederbelebung des Klosters unter der Leitung von Archimandrit Augustin, der Bruderschaft und den Laien. Die Kirchen und Zellen wurden wiederhergestellt, und ein Teil des Hauptes des heiligen Klemens wurde aus Kiew gebracht und im Seitenschiff der Heilig-Klement-Kirche aufgestellt.

Am 26. Januar 2019 wurden die wöchentlichen Gottesdienste im Höhlenkirchenkomplex, in der Kirche des heiligen Klemens von Rom, wieder aufgenommen.