Основные помещения монастыря, вырубленные в пещерах, находятся в западном обрыве Монастырской скалы, на плато которой сохранились руины средневековой крепости Каламита, основанной в VI веке. В XIV-XV веках крепость стала частью православного княжества Феодоро и защищала его порт, но в 1475 году была захвачена турками. Историки по-разному датируют основание монастыря: от VIII-IX до XIV-XV веков.

Согласно преданию, монастырь возник в связи с почитанием Климента, римского епископа, сосланного императором Траяном за проповедь христианства в каменоломни близ Херсонеса и убитого здесь в 101 году. Мощи святого Климента, обретённые через год после его смерти, сначала хранились в подводном гроте близ Херсонеса, доступ к которому открывался раз в год, когда море отступало. Позже они были перенесены на остров, где, по преданию, ангелы построили церковь. Около 861 года мощи были обретены святыми Кириллом и Мефодием и перенесены в Херсонесский храм, где по молитвам святого происходили чудеса.

Возле монастыря находился источник, открытый святым Климентом для облегчения участи каторжан. В 1970-х годах источник пересох, а его вода затопила карьер по добыче инкерманского камня на другой стороне скалы.

После захвата крепости Каламита турками в 1475 году монастырь пришёл в упадок. Крепость была переименована в Инкерман, что дало название городу, который с 1783 года принадлежал России.

В 1850 году монастырь был возрождён и получил современное название в честь города и святого Климента. В 1867 году был перепланирован и открыт пещерный храм святого Мартина-исповедника. В 1895 году построили храм в честь великомученика Пантелеимона в память о спасении царской семьи, а в 1905 году, церковь святого Николая Мирликийского в память о Крымской войне.

С 1924 года храмы монастыря начали закрываться. В 1927 году землетрясение повредило Благовещенскую и Николаевскую церкви, и их разобрали. В 1928 году был закрыт храм иконы «Всех скорбящих Радость». В 1931 году богослужения в пещерных храмах прекратились, монастырь окончательно закрыли, а его имущество передали Севастопольскому музейному объединению. После закрытия в монастыре остались жить настоятель Венедикт, отец Прокопий и два старца.

Во время Великой Отечественной войны в пещерах монастыря находился штаб 25-й Чапаевской дивизии Приморской армии. В июне 1942 года солдаты этой дивизии на Инкерманских высотах сдерживали наступление немецких войск на Севастополь.

С 1991 года началось постепенное возрождение монастыря под руководством архимандрита Августина, братии и мирян. Были восстановлены храмы и келейные корпуса, а из Киева привезена частица главы святого Климента, которая установлена в боковом нефе Свято-Климентовского храма.

26 января 2019 года возобновились еженедельные богослужения в пещерном храмовом комплексе, в храме Климента Римского.