Ущелье, находящееся в 15 км от Судака в сторону Феодосии, известно как «Кизилташ», что в переводе с татарского означает «красный камень». Это название связано с красноватым оттенком местных скал, особенно средней, меньшей по размеру. Считается, что в VII веке здесь была летняя резиденция святого Стефана Сурожского, архиепископа Сугдеи. Стефан Сурожский, историческая личность, известен как распространитель христианства в Юго-Восточной Таврике. В греческом синаксаре XII-XIII веков упоминается, что 15 декабря отмечается его смерть, поскольку он обратил в христианство жителей Сугдеи. Из-за секретности территории в Кизилташе, ныне Краснокаменке, археологические раскопки не проводились, поэтому точные даты неизвестны. Вокруг ущелья обнаружены остатки средневековых поселений, относящихся к VIII-XV векам, что подтверждает возможность существования здесь резиденции архиепископа.

На склоне одной из скал находится клиновидная пещера, где, по преданию, молился святитель Стефан. В глубине пещеры есть маленькое озерцо, где в 1820-х годах татарский пастух нашел плавающую деревянную икону Успения Божией Матери. Слухи о находке привлекли множество паломников, а вода из пещеры считалась целебной, особенно для лечения глазных болезней, глухоты и нервных недугов. Современные исследования подтвердили лечебные свойства воды, которая имеет гидрокарбонатный натриевый состав и содержит сероводород.

Недавно вход в пещеру закрыли каменной стеной с железной дверью. На входе в монастырь установили охрану и таблички «Туристам проход запрещен», что привело к пересыханию источника. В 2013 году был закрыт монастырский колодец, воду из которого теперь можно взять в храме или купить в Феодосии. Сейчас туристы могут пройти через монастырь только со стороны Сандык-Кая, а со стороны Краснокаменки проход запрещен.

В 1855 году в ущелье под скалой был основан мужской монастырь в честь Стефана Сурожского. Обитель процветала до революции 1917 года. Пещера с источником превратилась в скит с кельями для 50 послушников, церковью и гостиницами. В 1894 году в монастыре проживало 65 человек. Лес превратился в сад и огород, работала мельница, разводили скот. Монастырь привлекал множество паломников, которые называли его земным раем или крымской Швейцарией.

Кизилташский монастырь, хотя и горный, не является пещерным. Все его постройки находились на скальных террасах. Пещера с источником имеет естественное происхождение, а другая пещера, Разбойничья, служила убежищем для Алима-разбойника в XIX веке, согласно легендам.

Игумен Парфений, выдающийся наместник монастыря, оставил значительный след в истории благодаря своей подвижнической жизни и мученической смерти. Он был убит 4 сентября 1866 года после столкновений с местными жителями. В 2000 году Парфений был причислен к лику святых Русской Православной церкви.

В 1923 году монастырь был закрыт, и на его месте создали детскую колонию, а позже санаторий. Во время Великой Отечественной войны здесь находилась база партизан. В 1950 году началось строительство предприятия среднего машиностроения, и монастырские постройки были уничтожены. Территория была строго охраняема, породив множество легенд.

В 1995 году архиепископ Симферопольский и Крымский Лазарь обратился с просьбой о передаче церковных построек. В 1997 году монастырь был возрожден, а в 1998 году священник Николай Демьянюк принял монашеский постриг под именем Никон. В настоящее время монастырь медленно восстанавливается, и число его обитателей составляет три человека. Центральный храм освящен во имя Всех Печерских святых.

28 июля 2007 года поселок Краснокаменка отметил свой первый день рождения, став обычным населенным пунктом. Теперь сюда можно добраться из Феодосии на рейсовом автобусе.