L'étroite vallée, située à 15 km de Souda en direction de Théodosie, est connue sous le nom de « Kiziltash », ce qui signifie « pierre rouge » en tatar. Ce nom est lié à la teinte rougeâtre des rochers locaux, en particulier ceux de taille moyenne, plus petits. On pense qu'au VIIe siècle, il y avait ici une résidence d'été de saint Stéphane de Sourja, archevêque de Sougdeia. Stéphane de Sourja, une figure historique, est connu comme le propagateur du christianisme dans le sud-est de la Tauride. Dans le synaxaire grec des XIIe-XIIIe siècles, il est mentionné que sa mort est célébrée le 15 décembre, car il a converti les habitants de Sougdeia au christianisme. En raison de la confidentialité du territoire à Kiziltash, maintenant Krasnokamenka, des fouilles archéologiques n'ont pas été menées, donc les dates exactes restent inconnues. Autour de la vallée, des vestiges de colonies médiévales datant des VIIIe-XVe siècles ont été découverts, ce qui confirme la possibilité de l'existence ici d'une résidence de l'archevêque.

Sur le flanc d'un des rochers se trouve une grotte en forme de coin, où, selon la tradition, le saint Stéphane priait. Au fond de la grotte, il y a un petit étang, où dans les années 1820, un berger tatar a trouvé une icône en bois flottante de l'Assomption de la Mère de Dieu. Les rumeurs sur cette découverte ont attiré de nombreux pèlerins, et l'eau de la grotte était considérée comme curative, en particulier pour traiter les maladies oculaires, la surdité et les troubles nerveux. Des recherches modernes ont confirmé les propriétés curatives de l'eau, qui a une composition de bicarbonate de sodium et contient du sulfure d'hydrogène.

Récemment, l'entrée de la grotte a été fermée par un mur de pierre avec une porte en fer. À l'entrée du monastère, une sécurité a été mise en place et des panneaux « Interdiction d'entrée aux touristes » ont été installés, ce qui a conduit à l'assèchement de la source. En 2013, le puits du monastère a été fermé, et l'eau peut maintenant être obtenue dans l'église ou achetée à Théodosie. Actuellement, les touristes peuvent accéder au monastère uniquement du côté de Sandyk-Kaya, tandis que l'accès depuis Krasnokamenka est interdit.

En 1855, un monastère masculin a été fondé dans la vallée sous le rocher en l'honneur de Stéphane de Sourja. La communauté a prospéré jusqu'à la révolution de 1917. La grotte avec la source est devenue un ermitage avec des cellules pour 50 moines, une église et des auberges. En 1894, 65 personnes vivaient dans le monastère. La forêt s'est transformée en jardin et potager, un moulin fonctionnait, et du bétail était élevé. Le monastère attirait de nombreux pèlerins, qui l'appelaient le paradis terrestre ou la Suisse de Crimée.

Bien que le monastère de Kiziltash soit montagneux, il n'est pas souterrain. Tous ses bâtiments étaient situés sur des terrasses rocheuses. La grotte avec la source est d'origine naturelle, tandis qu'une autre grotte, la grotte des bandits, servait de refuge à Alim le bandit au XIXe siècle, selon les légendes.

L'abbé Parthenius, un éminent représentant du monastère, a laissé une empreinte significative dans l'histoire grâce à sa vie ascétique et à sa mort martyr. Il a été tué le 4 septembre 1866 après des affrontements avec les habitants locaux. En 2000, Parthenius a été canonisé par l'Église orthodoxe russe.

En 1923, le monastère a été fermé et un orphelinat a été créé à sa place, puis un sanatorium. Pendant la Grande Guerre patriotique, une base de partisans s'est installée ici. En 1950, la construction d'une entreprise de mécanique moyenne a commencé, et les bâtiments du monastère ont été détruits. Le territoire était strictement surveillé, donnant naissance à de nombreuses légendes.

En 1995, l'archevêque de Simféropol et de Crimée, Lazare, a demandé la restitution des bâtiments ecclésiastiques. En 1997, le monastère a été restauré, et en 1998, le prêtre Nicolas Demianouk a pris l'habit monastique sous le nom de Nikon. Actuellement, le monastère se rétablit lentement, et le nombre de ses habitants est de trois personnes. Le temple central est consacré à tous les saints des grottes.

Le 28 juillet 2007, le village de Krasnokamenka a célébré son premier anniversaire, devenant une localité ordinaire. On peut désormais y accéder depuis Théodosie par bus régulier.