Пустынь Феодосия Кавказского расположена в хуторе Горный Краснодарского края, неподалеку от Анапы и в 30 километрах от Новороссийска. Географически это место известно как Кашинская щель. В 1904 году из Покровской общины, по решению Святейшего Синода, был основан монастырь, который разместился в большом буковом лесу, известном как Темные Буки. Неподалеку отец Феодосий обустроил свою пустынь.

Феодосий планировал построить церковь, но долго не мог выбрать место. Он молился на большом камне в ущелье, и ему явилась Божия Матерь, указав место для храма. Наутро на этом месте зацвел барвинок, который обычно здесь не растет. Отец Феодосий с помощниками построил часовню, просфорню, келии и попросил у Бога источник, который позже стал чудотворным. Его мощи находятся в Покровском храме Минеральных вод. В наше время старец Феодосий был причислен к лику святых Ставропольской Епархии.

Среди зелени и деревьев стоит украшенная фресками часовня святого Феодосия Кавказского. Здесь в землянках живут монахи-отшельники. Рядом расположен колодец с святой водой.

Церковь иконы Божией Матери Живоносный источник находится на территории пустыни Феодосия Кавказского около поселка Горного. Ее также называют Живоносовской, Федосиевской, Феодосиевской, Феодосьевской и Федосьевской.

Церковь построена на месте часовни, возведенной отцом Феодосием и его сподвижниками. В советское время все постройки были снесены. Только в конце 1990-х годов восстановили целебный источник, а затем построили часовню в честь Феодосия Кавказского, кирпичную церковь иконы Божией Матери Живоносный Источник со звонницей и Святой Крест рядом с тропой, по которой ходил святой Феодосий. Перед храмом находится большая икона Божией Матери и простой подсвечник.