В одной версте от монастыря, в лесу, где берет начало источник, в 30-х годах XIX века была возведена деревянная часовня. В начале 1880-х годов на ее месте построили каменную церковь с деревянным верхом, посвященную Божией Матери «Всех скорбящих Радость». В 1884 году ее освятил архиепископ Казанский и Свияжский Палладий. Церковь была небольшой, размером 15 на 9 аршин, с четырехъярусным дубовым иконостасом. Каждый паломник, посещая пустынь, приходит к этому святому месту, с благоговением пьет воду из родника, текущего из-под горы, и молитвенно вспоминает труды архимандрита Виссариона, который устроил обитель и этот источник.