Согласно преданию, подтверждённому древней надписью на деревянной доске, хранящейся в Ключевской церкви, в 1707 году в источнике неподалёку от села Четвертакова явилась Казанская икона Божией Матери. Местная мордва, находившаяся в то время в язычестве, увидев чудеса от иконы, уверовала в истинного Бога и приняла крещение.

Скоро было решено основать здесь пустынь, так как место было удобным: сёла Тургенево и Четвертаково находились на почтовом тракте Саранск-Алатырь, а уездная столица Ардатов была всего в пяти верстах. Пустынь создавалась как загородный двор Алатырского Свято-Троицкого монастыря, который был приписан к Троице-Сергиевой Лавре. Уже в 1708 году по указу Троицкого монастыря на источнике была построена первая деревянная Казанская церковь, освящённая 29 августа священником Иоанном.

В 1767 году обветшавшую церковь заменили на другую, также деревянную. Третий храм, каменный, начали строить в 1806 году выше источника, на холме. Алатырский архимандрит Авраамий, заложивший эту церковь, полагался на местную благотворительность и приходы Тургенева и Четвертакова. Летняя часть храма была освящена в 1807 году по благословению епископа Казанского Павла Зернова.

Пустынь вскоре стала центром паломничества и способствовала христианскому просвещению народов Поволжья. В первой половине XIX века почитание Казанской иконы Божией Матери распространилось на соседние уезды. В 1848 году, во время эпидемии холеры, жители Алатыря попросили настоятеля Свято-Троицкого монастыря перенести икону в город. Архимандрит Иезекииль согласился, и икона с крестным ходом была доставлена в Алатырь, где её обнесли вокруг города, после чего болезнь начала отступать. В память об этом событии ежегодно 9 августа в Алатыре проводился крестный ход, а в Ключевской пустыни служился благодарственный молебен. Икону носили по домам и отправляли в путешествия по уезду.

В XIX веке постройки пустыни неоднократно перестраивались. В начале 1840-х годов храм был расширен за счёт трапезной, увеличившей его площадь почти вдвое. Изначально при храме была деревянная звонница с 8-пудовым колоколом, а позже была построена колокольня. Деревянная церковь над источником превратилась в часовню и перестраивалась дважды.

К концу века в Казанской пустыни собралась иноческая община, признанная монашеским братством, приписанным к Алатырскому Свято-Троицкому монастырю. Поток паломников к источнику увеличивался, и до революции склоны монастырского холма были заняты больными, ожидавшими своей очереди искупаться в целебном источнике.

В 1930-х годах пустынь была закрыта, монахи изгнаны, деревянная часовня и колокольня уничтожены. Храм был повреждён, но сохранился. Поток паломников и искателей исцеления не прекращался и в советские годы. К концу 1980-х годов Казанская церковь пришла в аварийное состояние: кладка была разрушена, внутреннее пространство деформировано, росписи испорчены, глава снесена, кровля наполовину сорвана.

С учреждением Саранской епархии встал вопрос о возрождении Ключевской пустыни. Синодальным решением от 27-28 декабря 1993 года мужская обитель была вновь открыта. Храм был восстановлен и украшен, построена колокольня, два деревянных корпуса, каменный келейный корпус с домовой церковью. Были созданы гостиничные номера для паломников, число которых росло в 1990-2000-х годах. Над источником была возведена деревянная часовня с купальней.

22 июля 2011 года патриарх Московский и всея Руси Кирилл освятил новый паломническо-просветительский центр пустыни. Храм, известный своим благолепием, был восстановлен и украшен, построены колокольня и корпуса. Для паломников созданы гостиничные номера, число которых постоянно растёт. Над источником возведена деревянная часовня с купальней.