Монастырь был основан в 1680-х годах схимонахом Зосимой, который пришел из Троице-Сергиева монастыря и собрал вокруг себя небольшую общину. Со временем сюда стали стекаться паломники, среди которых была сестра Петра I Наталья Алексеевна. Однако после смерти старца большинство монахов покинули обитель, и она пришла в запустение. Тем не менее, местные жители продолжали почитать могилу праведника как святыню. По преданию, здесь бывала будущая императрица Елизавета Петровна, которая долгое время жила в соседнем городе Александрове.

В конце 1890-х годов пустынь была восстановлена усилиями архимандрита Павла Глебова из Троице-Сергиевой лавры и иеромонаха Германа Гомзина, который стал строителем пустыни в 1896 году и умер 30 января 1923 года. Пустынь стала одним из центров старчества.

С 1897 по 1923 годы монастырем руководил схиигумен Герман. В этот период были построены все сохранившиеся каменные здания из красного кирпича в русском стиле. В 1900 году был освящён главный храм в честь Смоленской иконы Божией Матери.

С 1898 года до закрытия монастыря в 1923 году здесь жил старец Алексий Соловьёв, который обитал в «старческом» корпусе у Святых ворот, построенном на средства великой княгини Елизаветы Фёдоровны.

В 1917 году в монастыре временно жил Макарий Невский. Пустынь часто посещали члены московского религиозно-философского кружка во главе с Михаилом Новосёловым, который стремился привлечь сюда своих друзей, включая Николая Бердяева и Сергея Булгакова. Павел Флоренский также регулярно бывал в Зосимовой пустыни.

В мае 1923 года монастырь, функционировавший как артель, был окончательно закрыт.

Его возобновили в апреле 1992 года. В июле 1994 года состоялась канонизация основателя обители схимонаха Зосимы для общецерковного почитания, а также преподобного Германа Гомзина на епархиальном уровне. В 2000 году был канонизирован преподобный Алексий Соловьёв для общецерковного прославления.