Строительство началось в 1793 году, и в том же году при монастыре была основана епархиальная больница. В 1805 году в монастыре произошел пожар, который оставил лишь обгоревшие стены. Единственным уцелевшим зданием оказался Троицкий собор, который в то время только отделывался. Это потребовало новых усилий. Иеромонах Арсений, неутомимо трудясь, ежегодно старался улучшать монастырь.

К 1811 году завершили отделку Троицкого собора. Храм поражал своими размерами: ширина 26,4 метра, длина 37 метров, высота 32,7 метра, а также изяществом отделки. Цоколь облицевали гранитом, а 12 ступеней, ведущих в храм, также были выполнены из гранита. Собор украшали колонны и лепнина, а венчали его три главы. Внутри возвышался трехъярусный иконостас, полностью покрытый золотом.

Роспись выполнил известный ярославский художник Лонгин Иванович Шустов, работавший безвозмездно из почтения к Богоматери. Он рассказывал, что во время работы к нему приходил таинственный старец с благолепным видом. Пытаясь его узнать, художник посещал братскую трапезу, но так и не нашел его среди монахов. Позже, молясь у гроба преподобного Дорофея и взглянув на его икону, Шустов узнал в ней того старца. Лонгин Иванович умер 23 февраля 1804 года и был похоронен в северо-восточном углу соборной церкви, украшенной его трудами. Роспись завершал его сын Афиноген.

После революции монастырь был закрыт и разграблен, а следы чудотворной иконы затерялись. В 1920-х годах в зданиях монастыря разместилась колония для беспризорников, а с 1936 года пустынь стала одним из центров Волголага. Часть зданий разобрали, часть взорвали. Одна пожилая жительница Переборов вспоминала, как ее и других молодых женщин отправляли счищать золото с куполов монастыря. Сейчас на месте обители раскинулось рукотворное море.