Монастырь был основан святым Галактионом Вологодским в начале XVII века и изначально назывался Галактионовой пустынью. До 1654 года все его строения были деревянными. В этом году, благодаря пожертвованиям царя Алексея Михайловича, был построен каменный собор во имя Сошествия Святого Духа, и монастырь стал называться Свято-Духов.

В 1775 году по указу Святейшего Синода монастырь был переименован в Спасо-Каменный, в честь сгоревшего и упразднённого монастыря с таким же названием, братия которого была переведена в вологодский Свято-Духов монастырь.

Около 1800 года монастырь обнесли каменной оградой. В 1810-1811 годах к собору Святого Духа пристроили трёхъярусную колокольню. В 1867 году была построена каменная церковь Знамения Пресвятой Богородицы.

В 1918 году Свято-Духов монастырь закрыли и передали военному ведомству. С 1 мая по 15 августа 1918 года здесь находился гараж 23-го авто-броне отряда. К лету 1925 года на месте снесённого кладбища, которое убрали в спешке из-за участия в футбольном первенстве РСФСР 1924 года, построили стадион «Динамо». Спорить с властями было бесполезно. Почти одновременно с решением комиссии, постановлением Вологодского губисполкома были закрыты церковь Сошествия Святого Духа и часовня в монастыре. Позже в здании церкви и келий размещалось областное управление НКВД и КГБ СССР. Уцелевший корпус келий и перестроенный собор принадлежат МВД.

После Перестройки рядом с территорией бывшего монастыря установили мемориал в память жертв политических репрессий.