Идея создания монастыря принадлежала архиепископу Ионе, который узнал о существовании часовни с нерукотворным образом Спасителя в лесу неподалеку от Орлова. Вдохновленный этим, он решил основать монастырь в честь святого образа. В 1693 году был заложен Спасо-Орловский мужской монастырь, строительство которого возглавил старец Илья. Получив поддержку горожан, он начал возведение монастыря на правом берегу реки Воробьихи.

Благодаря усилиям монахов и жителей города, 14 сентября 1695 года была завершена деревянная монастырская церковь, ставшая основой обители. В ее иконостасе разместили святой образ «Нерукотворного Спаса» из старой часовни. Вскоре началось строительство жилых и хозяйственных зданий. Однако 1 ноября 1701 года, после службы, деревянная церковь загорелась из-за непотушенной свечи. Во время пожара не удалось спасти чудотворный образ, но позже икона была найдена на полу без повреждений.

После пожара новую церковь построили только в 1709 году, но спустя столетие она обветшала, и было решено возвести каменное здание. Строительство началось в 1808 году, и к 1824 году была завершена большая каменная церковь, заменившая деревянную. В 1820 году была построена четырехэтажная колокольня, а в 1841 году, двухэтажный каменный дом для монахов и игумена.

За монастырскими стенами располагался скотный двор. Первоначально монастырь был заштатным, но с 1797 года стал получать государственное финансирование в размере 300 рублей в год. Со временем монастырь расширил свои владения, включая озеро Россоховское и сенокосные угодья на реке Дубяна. Однако войны и экономические трудности привели к упадку. Закон об отделении церкви от государства ограничил возможности монастыря, и монахи начали покидать обитель. Последний монах запер двери и передал ключи властям.

Позже здание монастыря было преобразовано в учебное заведение. В условиях коллективизации стране требовались специалисты сельского хозяйства, и на базе Наркозема СССР в г. Халтурине открылся сельскохозяйственный техникум. По проекту архитектора Я.А. Чарушина монастырские помещения были перестроены. В 1939 году здание было готово, а колокольня разобрана, ее кирпичи использовали для строительства новых этажей техникума. Сейчас в этом здании находится Орлово-Вятский сельскохозяйственный колледж.