Первым строением монастыря была «малая келейца», где жил его основатель Киприан. Позже на этом месте для настоятеля возвели деревянный дом, расположенный к северу от церквей Владимирской и Преполовения. В 1764 году из-за ветхости дом был снесен архимандритом Иаковом.

По благословению архиепископа великоустюжского Александра 10 августа 1695 года рядом с настоятельским домом построили небольшую однокупольную церковь во имя Всех Святых, а также одноэтажный каменный корпус, который использовался как больница. Церковь неоднократно страдала от пожаров и была заново отстроена в 1720 году.

В 1734-1735 годах при архимандрите Пахомии здание реконструировали, добавив второй этаж. В нижнем этаже церкви Всех Святых разместилась больница, а на противоположной стороне, одна келья и сени. На втором этаже расположились шесть келий и сени.

В 1763 году от настоятельского корпуса к северной паперти Архангельского собора была построена деревянная терраса. В 1892 году по распоряжению епископа Варсонофия терраса была переделана в теплый коридор с железной крышей. Он существовал до 1918 года, когда был снесен из-за ветхости.

В 1771 году архимандрит Мисаил пристроил две кельи с западной стороны. После пожара в мае 1772 года в настоятельский корпус переселился с семьей градоначальник князь Иван Алексеевич Енгалычев, который добавил с южной стороны деревянный балкон с двумя лестницами.

В 1786 году церковь Всех Святых была расширена, превращена в домовую и соединена с кельями. На западной стороне появились хоры, а иконостас был написан на холсте.

В 1841 году при архимандрите Августине кельи верхнего этажа капитально отремонтировали, вместо старого деревянного крыльца построили каменный балкон с четырьмя колоннами и фронтоном, внутри которого находились лестницы.

В 1888 и 1889 годах настоятельский корпус отремонтировали и приспособили для проживания великоустюжского архиерея. В нижнем этаже добавили две комнаты, заменили полы и установили новые изразцовые печи. Крыша и наружные стены были выкрашены. Тогда же Всесвятская церковь была переделана в помещение для проживания братии монастыря.

С 1941 по 1945 год здание использовалось службами Пуховического военного училища. С 1945 года оно служит вспомогательным административным помещением автотехникума.