До середины XVII века монастырь был окружён деревянной оградой, а каменными были только Святые ворота с надвратной церковью и часть примыкающей к ним северо-западной стены. В 1640-1650-х годах, согласно царской грамоте 1644 года, монахам разрешили бесплатно изготавливать кирпич, и были возведены новые кирпичные стены. Строительство завершилось в 1656 году, что подтверждает надпись над Святыми воротами.

Монастырь имеет 5 башен: Белозерская на северном углу, Вологодская на восточном, Южная на южном, Мельничная на западном и Водяная в середине юго-западной стены. Они образуют неправильный многоугольник, похожий на трапецию, общей длиной 950 метров, с башнями по углам и в середине юго-западной стены. В северо-западной стене находится въезд через Святые ворота с надвратной церковью Вознесения, где стена образует тупой угол, направленный наружу. Толщина стен превышает 2 метра, а высота на юго-восточной и северо-восточной сторонах достигает семи метров. Юго-западная стена, обращённая к реке Вологде, самая низкая.

Высокие и мощные башни на северном, восточном и южном углах ограды сильно выступают за линию стен и имеют 16 граней. Они, вероятно, задумывались как главные оборонительные сооружения, с несколькими ярусами бойниц для круговой обороны. В стенах между башнями также есть бойницы: арочные нижние для подошвенного боя, длинные тонкие в среднем ярусе и косые узкие в верхнем ярусе для верхнего боя. Вдоль всех стен с внутренней стороны устроена площадка для ведения верхнего боя. В юго-восточной и северо-восточной частях ограды были устроены "мешки", каменные столбы с узкими помещениями для хранения пороха и заключения особо важных преступников. Перед юго-западной стеной со стороны реки Вологды расположен земляной вал.

Завершение стен сплошное, без отдельных зубцов. Башни изначально венчали деревянные шатры со смотровыми вышками, заменённые в XVIII веке фигурными кровлями. В ходе реставрации 1955-1960-х годов Белозерская и Вологодская башни были покрыты тёсом, остальные, металлической кровлей. Грани Белозерской, Вологодской и Южной башен в XIX веке были окрашены в белый, жёлтый и оранжевый цвета, остальные башни и стены побелены. Кроме Святых и Водяных ворот, в монастырь ведут Малые ворота в северо-восточной стене.

Архитектурная обработка стен и башен монастыря разнообразна. Монументальные Южная и Вологодская башни выделяются своими размерами, около 20 метров, и декоративной обработкой зубцов и машикулей, украшенных полихромными изразцами. Мельничная башня имеет 8 граней и отличается декоративностью, с полуколонками, поддерживающими аркатурный пояс. Водяная башня небольшая четырёхгранная, ранее проездная, завершена деревянным шатром с металлическим покрытием и имеет небольшой караульный чердак.