К 1900 году над восточной стеной возвысилась высокая колокольня с башенными часами, созданная по проекту А. А. Латкова, который с конца XIX века был архитектором Троице-Сергиевой Лавры. Вероятно, он также разработал и другие строения Смоленской Зосимовой пустыни. В XX веке монастырская стена и колокольня пострадали сильнее других зданий обители. От колокольни сохранились только два нижних яруса, полностью разрушена восточная часть ограды и ограда хозяйственного двора. О том, как всё это выглядело в период расцвета Зосимовой пустыни, упоминается в книге священномученика Серафима Чичагова: "Каменная ограда длиной в 300 сажен окружает гористый берег реки Молохчи, ранее пустынный и заброшенный. По углам ограды возвышаются башни с уютными малыми кельями для монахов. К востоку от ограды стоит трёхэтажная колокольня высотой в 16 сажен с колоколами весом 713 пудов 33 фунта. Большой колокол в 510 пудов висит на втором ярусе, остальные, на верхнем. К колокольне примыкают две башни: в одной находятся кельи, в другой, монастырская лавка для продажи икон, крестов и назидательных книг. Под колокольней расположены ворота". Сегодня колокольня, некогда великолепное сооружение, выглядит весьма печально.

Во время войны, под предлогом того, что колокольня демаскирует воинскую часть, находящуюся на территории монастыря с 1925 года, были уничтожены два верхних яруса, а стена разобрана на кирпич. Долгое время в оставшейся части здания размещалась водонапорная башня, из бака которой вода постоянно переливалась наружу, стекая по стенам и подмывая фундамент. Зимой вода замерзала, превращая колокольню в огромную сосульку, что год за годом разрушало кирпичную кладку. Даже сегодня над вратами колокольни можно прочитать слова: "Пролетарии всех стран соединяйтесь под красное знамя труда", печальное напоминание о безбожном времени. В настоящее время колокольня ещё не возвращена монастырю.