Изначально монастырь использовал небольшую колокольню при старом соборе. В 1836 году началось строительство отдельной каменной колокольни высотой 35 сажен. Однако из-за слабого фундамента и кладки 22 сентября 1840 года она внезапно обрушилась во время обеда, не причинив вреда людям и постройкам. Из оставшегося кирпича позже были построены два жилых корпуса, гостиница, конный двор и столярня.

Строительство новой колокольни началось в мае 1847 года под руководством губернского архитектора И. П. Лутохина. К 1849 году была завершена величественная пятиярусная колокольня, покрытая белым железом, высотой 33 сажени. На ней установили 10 колоколов, самый большой весил 646 пудов и был поднят в 1856 году. Другие колокола весили 317, 157, 52 пуда и так далее. В ясную погоду звон колоколов был слышен за 10-12 вёрст. С третьего яруса открывался вид на окрестности, включая город Брянск и Свенский монастырь.

В начале XX века между третьим и четвёртым ярусами установили часы с боем. Циферблат, чёрный с позолоченными цифрами, имел диаметр около полутора метров, что позволяло видеть время с двух километров. Механизм был соединён с колоколами на третьем ярусе и отбивал время каждые 15 минут. Часы работали от двух тросов с гирями по 40-50 кг, которые поднимали с помощью ворота, и одного завода хватало на две недели.

Около 1926 года из-за воспитанников детгородка сгорела вся внутренняя деревянная часть колокольни вместе с часами. В уцелевшем кирпичном корпусе лесничество оборудовало вышку для обнаружения лесных пожаров. В начале Великой Отечественной войны колокольня, служившая ориентиром для вражеской авиации, была полностью разрушена.