В 1517 году, одновременно с возведением Спасо-Преображенского собора, была построена первая башня каменной стены одноименного монастыря, Святые врата. Они обращены к набережной реки Которосль и являются самым мощным бастионом монастыря. Это сооружение служило главным въездом на территорию обители и выполняло защитные функции. Дозорная вышка, венчавшая башню, была видна издалека тем, кто ехал по Московскому тракту, и служила ориентиром для приближающихся к Ярославлю. К Святым вратам примыкал захаб, предвратное укрепление, которое представляло собой непреодолимую преграду для врагов и позволяло обстреливать их с разных сторон. Захаб с его глухими стенами занимал стратегическую позицию у переправы через Которосль, контролируя дорогу на Кремль и ярославский Посад. В 17 веке Святые ворота, расположенные ниже основания архитектурного ансамбля собора, играли ключевую роль в южном экстерьере обители. Собор и другие постройки монастырского комплекса открывались взору въезжающих через арочный свод Святых ворот, словно медленно вырастая из-под земли в своей ослепительной красоте. Эта зрительная иллюзия была задумана зодчими, которые специально сузили арочный проезд с внешней стороны, расширив его к внутренней. Изначально башню окружал зубчатый пояс, который сохранился только с южной стороны.