К XV веку рядом с кремлём находился укреплённый острог, где проживали более бедные слои населения и ремесленники. Кремль и острог соединялись единственным подъёмным Глебовским мостом, который поднимался к стенам во время осад. Современный каменный Глебовский мост был построен в XIX веке одновременно с Соборной колокольней и теперь соединяет Соборный парк с кремлём.

В период с XIII по XVIII век, когда кремль достиг максимального развития, на его территории было четыре ворот, встроенных в башни и ведущих в разные направления от города:

Глебовские ворота и башня вели к острогу и Большому Московскому тракту;

Тайничные ворота и башня вели к городскому причалу;

Ипатские ворота и башня вели к Владимирскому тракту;

Рязанские ворота и башня вели к Большому Рязанскому тракту.

Кроме Глебовского моста, под стенами кремля находились ещё два моста, пересекавшие Лыбедь рядом с Ипатскими и Рязанскими воротами. Все мосты были широкими, сделанными из морёного дуба и имели перила.