Au XVe siècle, à côté du kremlin se trouvait un fortifié ostrog, où vivaient les couches les plus pauvres de la population et des artisans. Le kremlin et l'ostrog étaient reliés par le seul pont levant de Glebov, qui se soulevait vers les murs pendant les sièges. Le pont de Glebov en pierre moderne a été construit au XIXe siècle en même temps que le clocher de la cathédrale et relie maintenant le parc de la cathédrale au kremlin.

Entre le XIIIe et le XVIIIe siècle, lorsque le kremlin a atteint son développement maximal, il y avait quatre portes sur son territoire, intégrées dans des tours et menant dans différentes directions de la ville :

Les portes de Glebov et la tour menaient à l'ostrog et à la grande route de Moscou ;

Les portes secrètes et la tour menaient au quai de la ville ;

Les portes d'Ipat et la tour menaient à la route de Vladimir ;

Les portes de Riazan et la tour menaient à la grande route de Riazan.

En plus du pont de Glebov, sous les murs du kremlin se trouvaient deux autres ponts, traversant la Lybed près des portes d'Ipat et de Riazan. Tous les ponts étaient larges, faits de chêne mariné et avaient des rampes.