La colline du Kremlin, formée par la nature, est entourée de trois côtés par les rivières Trubej et Lybed. D'un quatrième côté, elle est protégée par un fossé sec artificiel, creusé par les habitants de la ville au XIIIe siècle. Ce fossé pouvait être rempli d'eau, reliant les rivières et créant un anneau d'eau autour de la colline.

La terre extraite lors du creusement du fossé a servi à élever le rempart du Kremlin. Actuellement, sa longueur est de 290 mètres, et sa hauteur atteint 18 mètres depuis le fond extérieur et 8 mètres du côté de la rue Verkhneilinskaya près du Kremlin. Jusqu'au XVIIIe siècle, des murs défensifs et des tours se dressaient sur le rempart. Deux autres remparts se trouvaient sur le territoire de l'ostrog fortifié adjacent au Kremlin, mais ont été démolis lors de la reconstruction de la ville aux XVIIIe et XIXe siècles.

Pendant la Grande Guerre patriotique, le rempart abritait l'un des postes de défense anti-aérienne de la ville, et à ses pieds se trouvait une école d'artillerie, qui a fonctionné presque jusqu'en mai 1945.

La rue Kremlin rempart a été nommée en l'honneur de cette structure défensive.