Кремлёвский холм, образованный природой, окружён с трёх сторон реками Трубеж и Лыбедь. С четвёртой стороны его защищает искусственный сухой ров, вырытый жителями города в XIII веке. Этот ров мог наполняться водой, соединяя реки и создавая водное кольцо вокруг холма.

Из земли, извлечённой при рытье рва, был возведён кремлёвский вал. В настоящее время его длина составляет 290 метров, а высота достигает 18 метров от внешнего дна и 8 метров со стороны Верхнеильинской улицы у кремля. До XVIII века на валу стояли оборонительные стены и башни. Два других вала находились на территории укреплённого острога, примыкавшего к кремлю, но были снесены во время реконструкции города в XVIII-XIX веках.

Во время Великой Отечественной войны на валу располагался один из пунктов противовоздушной обороны города, а у его подножья находилась артиллерийская школа, функционировавшая почти до мая 1945 года.

Улица Кремлёвский вал получила своё название в честь этого оборонительного сооружения.