Der Kremlhügel, von der Natur geformt, wird von drei Seiten von den Flüssen Trubezh und Lybed umgeben. Auf der vierten Seite schützt ihn ein künstlicher trockener Graben, der im 13. Jahrhundert von den Stadtbewohnern gegraben wurde. Dieser Graben konnte mit Wasser gefüllt werden, wodurch die Flüsse verbunden und ein Wasserkranz um den Hügel geschaffen wurde.

Aus dem Erdreich, das beim Graben des Grabens gewonnen wurde, wurde der Kremlwall errichtet. Heute hat er eine Länge von 290 Metern und eine Höhe von 18 Metern vom äußeren Boden und 8 Metern von der Seite der Oberneilinskaja Straße am Kreml. Bis zum 18. Jahrhundert standen auf dem Wall Verteidigungswände und Türme. Zwei weitere Wälle befanden sich auf dem Gebiet der befestigten Siedlung, die an den Kreml grenzte, wurden jedoch während der Rekonstruktion der Stadt im 18. und 19. Jahrhundert abgerissen.

Während des Zweiten Weltkriegs befand sich auf dem Wall einer der Luftverteidigungspunkte der Stadt, und am Fuße des Walls war eine Artillerieschule untergebracht, die fast bis Mai 1945 in Betrieb war.

Die Straße Kremlwall erhielt ihren Namen zu Ehren dieser Verteidigungsanlage.