La colina del Kremlin, formada por la naturaleza, está rodeada por tres lados por los ríos Trubezh y Lybed. Por el cuarto lado, la protege un foso seco artificial, excavado por los habitantes de la ciudad en el siglo XIII. Este foso podía llenarse de agua, conectando los ríos y creando un anillo acuático alrededor de la colina.

Con la tierra extraída al excavar el foso, se construyó la muralla del Kremlin. Actualmente, su longitud es de 290 metros y su altura alcanza los 18 metros desde el fondo exterior y 8 metros desde el lado de la calle Verkhneilinskaya junto al Kremlin. Hasta el siglo XVIII, en la muralla había muros defensivos y torres. Otros dos muros estaban en el territorio del fuerte fortificado, adyacente al Kremlin, pero fueron demolidos durante la reconstrucción de la ciudad en los siglos XVIII y XIX.

Durante la Gran Guerra Patria, en la muralla se ubicaba uno de los puntos de defensa antiaérea de la ciudad, y a sus pies se encontraba una escuela de artillería, que funcionó casi hasta mayo de 1945.

La calle Muralla del Kremlin recibió su nombre en honor a esta estructura defensiva.