Según una de las versiones modernas, la primera torre de piedra del nuevo kremlin, construida en 1500, fue la Torre Tverskaya. Esta versión se prefiere porque la torre protegía una parte importante de la ciudad con un asentamiento comercial y muelles. También existe una leyenda sobre el asedio de la ciudad en 1505 por las fuerzas combinadas de los kazaníes del kan Muhammad-Emín y su cuñado de la Horda Nogai. Según la tradición, el asedio se levantó después de que un murza nogai muriera por un disparo desde la Torre Ivanov, realizado por un artillero lituano prisionero.

De todas las torres que se han conservado del kremlin, la Ivanov se encuentra en el peor estado debido a la constante influencia del agua que fluía desde la Montaña del Reloj y por los muros sin techo. Por lo tanto, sus paredes fueron reforzadas desde el principio con contrafuertes sobre pilotes de madera. Con el tiempo, solo quedó un montón de escombros de piedra y ladrillo detrás de los contrafuertes. La torre sufrió incendios, y en 1531 hubo una explosión de pólvora en su interior, lo que llevó a una significativa reconstrucción. Después de la explosión, las paredes exteriores por encima de la galería circular no fueron restauradas, y en la pared noreste de la galería aparecieron merlones formados por los muros entre las ventanas de combate. Los otros lados fueron adornados con pequeños merlones decorativos. Las habitaciones laterales de la torre se utilizaron como almacenes.

La parte sur de la adición junto a la torre servía como prisión. En el siglo XVII, aquí había una casa de interrogatorios donde se llevaban a cabo interrogatorios e investigaciones. Después de que el kremlin perdió su importancia militar, las reparaciones y reconstrucciones continuaron hasta 1697. La parte superior fue reconstruida descuidadamente después del incendio de 1715 y adquirió la apariencia de una casa de una sola planta común con ventanas, un techo bajo y una chimenea. En ese mismo siglo, debido a las importantes destrucciones, la torre quedó vacía. Entre 1786 y 1788 fue reparada y completamente adaptada como prisión.

Hasta 1887, la torre albergaba la comisaría de policía de Ivanov y el cuerpo de bomberos. En 1815, junto a la torre, aparecieron puertas de acceso en la pared con un techo plano, al igual que en las puertas exteriores de la torre. En 1819, la torre sufrió su último incendio, después del cual los merlones de la galería de ronda comenzaron a desmoronarse. La casa en la torre se convirtió en de dos pisos, y el acceso a ella se realizaba por una escalera en una adición de tablones en el lado suroeste de la torre, decorada con merlones de madera. Alrededor de la torre se construyeron otras estructuras temporales de madera. Durante las reparaciones, se crearon techos internos en nuevos lugares a partir de arcos sobre rieles y vigas de acero en forma de I. Entre 1887 y 1926, en la parte superior de la torre se encontraba el archivo de la Comisión de Archivos Científicos de Nizhni Nóvgorod con una sala de lectura. En 1934, el primer piso de la torre se adaptó como almacén de productos químicos, instalando un techo de concreto. La torre también se utilizó como almacén de combustible. A pesar de las reparaciones de los siglos XVIII, XIX y de los años 20 del siglo XX, la torre seguía en estado de emergencia. En 1946, comenzó el colapso del revestimiento de la fachada interna y del arco de acceso.

Durante la restauración de la torre como parte de la restauración del Kremlin bajo la dirección del arquitecto S.L. Agafonov en los años 50 del siglo XX, se eligió la opción de recrear la apariencia original supuesta de la torre. Aunque también se consideró la opción de una galería de ronda abierta después de la explosión de 1531. El proyecto se llevó a cabo con éxito, pero algunos pequeños detalles nunca se completaron. No se restauraron los techos de madera entre los pisos, las contraventanas de las troneras y las barreras de las grandes ventanas de combate entre los merlones, ni las puertas de dos hojas. El mecanismo de solo una de las garitas quedó inoperante. Y lo más importante, no se recreó el mecanismo del puente levadizo ni el propio puente, lo que significaba que la torre nunca se convirtió en un paso. El acceso a la habitación detrás de las rejas siempre bajadas fue cerrado para los turistas. Durante mucho tiempo, tampoco se pudo acceder a la adición con la escalera de la ciudad. Sin embargo, la torre adquirió una apariencia bastante medieval, que solo era interrumpida por una masiva placa conmemorativa en la fachada a la izquierda de la puerta.