Laut einer der modernen Versionen war der erste steinerne Turm des neuen Kremls, der 1500 erbaut wurde, der Twer-Turm. Diese Version wird bevorzugt, da der Turm ein wichtiges Stadtgebiet mit Handelsplätzen und Anlegestellen schützte. Es gibt auch eine Legende über die Belagerung der Stadt im Jahr 1505 durch die vereinten Kräfte des Khan Muhammad-Emins aus Kasan und seines Schwagers aus der Nogai-Horde. Der Überlieferung nach wurde die Belagerung aufgehoben, nachdem ein nogaischer Murza durch einen Schuss aus dem Ivanovskaya Turm, abgefeuert von einem gefangenen litauischen Kanonier, getötet wurde.

Von all den erhaltenen Türmen des Kremls ist der Ivanovskaya Turm in dem schlechtesten Zustand, da er ständig dem Wasser aus dem Chasovaya-Berg und den unbedachten Wänden ausgesetzt war. Daher wurden seine Wände von Anfang an mit Strebepfeilern auf Holzpfählen verstärkt. Im Laufe der Zeit blieb hinter den Strebepfeilern nur ein Schutt aus Stein- und Ziegelbruch übrig. Der Turm litt unter Bränden, und im Jahr 1531 gab es eine Explosion von Schießpulver, die zu erheblichen Umbauten führte. Nach der Explosion wurden die Außenwände über der Rundgalerie nicht wiederhergestellt, und an der nordöstlichen Wand der Galerie erschienen Zinnen, die aus den Pfeilern zwischen den Schießscharten gebildet wurden. Die anderen Seiten wurden mit kleinen dekorativen Zinnen geschmückt. Die seitlichen Räume des Turms wurden als Lager genutzt.

Der südliche Teil des Anbaus neben dem Turm diente als Gefängnis. Im 17. Jahrhundert befand sich hier ein Verhörhaus, in dem Verhöre und Ermittlungen durchgeführt wurden. Nach dem Verlust der militärischen Bedeutung des Kremls wurden bis 1697 Reparaturen und Umbauten fortgesetzt. Der obere Anbau wurde nach dem Brand von 1715 nachlässig neu errichtet und erhielt das Aussehen eines gewöhnlichen einstöckigen Hauses mit Fenstern, einem flachen Dach und einem Schornstein. Im selben Jahrhundert stand der Turm aufgrund erheblicher Zerstörungen leer. In den Jahren 1786-1788 wurde er repariert und vollständig als Gefängnis umgebaut.

Bis 1887 befanden sich im Turm die Ivanovskaya Polizeistation und die Feuerwehr. Im Jahr 1815 wurden in der Wand neben dem Turm Durchgangstore mit flacher Decke geschaffen, wie bei den äußeren Toren des Turms. Im Jahr 1819 gab es im Turm den letzten Brand, nach dem die Zinnen der Umgehungsgalerie zu zerfallen begannen. Das Haus auf dem Turm wurde zweigeschossig, der Zugang erfolgte über eine Treppe im hölzernen Anbau auf der südwestlichen Seite des Turms, die mit hölzernen Zinnen geschmückt war. Rund um den Turm wurden andere hölzerne temporäre Strukturen errichtet. Bei den Reparaturen wurden innere Decken an neuen Stellen aus Gewölben auf Schienen und I-Trägern geschaffen. In den Jahren 1887-1926 befand sich im oberen Anbau des Turms das Archiv der Nischni Nowgoroder Wissenschaftlichen Archivkommission mit einem Lesesaal. Im Jahr 1934 wurde die erste Etage des Turms als Chemikalienlager umgebaut, und es wurde eine Betondecke installiert. Der Turm wurde auch als Lager für Brennstoffe genutzt. Trotz der Reparaturen im 18., 19. Jahrhundert und in den 20er Jahren des 20. Jahrhunderts blieb der Turm in einem Notzustand. 1946 begann der Verfall des Mauerwerks der inneren Fassade und des Gewölbes des Durchgangs.

Bei der Wiederherstellung des Turms im Rahmen der Restaurierung des Kremls unter der Leitung des Architekten S.L. Agafonov in den 50er Jahren des 20. Jahrhunderts wurde eine Variante zur Rekonstruktion des vermuteten ursprünglichen Erscheinungsbildes des Turms gewählt. Obwohl auch die Variante mit der offenen Umgehungsgalerie nach der Explosion von 1531 in Betracht gezogen wurde. Das Projekt wurde erfolgreich umgesetzt, aber einige kleine Details wurden nicht abgeschlossen. Die Holzdecken zwischen den Etagen, die Fensterläden der Schießscharten und die Abdeckungen der großen Schießfenster zwischen den Zinnen sowie die zweiflügeligen Tore wurden nicht wiederhergestellt. Der Mechanismus nur eines der Zugbrücken blieb funktionsunfähig. Und das Wichtigste, der Mechanismus der Zugbrücke und die Brücke selbst wurden nicht rekonstruiert, was bedeutete, dass der Turm nicht durchgängig wurde. Der Zugang zu den Räumen hinter den immer herabgelassenen Gittern war für die Besucher geschlossen. Auch der Zugang zum Anbau mit der Stadtleiter war lange Zeit nicht möglich. Dennoch erhielt der Turm ein durchaus mittelalterliches Aussehen, das nur durch das massive Denkmal auf der Fassade links von den Toren gestört wurde.