Selon l'une des versions modernes, la première tour en pierre du nouveau Kremlin, fondée en 1500, était la tour de Tver. Cette version est privilégiée car la tour protégeait une zone importante de la ville avec un marché et des quais. Il existe également une légende sur le siège de la ville en 1505 par les forces unies des Kazans dirigées par le khan Muhammad-Emine et son beau-frère de l'Ordre Nogai. Selon la tradition, le siège a été levé après que le murza nogai a été tué par un tir de la tour Ivanov, tiré par un artilleur lituanien prisonnier.

Parmi toutes les tours restantes du Kremlin, la tour Ivanov est dans le pire état en raison de l'impact constant de l'eau s'écoulant de la montagne de l'Horloge et le long des murs sans toiture. Ainsi, ses murs ont été renforcés dès le départ par des contreforts sur des pilotis en bois. Avec le temps, seuls des débris de pierre et de brique sont restés derrière les contreforts. La tour a souffert d'incendies, et en 1531, une explosion de poudre s'y est produite, entraînant une reconstruction significative. Après l'explosion, les murs extérieurs au-dessus de la galerie circulaire n'ont pas été restaurés, et des créneaux sont apparus sur le mur nord-est de la galerie, formés par les murs entre les fenêtres de tir. Les autres côtés ont été ornés de petits créneaux décoratifs. Les pièces latérales de la tour étaient utilisées comme entrepôts.

La partie sud de l'annexe près de la tour servait de prison. Au XVIIe siècle, il y avait une maison de justice où des interrogatoires et des enquêtes étaient menés. Après que le Kremlin ait perdu son importance militaire, des réparations et des reconstructions ont continué jusqu'en 1697. La surélévation supérieure a été mal reconstruite après l'incendie de 1715 et a pris l'apparence d'une maison ordinaire à un étage avec des fenêtres, un toit bas et une cheminée. Au même siècle, en raison de destructions significatives, la tour est restée vide. Entre 1786 et 1788, elle a été réparée et entièrement adaptée en prison.

Jusqu'en 1887, la tour abritait le poste de police d'Ivanov et la caserne de pompiers. En 1815, des portes de bris sont apparues dans le mur près de la tour avec un plafond plat, comme aux portes extérieures de la tour. En 1819, un dernier incendie s'est produit dans la tour, après quoi les créneaux de la galerie de contournement ont commencé à s'effondrer. La maison sur la tour est devenue à deux étages, l'accès se faisant par un escalier dans une annexe en bois du côté sud-ouest de la tour, ornée de créneaux en bois. D'autres structures temporaires en bois ont été construites autour de la tour. Au cours des réparations, des plafonds intérieurs ont été créés à de nouveaux endroits à partir d'arcs sur rails et de poutres en I. Entre 1887 et 1926, l'extension supérieure de la tour a abrité les archives de la Commission scientifique d'archives de Nijni Novgorod avec une salle de lecture. En 1934, le premier étage de la tour a été adapté en entrepôt de produits chimiques, avec un plafond en béton. La tour a également été utilisée comme entrepôt de combustible. Malgré les réparations des XVIIIe, XIXe siècles et des années 20 du XXe siècle, la tour est restée dans un état d'urgence. En 1946, l'effondrement de la maçonnerie de la façade intérieure et de la voûte de passage a commencé.

Lors de la restauration de la tour dans le cadre de la restauration du Kremlin sous la direction de l'architecte S.L. Agafonov dans les années 50 du XXe siècle, une option de recréation de l'apparence initiale présumée de la tour a été choisie. Bien qu'une option avec une galerie de contournement ouverte après l'explosion de 1531 ait également été envisagée. Le projet a été réalisé avec succès, mais certains petits détails n'ont jamais été achevés. Les plafonds en bois entre les étages, les volets des meurtrières et les barres des grandes fenêtres de tir entre les créneaux, ainsi que les portes à deux battants n'ont pas été restaurés. Le mécanisme d'une seule herse est resté hors service. Et surtout, le mécanisme du pont-levis et le pont lui-même n'ont pas été recréés, ce qui signifiait que la tour n'est jamais devenue un passage. L'accès à la pièce derrière les grilles toujours abaissées a été fermé aux visiteurs. L'annexe avec l'escalier de ville était également inaccessible pendant longtemps. Néanmoins, la tour a acquis un aspect médiéval, qui n'était troublé que par un imposant panneau commémoratif sur la façade à gauche des portes.