Согласно одной из современных версий, первой каменной башней нового кремля, заложенной в 1500 году, стала Тверская. Предпочтение этой версии связано с тем, что башня защищала важный участок города с торговым посадом и пристанями. Существует также легенда об осаде города в 1505 году объединёнными силами казанцев хана Мухаммед-Эмина и его шурина из Ногайской орды. По преданию, осада была снята после того, как ногайский мурза погиб от выстрела с Ивановской башни, произведённого пленным литовским пушкарём.

Из всех сохранившихся башен кремля Ивановская находится в наихудшем состоянии из-за постоянного воздействия воды, стекавшей с Часовой горы и по пряслам без кровли. Поэтому её стены с самого начала укреплялись контрфорсами на деревянных сваях. Со временем за контрфорсами остался лишь завал из каменного и кирпичного щебня. Башня страдала от пожаров, а в 1531 году в ней произошёл взрыв пороха, что привело к значительной перестройке. После взрыва наружные стены выше круговой галереи не восстанавливались, а на северо-восточной стене галереи появились зубцы, образовавшиеся из простенков между боевыми окнами. Остальные стороны украсили мелкими декоративными зубцами. Боковые помещения башни использовались как склады.

Южная часть пристройки рядом с башней служила тюрьмой. В XVII веке здесь находилась губная изба, где проводились допросы и следствия. После утраты кремлём военного значения к 1697 году ремонты и перестройки продолжались. Верхняя надстройка была небрежно переложена после пожара 1715 года и приобрела вид обычного одноэтажного дома с окнами, низкой кровлей и печной трубой. В том же веке, из-за значительных разрушений, башня стояла пустой. В 1786-1788 годах её отремонтировали и полностью приспособили под тюрьму.

До 1887 года в башне размещались Ивановский полицейский участок и пожарная часть. В 1815 году рядом с башней в стене появились проломные ворота с плоским перекрытием, как и у наружных ворот башни. В 1819 году в башне произошёл последний пожар, после чего зубцы обводной галереи начали разрушаться. Дом на башне стал двухэтажным, подъём к нему осуществлялся по лестнице в дощатой пристройке на юго-западной стороне башни, украшенной деревянными зубцами. Вокруг башни строились другие деревянные временные сооружения. В ходе ремонтов создавались внутренние перекрытия на новых местах из сводов по рельсам и двутавровым железным балкам. В 1887-1926 годах в верхней надстройке башни находился архив Нижегородской учёной архивной комиссии с читальным залом. В 1934 году первый ярус башни приспособили под склад химикатов, установив бетонное перекрытие. Башню также использовали как склад горючего. Несмотря на ремонты XVIII, XIX веков и 20-х годов XX века, башня оставалась в аварийном состоянии. В 1946 году началось обрушение кладки внутреннего фасада и свода проезда.

При восстановлении башни в рамках реставрации Кремля под руководством архитектора С.Л. Агафонова в 50-х годах XX века был выбран вариант воссоздания предположительного первоначального облика башни. Хотя вариант с открытой обходной галереей после взрыва 1531 года тоже рассматривался. Проект был успешно осуществлён, но некоторые мелкие детали так и не были завершены. Не восстановили деревянные перекрытия между ярусами, ставни бойниц и заборола больших боевых окон между зубцами, двухстворчатые ворота. Механизм лишь одной герсы остался нерабочим. И самое главное, не был воссоздан механизм подъёмного моста и сам мост, что означало, что башня так и не стала проходной. Доступ в помещение за всегда опущенными решётками был закрыт для экскурсантов. В пристройку с городовой лестницей также долгое время нельзя было попасть. Тем не менее, башня приобрела вполне средневековый облик, который нарушал лишь массивный памятный знак на фасаде слева от ворот.