С 1534 года строительством укреплений руководил итальянский инженер Петрок Малый, также известный как Петр Малой Фрязин. Необходимость создания нового фортификационного комплекса возникла из-за роста населения Москвы и увеличения внешних угроз. Набег крымских татар под предводительством Мехмед-Гирея в 1521 году выявил слабые стороны городских укреплений. Петрок Малый сумел предвидеть новую тенденцию в военном деле, особенно возросшую роль артиллерии.

В 1534 году началось строительство временных дерево-земляных укреплений, примыкающих к угловым башням Московского Кремля. В период с 1535 по 1538 годы была возведена крепостная стена длиной 2 567 метров с 12 башнями из кирпича. Стена Китай-города была ниже Кремлевской, но значительно мощнее, с площадками для тяжелых орудий, что предвосхитило бастионную систему фортификаций. Башни Китай-города, включая Варварскую, напоминали европейские "бастеи" XVI века, они были ниже и шире традиционных башен, с несколькими ярусами для орудий.

Варварская башня была одной из самых мощных в Китай-городе. Она имела проездные ворота с боковым въездом, что позволяло обороняться даже после разрушения ворот. В основании башни находились подземные галереи для предотвращения подкопов. В XVII-XVIII веках конструкция башни изменилась: появился шатровый верх и арка в стене для проезда. Над Варварскими воротами разместили список Боголюбской иконы Божьей Матери. Здесь начались события "чумного бунта" 1771 года, когда толпа убила архиепископа Амвросия, запретившего молебны. В 1880 году в башне появилась часовня, а снаружи архитектор Н.В. Никитин построил шатровое крыльцо.

Часовня была снесена в 1928 году.

На рубеже XIX-XX веков в Китай-городе провели реставрационные работы под руководством архитектора С.К. Родионова. Несмотря на трудные послереволюционные условия, он добился финансирования для продолжения реставрации. В работах участвовали архитекторы И.Е. Бондаренко, Н.В. Марковников, И.П. Машков, А.Ф. Мейснер и другие. Однако в 1927-1934 годах, под предлогом расширения улиц, древние укрепления были снесены. Сегодня сохранился лишь фрагмент белокаменной кладки фундамента Варварской башни, который можно увидеть в подземном переходе станции метро "Китай-город". В середине XX века при подготовке к строительству "сталинской высотки" в Зарядье были обнаружены основания стен Китай-города. В 1968-1973 годах в Китайгородском проезде была построена новая стена с бойницами, напоминающая фортификационные сооружения XVI века.