Массивное и величественное здание церкви возвышается над всеми окружающими постройками. Даже современная застройка XX века не смогла затмить его и уменьшить его значение в формировании облика Новой площади. Однако кресты на храме и колокольне появились вновь только недавно.

Точная дата строительства первой церкви неизвестна, но она упоминается уже в 1493 году. В следующий раз она появляется в источниках спустя почти век, в 1585 году, как деревянная. Тогда же стало известно и ее прозвище "под вязом", по крупному дереву, которое росло рядом с алтарем до 1775 года. К началу XIX века старое здание церкви обветшало, но перестройка была отложена из-за Отечественной войны 1812 года. Лишь в 1825 году, дата до сих пор видна на фронтоне над алтарем, начались строительные работы по проекту архитекторов С.П. Обитаева и Л.П. Карлони, которые длились 12 лет и завершились в 1837 году.

Построенное в стиле ампир, двухъярусное здание нового храма получило шесть престолов, что было значительным числом для приходской церкви. Наверху главный престол во имя Иоанна Богослова с двумя приделами: Обретения Главы Иоанна Предтечи и Евангелиста Луки. Внизу центральный придел Покрова Пресвятой Богородицы и боковые приделы святого Николая Чудотворца и Митрофания Воронежского. Церковь выходит на Новую площадь своим восточным фасадом с алтарем, оформленным в виде массивного шестиколонного портика с рустовкой в нижней части и без выступов. Боковые фасады декорированы скромнее. Особую торжественность зданию придает высокий световой купол, украшенный ионическими колоннами и увенчанный традиционной для православных храмов главкой. В 1840-х годах церковь получила новую колокольню, почти сравнявшуюся по высоте с куполом храма благодаря вытянутому шпилю с крестом. С севера и юга от храма на Новую площадь выходят симметрично расположенные ампирные двухэтажные дома причта с лавками на первом этаже: соединенные с церковью арками ворот с фигурными завершениями, они образуют с ней законченный ансамбль.

В 1925 году храм был закрыт, одним из первых в округе, и использовался сначала как архив, а затем как коммунальный музей, который в 1934 году стал Музеем истории и реконструкции Москвы. Церковь лишилась главы и шпиля колокольни, внутри появились межэтажные перекрытия, почти все убранство было уничтожено, за исключением некоторых фрагментов лепнины. До переезда музея в здание Провиантских складов на Зубовском бульваре церковь оставалась закрытой. Лишь в 2011 году здесь возобновились богослужения, и храм получил статус домовой церкви при Российском православном университете имени Иоанна Богослова. Проведена реставрация, в ходе которой воссозданы утраченные завершения храма и колокольни, планируется также вернуть утраченный облик интерьерам. Работы выполнены в рамках подпрограммы "Государственная охрана, сохранение и популяризация объектов культурного наследия" Государственной программы города Москвы "Культура Москвы на 2012-2019 годы".