Церковь жёлтого цвета на Большой Ордынке кажется единым произведением искусства, созданным в одно время. Однако это впечатление обманчиво, так как она состоит из двух частей, построенных в разное время. Внутри можно увидеть интерьеры, сохранившиеся с давних времён.

Первоначально в XVI веке на этом месте стояла деревянная церковь, посвящённая Варлааму Хутынскому. В следующем столетии на её месте возвели новую деревянную церковь, названную Спасо-Преображенской, с приделом Варлаама. В 1683 и 1685 годах её заменил каменный храм с тем же именем. Именно отсюда началось почитание иконы Пресвятой Богородицы «Всех скорбящих Радость», после того как вдова Евфимия Акинфиева, сестра патриарха Иоакима, исцелилась после молитв у этой иконы. В 1713 году в храме освятили второй придел в честь иконы, и храм стал называться Скорбященским.

В 1783 и 1791 годах трапезная и колокольня были перестроены на средства купца Афанасия Долгова, чья усадьба находилась напротив. Работы проводил архитектор Василий Баженов. Основная часть храма была перестроена позже, после пожара Москвы, на средства братьев Куманиных и сыновей Долгова. Архитектор Осип Бове в 1832 и 1836 годах возвёл новую церковь в виде ротонды. Он старался, чтобы его работа гармонировала с баженовской. Обе части выдержаны в едином стиле и цветовой гамме. Внутреннее убранство также принадлежит Бове, включая иконостас и чугунный пол.

В 1933 году богослужения прекратились, но интерьер сохранился, так как церковь перешла в ведение Третьяковской галереи. В 1948 году храм вновь открыли, и он больше не закрывался. Сегодня можно любоваться как фасадами, так и внутренним убранством. С 2010 года при церкви действует Синодальный хор, который можно услышать на богослужениях и концертах.

С июня 2012 по ноябрь 2013 года проводились ремонтно-реставрационные работы. Здание сильно пострадало от времени, кровля почти разрушилась, стены были поражены грибком, окна и двери находились в аварийном состоянии. Благодаря усилиям настоятеля иеромонаха Георгия (Исакова), прихожан и благодетелей храму вернули первоначальный облик, восстановив колокольню.

В 2014 году церковь стала лауреатом конкурса Правительства Москвы за лучший проект в области сохранения и популяризации объектов культурного наследия.