Здание, изначально двухэтажное, было построено в 1764-1772 годах архитектором М.Ф. Казаковым, который сохранил фрагменты старинных палат, принадлежавших в начале XVIII века кабинет-секретарю Петра I А.В. Макарову и князю Д.А. Кольцову-Мосальскому. В 1771 году императрица Екатерина II наградила П.Д. Еропкина вотчинами и 4000 крепостных за подавление чумного бунта, но он отказался, что принесло ему еще большее уважение москвичей. Еропкин также не принял приглашение переехать в дом на Тверской для генерал-губернаторов и остался в своем особняке.

Интерьеры дома отличались роскошью, включая домовую церковь. Еропкины были известны своим гостеприимством: каждый гость был тепло принят и накормлен. В особняке устраивались блестящие балы, которые в детстве посещал А.С. Пушкин. После смерти владельцев дом перешел к племянникам Еропкиных, Новосильцовым, а затем к князьям Гагариным.

В 1806 году здание было продано за 35 тысяч рублей Московскому купеческому обществу, которое открыло в нем Коммерческое училище для обучения детей мещан и купцов. Здесь преподавались как профессиональные, так и гуманитарные дисциплины. Среди известных выпускников были физик С.И. Вавилов, писатель И.А. Гончаров, генетик Н.И. Вавилов и другие.

В 1807-1808 годах архитектор Д.И. Жилярди перестроил и расширил здание. После пожара 1812 года его пришлось восстанавливать, добавив третий этаж, классический фасад и портик. В 1817 году была устроена церковь Марии Магдалины с росписями Васнецова и Нестерова. В 1820 году здесь родился историк С.М. Соловьев. В 1847 году здание получило пристройку для спален и классов воспитанников, и в таком виде дошло до наших дней.

Во время Великой Отечественной войны дом чудом уцелел, так как бомба, сброшенная во двор, оказалась начинена песком. После войны в сквере напротив установили памятник «Воину-ополченцу» в честь ушедших на фронт. В 1930 году здесь был основан Московский институт новых языков. На протяжении многих лет название учебного заведения менялось, и сейчас здание носит имя Московского государственного лингвистического университета.