Главный дом усадьбы Алексея Александровича Яковлева, который был президентом юстиц-коллегии и главным членом московской Монетной экспедиции, а также дедом революционера и писателя Александра Ивановича Герцена, был возведен в 1770-х годах. Изначально он был одноэтажным. Позднее дом принадлежал князю Николаю Федоровичу Лодыженскому, генерал-лейтенанту и участнику взятия Парижа, а также дворянской семье Столыпиных.

В конце XVIII века владение приобрела Елизавета Михайловна Ермолова, сестра известного московского вельможи, действительного тайного советника I класса князя Сергея Михайловича Голицына, чей дом находился неподалеку. Около 1790 года она вышла замуж за бывшего фаворита Екатерины II Александра Петровича Ермолова, которому принесла значительное приданое. После того как ее муж около 1800 года навсегда переселился за границу, Ермолова осталась жить в Москве. В результате пожара 1812 года дом полностью выгорел, но был восстановлен сразу после войны с французами. Его надстроили еще одним этажом, портик с колоннами заменили на пилястровый, а фронтон убрали. Елизавета Ермолова скончалась в Москве 16 августа 1833 года и была похоронена в Донском монастыре.

В 1831 году государственная казна приобрела здание для нужд Первой мужской градской гимназии, которая уже находилась рядом, на Волхонке, 16. Кажется, вся интеллектуальная элита Москвы вышла из этих стен. Здесь учились выдающиеся русские историки Сергей Соловьев и Михаил Погодин, драматург Александр Островский, писатель и теоретик анархизма Петр Кропоткин, профессора Н.В. Бугаев и Н.А. Умов, врач В.П. Сербский.

В новых помещениях разместили гимназические классы и канцелярию. В 1852 году часть помещений была передана управлению учебного округа города Москвы. В 1872 году в здании открылись женские курсы профессора Владимира Ивановича Герье, первое в городе высшее учебное заведение такого рода, где готовили будущих физиков, филологов и врачей.

В 1918 году в зданиях на Волхонке, 18 разместили президиум Российской ассоциации научно-исследовательских институтов общественных наук (РАНИОН) и шесть научных заведений под его эгидой, включая Институт языка и литературы, который возглавлял Владимир Максимович Фриче. Ассоциация была упразднена в 1929 году, и все институты перешли под управление Коммунистической академии, которая существовала до 1936 года. В том же году здание передали на баланс АН СССР. Сейчас в нем находится Институт русского языка имени В.В. Виноградова.

К концу 2018 года завершился первый этап работ по сохранению объекта, проведены противоаварийные мероприятия. Специалисты укрепили конструкции дома, и теперь помещение полностью готово к основному этапу реставрации.