Флигель усадьбы, принадлежавший президенту юстиц-коллегии и главному члену московской Монетной экспедиции Алексею Александровичу Яковлеву, деду революционера и писателя Александра Ивановича Герцена, был возведен в 1770-х годах. Изначально это было одноэтажное строение. В 1812 году флигель полностью сгорел в пожаре, но вскоре был восстановлен после войны с французами.

В конце XVIII века усадьбу приобрела Елизавета Михайловна Ермолова, сестра известного в Москве князя Сергея Михайловича Голицына, чей дом находился поблизости. Около 1790 года она вышла замуж за бывшего фаворита Екатерины II Александра Петровича Ермолова, которому принесла значительное приданое. После того как её муж около 1800 года уехал за границу, Ермолова осталась в Москве, где жила вместе с сыном Михаилом. После её смерти 16 августа 1833 года Михаил также уехал во Францию. Елизавета Михайловна была похоронена в Донском монастыре.

В 1831 году государственная казна приобрела здание для Первой мужской градской гимназии, которая уже находилась рядом на Волхонке, 16. В новом помещении разместили классы, канцелярию и квартиру директора гимназии. 7 мая 1836 года, когда директором гимназии был Матвей Алексеевич Окулов, его посетил Александр Сергеевич Пушкин, близкий друг Павла Воиновича Нащокина, брата жены Окулова. Пушкин упоминает об этом визите в письме к поэту П.А. Вяземскому.

С 1852 года часть помещений была передана управлению учебного округа Москвы, для чего флигель надстроили вторым этажом. Учреждение находилось здесь до революции 1917 года.

В 1872 году в здании открылись женские курсы профессора Владимира Ивановича Герье, первое в городе высшее учебное заведение для женщин, где готовили будущих физиков, филологов и врачей.

В 1918 году здесь разместился президиум Российской ассоциации научно-исследовательских институтов общественных наук (РАНИОН) и шесть научных учреждений, включая Институт языка и литературы под руководством Владимира Максимовича Фриче. Ассоциация была упразднена в 1929 году, и все институты перешли под управление Коммунистической академии, которая существовала до 1936 года. В этом же году здание передали Академии наук СССР. Сейчас здесь находится Институт русского языка имени В.В. Виноградова.