L'aile de la propriété, appartenant au président de la collégiale de justice et au principal membre de l'expédition monétaire de Moscou, Alexeï Alexandrovitch Yakovlev, grand-père du révolutionnaire et écrivain Alexandre Ivanovitch Herzen, a été construite dans les années 1770. À l'origine, c'était un bâtiment de plain-pied. En 1812, l'aile a complètement brûlé dans un incendie, mais a rapidement été restaurée après la guerre avec les Français.

À la fin du XVIIIe siècle, la propriété a été acquise par Élisabeth Mikhaïlovna Ermolova, sœur du célèbre prince moscovite Serge Mikhaïlovitch Golitsyne, dont la maison se trouvait à proximité. Vers 1790, elle épousa l'ancien favori de Catherine II, Alexandre Petrovitch Ermolov, qui lui apporta une dot considérable. Après que son mari soit parti à l'étranger vers 1800, Ermolova est restée à Moscou, où elle vivait avec son fils Mikhaïl. Après sa mort le 16 août 1833, Mikhaïl est également parti pour la France. Élisabeth Mikhaïlovna a été enterrée au monastère de Donskoï.

En 1831, le trésor d'État a acquis le bâtiment pour le premier lycée masculin de la ville, qui se trouvait déjà à proximité au Volkhonka, 16. Dans le nouveau bâtiment, des classes, un bureau et un appartement pour le directeur du lycée ont été aménagés. Le 7 mai 1836, lorsque le directeur du lycée était Matveï Alexeïevitch Okoulov, il a été visité par Alexandre Sergueïevitch Pouchkine, ami proche de Pavel Voïnovitch Natchokine, le frère de la femme d'Okoulov. Pouchkine mentionne cette visite dans une lettre au poète P.A. Viazemski.

Depuis 1852, une partie des locaux a été transférée à l'administration du district scolaire de Moscou, pour laquelle l'aile a été surélevée d'un étage. L'établissement s'est trouvé ici jusqu'à la révolution de 1917.

En 1872, des cours pour femmes du professeur Vladimir Ivanovitch Guéry ont ouvert dans le bâtiment, le premier établissement d'enseignement supérieur pour femmes dans la ville, où l'on formait de futures physiciennes, philologues et médecins.

En 1918, le présidium de l'Association russe des instituts de recherche en sciences sociales (RANION) et six établissements scientifiques, y compris l'Institut de langue et de littérature sous la direction de Vladimir Maksimovitch Friche, s'y sont installés. L'association a été dissoute en 1929, et tous les instituts sont passés sous la direction de l'Académie communiste, qui a existé jusqu'en 1936. Cette même année, le bâtiment a été transféré à l'Académie des sciences de l'URSS. Actuellement, il abrite l'Institut de la langue russe nommé d'après V.V. Vinogradov.