Der Flügel des Anwesens, der dem Präsidenten der Justizkollegien und Hauptmitglied der Moskauer Münzexpedition Alexei Alexandrowitsch Jakowlew gehörte, dem Großvater des Revolutionärs und Schriftstellers Alexander Iwanowitsch Herzen, wurde in den 1770er Jahren erbaut. Ursprünglich war es ein einstöckiges Gebäude. Im Jahr 1812 brannte der Flügel vollständig nieder, wurde jedoch bald nach dem Krieg mit den Franzosen wiederhergestellt.

Ende des 18. Jahrhunderts erwarb Elisabeth Michailowna Jermolowa das Anwesen, die Schwester des in Moskau bekannten Fürsten Sergej Michailowitsch Golizyn, dessen Haus in der Nähe lag. Um 1790 heiratete sie den ehemaligen Favoriten von Katharina II., Alexander Petrowitsch Jermolow, der ihr eine beträchtliche Mitgift brachte. Nachdem ihr Mann um 1800 ins Ausland gegangen war, blieb Jermolowa in Moskau, wo sie mit ihrem Sohn Michail lebte. Nach ihrem Tod am 16. August 1833 zog Michail ebenfalls nach Frankreich. Elisabeth Michailowna wurde im Donskoi-Kloster beigesetzt.

Im Jahr 1831 erwarb die Staatskasse das Gebäude für das Erste männliche städtische Gymnasium, das bereits in der Nähe in der Wolchonka, 16, untergebracht war. In den neuen Räumlichkeiten wurden Klassenräume, ein Büro und die Wohnung des Direktors des Gymnasiums eingerichtet. Am 7. Mai 1836, als der Direktor des Gymnasiums Matwei Alexejewitsch Okulow war, besuchte ihn Alexander Sergejewitsch Puschkin, ein enger Freund von Pawel Woinowitsch Naschokin, dem Bruder von Okulows Frau. Puschkin erwähnt diesen Besuch in einem Brief an den Dichter P.A. Wjasemskij.

Seit 1852 wurde ein Teil der Räumlichkeiten der Verwaltung des Bildungsbezirks Moskau übergeben, weshalb der Flügel um ein zweites Stockwerk aufgestockt wurde. Die Einrichtung befand sich bis zur Revolution von 1917 hier.

Im Jahr 1872 wurden in dem Gebäude die Frauenkurse des Professors Wladimir Iwanowitsch Gjerje eröffnet, die erste Hochschule für Frauen in der Stadt, wo zukünftige Physiker, Philologen und Ärzte ausgebildet wurden.

Im Jahr 1918 wurde hier das Präsidium der Russischen Vereinigung der wissenschaftlichen Forschungsinstitute der Sozialwissenschaften (RANION) und sechs wissenschaftliche Einrichtungen untergebracht, darunter das Institut für Sprache und Literatur unter der Leitung von Wladimir Maximowitsch Friche. Die Vereinigung wurde 1929 aufgelöst, und alle Institute gingen unter die Verwaltung der Kommunistischen Akademie, die bis 1936 existierte. Im selben Jahr wurde das Gebäude der Akademie der Wissenschaften der UdSSR übergeben. Heute befindet sich hier das Institut für die russische Sprache benannt nach W.W. Winogradow.