El fligel de la finca, que perteneció al presidente de la colegiatura de justicia y principal miembro de la expedición monetaria de Moscú, Alexei Alexandrovich Yakovlev, abuelo del revolucionario y escritor Alexander Ivanovich Herzen, fue construido en la década de 1770. Inicialmente era una construcción de un solo piso. En 1812, el fligel se quemó completamente en un incendio, pero pronto fue restaurado después de la guerra con los franceses.

A finales del siglo XVIII, la finca fue adquirida por Elizabeth Mikhailovna Yermolova, hermana del conocido príncipe de Moscú Sergey Mikhailovich Golitsyn, cuya casa estaba cerca. Alrededor de 1790, se casó con el antiguo favorito de Catalina II, Alexander Petrovich Yermolov, quien le trajo un considerable dote. Después de que su esposo se fuera al extranjero alrededor de 1800, Yermolova se quedó en Moscú, donde vivió con su hijo Mikhail. Tras su muerte el 16 de agosto de 1833, Mikhail también se fue a Francia. Elizabeth Mikhailovna fue enterrada en el monasterio Don.

En 1831, el tesoro estatal adquirió el edificio para la Primera Gimnasia Municipal Masculina, que ya estaba cerca en Volkhonka, 16. En el nuevo local se instalaron aulas, la oficina y el apartamento del director de la gimnasia. El 7 de mayo de 1836, cuando el director de la gimnasia era Matvey Alexeyevich Okulov, fue visitado por Alexander Sergeyevich Pushkin, amigo cercano de Pavel Voinovich Nashchokin, hermano de la esposa de Okulov. Pushkin menciona esta visita en una carta al poeta P.A. Vyazemsky.

Desde 1852, parte de las instalaciones fue transferida a la administración del distrito educativo de Moscú, para lo cual el fligel fue ampliado con un segundo piso. La institución estuvo aquí hasta la revolución de 1917.

En 1872, en el edificio se abrieron cursos femeninos del profesor Vladimir Ivanovich Gerye, la primera institución de educación superior para mujeres en la ciudad, donde se formaban futuras físicas, filólogos y médicos.

En 1918, aquí se estableció el presidium de la Asociación Rusa de Institutos de Investigación de Ciencias Sociales (RANION) y seis instituciones científicas, incluido el Instituto de Lengua y Literatura bajo la dirección de Vladimir Maximovich Friche. La asociación fue disuelta en 1929, y todos los institutos pasaron a estar bajo la administración de la Academia Comunista, que existió hasta 1936. Ese mismo año, el edificio fue transferido a la Academia de Ciencias de la URSS. Actualmente, aquí se encuentra el Instituto del Lenguaje Ruso V.V. Vinogradov.