El callejón armenio recibió su nombre gracias al rico comerciante armenio Lázaro Nazarovich Lazarián, quien poseía casas en esta zona desde el siglo XVIII. En mayo de 1774, la emperatriz Catalina II le otorgó la nobleza hereditaria. Sin embargo, se sabe que los armenios comenzaron a establecerse aquí ya en el siglo XVI. Lázaro Lazarián, originario de Persia, se dedicó con éxito a la producción de seda y papel en el Imperio Ruso, y más tarde prosperó en la minería. Al convertirse en uno de los comerciantes más acaudalados de Moscú, cambió su apellido a Lazarev y en 1758 adquirió una mansión en el callejón Stolpovski, hoy conocido como callejón armenio.

Parte de la mansión de los Lazarev podría haber pertenecido a la familia Miloslavski, lo que confirman las cámaras recientemente descubiertas por los restauradores. Este hermoso edificio con remates en forma de quilla y frontones desgarrados, probablemente perteneció a una familia adinerada en el siglo XVII. Los historiadores creen que la mansión de los Miloslavski daba al vecino callejón Krivokolenny y podría haber sido parte de la futura mansión de los Lazarev.

A principios del siglo XVIII, la mansión pasó de Vakhramey Miller, propietario de fábricas de hierro, a los príncipes Nesvitsky, luego a los Saltykov, y solo en el siglo XIX se convirtió en parte de la embajada armenia.

La familia Lazarev adquirió edificios de piedra a Zakharia Sheriman, un industrial en la industria de la seda. Los hijos de Lázaro Nazarovich fundaron aquí una institución educativa armenia, destinando grandes recursos a ello. La reconstrucción y construcción del edificio principal comenzaron en 1813. Es sorprendente, pero los edificios no sufrieron durante la invasión de los franceses en 1812 gracias al mameluco Rustam, quien protegía a Napoleón. Él salvó el callejón armenio de la destrucción. También se salvaron la iglesia armenia y los pabellones de la iglesia armenia de la Elevación de la Cruz, que han perdurado hasta nuestros días. Catalina II permitió la construcción de iglesias armenias en San Petersburgo y Moscú en las mismas condiciones que las católicas. La iglesia armenia de la Elevación fue construida en 1779 o 1781. En 1829, fue adornada con esculturas de Vitali. Se creía que las iglesias armenias no podían usar campanas, y solo en 1866 se construyó un campanario aquí. En 1938, la iglesia fue desmantelada y se construyó una escuela en su lugar, pero los pabellones se conservaron.

En 1815, se abrió una escuela en la mansión de los Lazarev, y en 1822 se erigió un obelisco en el patio en honor a los propietarios y fundadores. Para la década de 1840, los pabellones de la mansión se conectaron con el edificio principal para la comodidad de los estudiantes. En 1835, la escuela recibió el estatus de gimnasio, y en 1848 se convirtió en el Instituto Lazarev de Lenguas Orientales. Entre sus alumnos estaban Iván Turguéniev, Stanislavski y Loris-Melikov.

En 1905, se descubrió un almacén revolucionario de armas en el instituto. Después de 1917, el instituto fue cerrado, y en el edificio se abrió un estudio teatral bajo la dirección de E. B. Vakhtangov, donde trabajó Rubén Simonov. En 1921, la casa de los Lazarev se convirtió en "Casa de Cultura" de la Armenia soviética. En 1953 fue cerrada, y aquí se estableció el Instituto de Estudios Orientales de la Academia de Ciencias de la URSS hasta 1977.

Actualmente, en el edificio se encuentra la embajada de Armenia.