Армянский переулок получил свое название благодаря богатому купцу армянину Лазарю Назаровичу Лазаряну, который владел домами в этом районе с XVIII века. В мае 1774 года императрица Екатерина II пожаловала ему потомственное дворянство. Однако известно, что армяне начали селиться здесь еще в XVI веке. Лазарь Лазарян, родом из Персии, успешно занимался шелковым и бумажным производством в Российской Империи, а позже преуспел и в горном деле. Став одним из самых состоятельных купцов Москвы, он изменил фамилию на Лазарев и в 1758 году приобрел усадьбу в Столповском, ныне Армянском, переулке.

Часть усадьбы Лазаревых могла принадлежать семье Милославских, что подтверждают недавно обнаруженные реставраторами палаты. Это красивое здание с килевидными завершениями наличников и разорванными фронтонами, вероятно, принадлежало обеспеченной семье в XVII веке. Историки считают, что усадьба Милославских выходила в соседний Кривоколенный переулок и могла стать частью будущей усадьбы Лазаревых.

В начале XVIII века усадьба переходила от Вахрамея Миллера, владельца железных заводов, к князьям Несвицким, затем к Салтыковым, и только в XIX веке стала частью армянского посольства.

Семья Лазаревых приобрела каменные здания у Захария Шеримана, промышленника в шелковой отрасли. Сыновья Лазаря Назаровича основали здесь армянское учебное заведение, выделив на это крупные средства. Перестройка и строительство основного здания начались в 1813 году. Удивительно, но здания не пострадали во время нашествия французов в 1812 году благодаря мамелюку Рустаму, охранявшему Наполеона. Он спас Армянский переулок от разрушения. Также были спасены Армянская церковь и флигели армянской Крестовоздвиженской церкви, которые сохранились до наших дней. Екатерина II разрешила строить армянские церкви в Санкт-Петербурге и Москве на тех же основаниях, что и католические. Армянская Воздвиженская церковь была построена в 1779 или 1781 году. В 1829 году ее украсил скульптурами Витали. Считалось, что армянские церкви не могли использовать колокольный звон, и только в 1866 году здесь построили колокольню. В 1938 году церковь разобрали, построив на ее месте школу, но флигели сохранились.

В 1815 году в усадьбе Лазаревых открылось училище, а в 1822 году во дворе установили обелиск в честь владельцев и основателей. К 40-м годам XIX века флигели усадьбы соединили с основным зданием для удобства учащихся. В 1835 году училище получило статус гимназии, а в 1848 году стало Лазаревским институтом восточных языков. Среди его учеников были Иван Тургенев, Станиславский и Лорис-Меликов.

В 1905 году в институте обнаружили революционный склад оружия. После 1917 года институт закрыли, и в здании открылась театральная студия под руководством Е. Б. Вахтангова, где работал Рубен Симонов. В 1921 году дом Лазаревых стал "Домом культуры" советской Армении. В 1953 году его закрыли, и здесь разместился Институт востоковедения Академии наук СССР до 1977 года.

Сейчас в здании находится посольство Армении.