Князья Абамелек-Лазаревы представляли собой объединение двух дворянских родов. Семья Лазаревых прибыла в Россию из Ирана в середине XVIII века и возглавила армянские диаспоры в Москве и Петербурге. Обладая значительным богатством, они активно занимались предпринимательской, финансовой и политической деятельностью.

Иван Лазарев был в близких отношениях с такими известными личностями, как Потёмкин, Вяземский, Орлов, Зубов, Безбородко, Суворов и Румянцев. Его советы высоко ценились среди царедворцев, особенно в вопросах восточной политики. Лазаревы также имели тесные связи с грузинскими князьями Абамелек. После объединения родов Абамелек-Лазаревы заняли важные позиции в российской политике.

Семья Абамелек переселилась в Россию в конце XVIII века и была связана с грузинским царским родом Багратиони. Сын последнего грузинского царя Георгия XII, Давид Багратиони, женился на Елене Семёновне Абамелек.

В середине XIX века обширный участок земли у плашкоутного моста через Оку принадлежал Абамелек-Лазаревым, которые получили дворянство и придворные титулы. В 1844 году они поручили архитектору А. Е. Турмышеву спроектировать двухэтажный каменный дом. Фасад украшали четыре пилястры римского ордера и угловой руст, а окна первого этажа имели треугольные фронтоны. Дом был завершён в 1845 году.

Это здание стало последней работой малоизвестного нижегородского архитектора. С 1850-х годов в нём останавливались приказчики торговых караванов Абамелек-Лазаревых, а также находилась их контора по продаже железа.

О доме ходили легенды, что в нём хранились несметные богатства хозяев. В конце декабря 1918 года чекисты обыскали оставленный владельцами особняк в поисках сокровищ. Весь день они искали, пока случайно не обнаружили потайную дверцу, за которой находилась сокровищница. В тайной комнате были найдены фамильное серебро, редкие картины и ювелирные украшения из золота и серебра, стоимость которых в то время оценивалась в миллион рублей. Некоторые из этих предметов сейчас хранятся в нижегородских музеях.