Территория, где находится усадебный комплекс, когда-то была частью Малого острога, фортификационного сооружения средневекового Нижнего Новгорода. Предполагается, что цепь дерево-земляных укреплений острога начали строить с 60-х годов XIV века. На месте усадьбы, по некоторым данным, стояла одна из деревянных башен, к воротам которой вели два крутых спуска от берега Волги. С другой стороны башня примыкала к улице Егорьевской, проходившей вдоль укреплений под углом от Происхожденческого монастыря, находившегося в районе памятника В. П. Чкалова.

Деревянные укрепления Малого острога были разобраны к началу XVIII века, но земляной вал сохранился. Долгое время это место оставалось окраиной города. Высокий берег Волги, изрезанный оврагами, был неудобен для строительства. Планы Нижнего Новгорода времён классицизма второй половины XVIII и начала XIX веков не затрагивали этот участок. До 1830-х годов откос и склоны использовались под огороды, бани и служебные постройки усадеб на улице Жуковской.

На плане 1792 года на участке отмечена небольшая деревянная застройка вдоль средневекового вала, большая часть земли оставалась незастроенной. С востока к участку прилегал двор с огородом подканцеляриста Ивана Житенина. За валом находился каменно-деревянный дом с огородом секунд-майора Фёдора Бухвалова.

По плану 1799 года на месте современного комплекса находилась усадьба, строения которой располагались на углу Малой Печёрской улицы и формирующейся Жуковской улицы. Выход усадьбы к волжскому откосу был пуст. Красная линия будущей Верхневолжской набережной была определена в 1830-х годах в рамках масштабной строительной программы.

Первый визит императора Николая I в Нижний Новгород в октябре 1834 года дал старт проекту. Проект набережной, выполненный губернским архитектором И. Е. Ефимовым и инженером П. Д. Готманом, был утверждён в 1835 году. Работы контролировал инженер А. И. Поднозов. К осени 1839 года набережная была выровнена и покрыта булыжником.

Каменное строительство на набережной началось в 1840-х годах, но шло медленно из-за невыгодности возведения каменных зданий на окраине города. К середине века были построены корпуса Мартыновской больницы и Мариинского института благородных девиц, а также несколько частных домов, включая дом нижегородского купца третьей гильдии Серапиона Везломцева, который занимал часть будущего ансамбля усадьбы Рукавишникова.

Главный дом усадьбы Везломцева был выполнен в стиле позднего классицизма. В 1868 году усадьбу приобрёл купец первой гильдии Михаил Григорьевич Рукавишников. Согласно описной книге 1871 года, каменный двухэтажный дом с надворным строением оценивался в 4 тысячи рублей.

В 1874 году М. Г. Рукавишников умер, и процесс передачи наследства затянулся до конца 1875 года. В 1786 году владельцем усадьбы стал Сергей Михайлович Рукавишников, а в 1890-х годах, Иван, Сергей, Митрофан, Николай и Евгения Ивановна Рукавишниковы. В июне 1891 года единственным владельцем снова стал С. М. Рукавишников, который оставался собственником до своей смерти в 1914 году. Известно лишь, что в 1906 году в здание провели новый водопровод. Облик усадьбы на рубеже XIX и XX веков был запечатлён фотографом М. П. Дмитриевым, чьи снимки легли в основу видовых почтовых открыток.

В советский период комплекс был экспроприирован. В главном здании с марта по июнь 1918 года разместился губернский музей. В 1919 году с территории усадьбы выселили сыновей бывшего владельца Ивана и Митрофана Рукавишниковых, участвовавших в организации музея. В 1920-х годах проводились ремонтные работы внутри помещений. В 1927 году была проведена реконструкция к десятилетию Октябрьской революции.

В 1935 году начались новые ремонтно-реставрационные работы, которые продолжались и после войны. В 1980-х годах ежегодно восстанавливали скульптурные и архитектурные элементы фасадов и интерьеров здания. Были воссозданы ворота, ведущие на территорию. Решением Горьковского облисполкома от 3 ноября 1983 года комплекс был взят под охрану как памятник архитектуры областного значения. На рубеже XX и XXI веков финансирование восстановительных работ прекратилось, и памятник пришёл в аварийное состояние. В 1997 и 2010 годах была проведена масштабная реставрация.