Дед Григорий Михайлович Рукавишников, основатель рода Рукавишниковых, начинал как крепостной, но благодаря своей смекалке и трудолюбию смог накопить капитал, пройдя путь от лавочника до владельца сталелитейного завода. Его сын, Михаил Григорьевич Рукавишников, продолжил дело.

Сергей Михайлович Рукавишников, унаследовавший от деда 2 миллиона в 1877 году, построил дворец на Верхневолжской набережной. Архитектором был И. С. Бойцов, а скульптурное оформление создал М. О. Микешин. В период строительства Сергей жил на проценты от наследства, не проявляя интереса к бизнесу, а занимаясь коневодством.

После завершения строительства дворца Сергей Михайлович приступил к перестройке усадьбы в Подвязье. В 1913 и 1916 годах по его инициативе в Нижнем Новгороде было возведено здание торгово-промышленного комплекса с банковскими конторами, известное как «банк Рукавишниковых». Архитектором выступил Ф. О. Шехтель, а скульптором, С. Т. Конёнков. Это здание стало одним из лучших примеров стиля модерн в городе.