Строительство губернаторского дома в Нижегородском кремле связано с крупными градостроительными изменениями, инициированными в Нижнем Новгороде по указу императора Николая I. Эти изменения касались территории кремля, где планировалось создать новый ансамбль административного и духовного центра города, а также разместить императорскую резиденцию для визитов императора. Первоначальный проект губернаторского дома был разработан в начале 1835 года П.Д. Готманом, известным строителем и руководителем работ в Нижнем Новгороде. Однако Николай I отклонил проект из-за "излишеств в строениях и украшениях" и приказал сократить расходы на строительство. Окончательный проект в стиле позднего классицизма был утверждён 21 ноября 1836 года и разработан архитектором И.И. Шарлеманем. Строительство началось в 1837 году и продолжалось несколько лет. Первоначально надзор за работами осуществлял архитектор А.Л. Леер, затем его сменили помощник архитектора А.И. Шеффер и городской архитектор А.Е. Турмышев. В процессе строительства в проект были внесены небольшие изменения. Главные фасады дома были ориентированы: северный, на Волгу, южный, в сторону Спасо-Преображенского собора. На первом этаже разместились жилые комнаты семьи губернатора, на втором, императорские покои, гостиная, столовая, кабинет, спальни и другие помещения. На третьем этаже находилась домашняя церковь Святого Духа, освящённая 18 сентября 1845 года, где епископ Нижегородский и Арзамасский Иоанн провёл первую литургию.

По бокам здания располагались два флигеля: в восточном находились губернская канцелярия и квартиры чиновников, в западном, гарнизонная гауптвахта. Между домом и флигелем была установлена кованая железная решётка на каменном цоколе. Все строительные работы завершились летом 1841 года.

Через пять лет из-за оползней на склоне здание, расположенное над обрывом кремлёвского холма, было повреждено и нуждалось в ремонте. В 1846 году инженер А.И. Дельвиг, известный строитель первого нижегородского водопровода и фонтана, впервые в истории города применил бетон для заделки трещин в фундаментах и подвалах.

После постройки губернаторского дворца был реализован проект архитекторов И.Е. Ефимова и П.Д. Готмана от 1834 года по созданию кремлёвского сада на месте бывшего Свято-Духовского монастыря. В 1852 году с западной стороны дома был разбит зимний сад с южными деревьями, гротом и фонтаном. Губернаторский сад спускался по склону холма от дома к северной стороне кремля, от Георгиевской башни до Ивановских ворот. Каменный храм Свято-Духовского монастыря был передан единоверческой общине Нижнего Новгорода, а в 1840 году стал домовой церковью губернаторского дома. В 1858 году в доме состоялась встреча французского писателя Александра Дюма-отца с декабристом Иваном Анненковым и его женой Полиной Гёбль, прототипами его романа "Учитель фехтования". Во второй половине XIX века здание несколько раз ремонтировалось, в частности, в 1885, 1894 и 1896 годах. Тогда по проекту архитектора Н.И. Иванова был установлен металлический зонт парадного входа на чугунных столбах и овальные пандусы подъездов. К весне 1906 года в стенах здания появились трещины, угрожающие его целостности. Рассматривался вопрос о сносе или частичной перестройке, но министерство решило провести капитальный ремонт с укреплением фундамента. Ответственным за ремонт был назначен младший инженер Е.М. Мичурин. После революции 1917 года дом стал называться Дворцом Свободы. С октября 1917 года церковь в доме не действовала, а в 1918 году была ликвидирована, исчезли все её историко-художественные предметы, предположительно тогда же была снесена звонница. Позднее в здании разместились новые губернские органы власти. С 1992 года в бывшем доме губернатора находится экспозиция Нижегородского государственного художественного музея.