Губернаторский сад располагался в северо-восточной части кремля. С севера и северо-востока его территория была ограничена крепостной стеной, а с других сторон, забором, который проходил вдоль Ивановского съезда и примыкал к гауптвахте, дому военного губернатора и служебным зданиям.

Император Николай I, посетив город в 1834-1836 годах, распорядился построить новый дом для военного губернатора и разбить сад на прилегающей территории. Для выполнения этой задачи в 1836 году в Нижний Новгород был направлен придворный садовник Пельцель, которому поручили разработать проект сада на указанном месте.

Сад при доме военного губернатора, как его называли в архивных документах, фактически представлял собой усадебный парк в английском стиле. По проекту в нем планировалось высадить тополя душистые и серебристые, липы, клены, рябины, дубы, ясени, ели, орешники и различные садовые кустарники.

Работы по перепланировке склона Георгиевской горы велись под руководством Пельцеля, который не имел технических знаний и опыта в строительстве. В результате была разрушена система труб и желобов, отводившая грунтовые воды за пределы кремля. Это привело к затоплению подземными водами, что вызвало оползни и разрушение подгорного участка крепостной стены. Ликвидация последствий деятельности Пельцеля затянулась на десятилетия и проводилась в 1850-е годы под руководством архитектора Л.В. Фостикова, а в 1860-е годы, архитектора Д. Небольсина.

К концу XIX века был благоустроен только верхний участок сада, а нижняя, подгорная часть оставалась в запущенном состоянии.

В начале ХХ века городские власти даже рассматривали возможность прокладки дороги по подгорному участку сада вдоль крепостной стены, соединяющей пристани с Ивановским съездом.

После Февральской революции 1917 года сад стал доступен для широкой публики.

При советской власти сад не использовался. В послевоенные годы его территория была заново террасирована в рамках противооползневых мероприятий.