Der Bau des Gouverneursgebäudes im Nischni Nowgoroder Kreml ist mit großen städtebaulichen Veränderungen verbunden, die in Nischni Nowgorod auf Befehl von Kaiser Nikolaus I. initiiert wurden. Diese Veränderungen betrafen das Gebiet des Kremls, wo ein neues Ensemble des administrativen und geistlichen Zentrums der Stadt geschaffen werden sollte, sowie die Unterbringung einer kaiserlichen Residenz für die Besuche des Kaisers. Der ursprüngliche Entwurf des Gouverneursgebäudes wurde Anfang 1835 von P.D. Gotman, einem bekannten Bauunternehmer und Leiter der Arbeiten in Nischni Nowgorod, entwickelt. Allerdings wies Nikolaus I. den Entwurf wegen "Überschüsse in den Bauten und Verzierungen" zurück und befahl, die Baukosten zu reduzieren. Der endgültige Entwurf im Stil des späten Klassizismus wurde am 21. November 1836 genehmigt und von dem Architekten I.I. Scharlman erstellt. Der Bau begann 1837 und dauerte mehrere Jahre. Zunächst überwachte der Architekt A.L. Leer die Arbeiten, dann wurde er von dem Assistenten des Architekten A.I. Scheffer und dem Stadtarchitekten A.E. Turmyschew abgelöst. Im Verlauf des Baus wurden kleine Änderungen am Projekt vorgenommen. Die Hauptfassaden des Hauses waren ausgerichtet: die nördliche zur Wolga, die südliche in Richtung der Spaso-Preobraschenski-Kathedrale. Im ersten Stock befanden sich die Wohnräume der Familie des Gouverneurs, im zweiten die kaiserlichen Gemächer, das Wohnzimmer, das Esszimmer, das Arbeitszimmer, Schlafzimmer und andere Räume. Im dritten Stock befand sich die Hauskirche des Heiligen Geistes, die am 18. September 1845 geweiht wurde, wo der Bischof von Nischni Nowgorod und Arzamas, Ioann, die erste Liturgie hielt.

An den Seiten des Gebäudes befanden sich zwei Flügel: im östlichen die Gouvernementskanzlei und Wohnungen für Beamte, im westlichen die Garnisonswache. Zwischen dem Haus und dem Flügel wurde ein schmiedeeisernes Gitter auf einem Steinsockel installiert. Alle Bauarbeiten wurden im Sommer 1841 abgeschlossen.

Fünf Jahre später wurde das Gebäude aufgrund von Erdrutschen am Hang, das über dem Abhang des Kremlhügels lag, beschädigt und benötigte Reparaturen. 1846 wandte der Ingenieur A.I. Delwig, ein bekannter Bauunternehmer der ersten Nischni Nowgoroder Wasserleitung und des Brunnens, erstmals in der Geschichte der Stadt Beton zur Verfüllung von Rissen in den Fundamenten und Kellern an.

Nach dem Bau des Gouverneursgebäudes wurde das Projekt der Architekten I.E. Jefimov und P.D. Gotman von 1834 zur Schaffung des Kremlgartens an der Stelle des ehemaligen Heilig-Geist-Klosters umgesetzt. 1852 wurde auf der Westseite des Hauses ein Wintergarten mit südlichen Bäumen, einer Grotte und einem Brunnen angelegt. Der Gouverneursgarten erstreckte sich am Hang des Hügels vom Haus zur Nordseite des Kremls, von dem Georgievski-Turm bis zu den Iwanowskij-Toren. Die steinerne Kirche des Heilig-Geist-Klosters wurde der gleichgläubigen Gemeinde von Nischni Nowgorod übergeben und wurde 1840 zur Hauskirche des Gouverneursgebäudes. 1858 fand im Haus ein Treffen des französischen Schriftstellers Alexandre Dumas père mit dem Dekabristen Ivan Annenkov und seiner Frau Polina Göbel, den Prototypen seines Romans "Der Fechtmeister", statt. In der zweiten Hälfte des 19. Jahrhunderts wurde das Gebäude mehrmals renoviert, insbesondere in den Jahren 1885, 1894 und 1896. Damals wurde nach dem Entwurf des Architekten N.I. Ivanov ein metallener Baldachin am Haupteingang auf gusseisernen Säulen und ovale Rampen für die Zugänge installiert. Bis zum Frühjahr 1906 traten Risse in den Wänden des Gebäudes auf, die seine Integrität bedrohten. Es wurde über den Abriss oder eine teilweise Umgestaltung nachgedacht, aber das Ministerium entschied sich für eine umfassende Renovierung mit Verstärkung des Fundaments. Verantwortlich für die Renovierung wurde der Junioringenieur E.M. Michurin. Nach der Revolution von 1917 wurde das Haus als Palast der Freiheit bezeichnet. Ab Oktober 1917 war die Kirche im Haus nicht mehr aktiv, und 1918 wurde sie aufgelöst, alle historischen und künstlerischen Gegenstände verschwanden, vermutlich wurde auch der Glockenturm abgerissen. Später wurden im Gebäude neue gubernatoriale Behörden untergebracht. Seit 1992 befindet sich in dem ehemaligen Gouverneursgebäude die Ausstellung des Nischni Nowgoroder Staatlichen Kunstmuseums.