La construcción de la casa del gobernador en el Kremlin de Nizhni Nóvgorod está relacionada con importantes cambios urbanísticos, iniciados en Nizhni Nóvgorod por orden del emperador Nicolás I. Estos cambios afectaron al territorio del Kremlin, donde se planeaba crear un nuevo conjunto administrativo y espiritual de la ciudad, así como ubicar una residencia imperial para las visitas del emperador. El proyecto inicial de la casa del gobernador fue desarrollado a principios de 1835 por P.D. Gotman, un conocido constructor y supervisor de obras en Nizhni Nóvgorod. Sin embargo, Nicolás I rechazó el proyecto debido a "excesos en las construcciones y decoraciones" y ordenó reducir los gastos de construcción. El proyecto final, en estilo neoclásico tardío, fue aprobado el 21 de noviembre de 1836 y diseñado por el arquitecto I.I. Charlemagne. La construcción comenzó en 1837 y continuó durante varios años. Inicialmente, la supervisión de las obras estuvo a cargo del arquitecto A.L. Leer, luego fue reemplazado por el asistente arquitecto A.I. Sheffer y el arquitecto municipal A.E. Turmyshev. Durante el proceso de construcción se realizaron pequeños cambios en el proyecto. Las fachadas principales de la casa estaban orientadas: la norte, hacia el Volga, y la sur, hacia la catedral de Spaso-Preobrazhensky. En el primer piso se ubicaron las habitaciones de la familia del gobernador, en el segundo, los aposentos imperiales, la sala de estar, el comedor, la oficina, los dormitorios y otros espacios. En el tercer piso se encontraba la iglesia doméstica del Espíritu Santo, consagrada el 18 de septiembre de 1845, donde el obispo de Nizhni Nóvgorod y Arzamas, Juan, celebró la primera liturgia.

A los lados del edificio se encontraban dos alas: en la oriental estaban la oficina del gobernador y los apartamentos de los funcionarios, en la occidental, la prisión militar. Entre la casa y el ala se instaló una reja de hierro forjado sobre un zócalo de piedra. Todos los trabajos de construcción se completaron en el verano de 1841.

Cinco años después, debido a deslizamientos de tierra en la ladera, el edificio, ubicado sobre el acantilado de la colina del Kremlin, sufrió daños y necesitaba reparaciones. En 1846, el ingeniero A.I. Delvig, conocido constructor del primer acueducto y fuente de Nizhni Nóvgorod, aplicó por primera vez en la historia de la ciudad concreto para sellar las grietas en los cimientos y sótanos.

Después de la construcción del palacio del gobernador, se llevó a cabo el proyecto de los arquitectos I.E. Efimov y P.D. Gotman de 1834 para crear el jardín del Kremlin en el lugar del antiguo monasterio de San Espíritu. En 1852, se creó un invernadero en el lado occidental de la casa con árboles del sur, una gruta y una fuente. El jardín del gobernador descendía por la ladera de la colina desde la casa hacia el lado norte del Kremlin, desde la torre de San Jorge hasta la puerta de Iván. El templo de piedra del monasterio de San Espíritu fue entregado a la comunidad ortodoxa de Nizhni Nóvgorod, y en 1840 se convirtió en la iglesia doméstica de la casa del gobernador. En 1858, en la casa tuvo lugar un encuentro entre el escritor francés Alejandro Dumas padre y el decembrista Iván Annenkov y su esposa Polina Göbl, prototipos de su novela "El maestro de esgrima". En la segunda mitad del siglo XIX, el edificio fue reparado varias veces, en particular, en 1885, 1894 y 1896. En ese momento, según el proyecto del arquitecto N.I. Ivanov, se instaló un toldo metálico en la entrada principal sobre columnas de hierro fundido y rampas ovaladas en las entradas. Para la primavera de 1906, aparecieron grietas en las paredes del edificio, amenazando su integridad. Se consideró la posibilidad de demolerlo o realizar una reconstrucción parcial, pero el ministerio decidió llevar a cabo una reparación capital con el refuerzo de los cimientos. El ingeniero junior E.M. Michurin fue designado responsable de la reparación. Después de la revolución de 1917, la casa pasó a llamarse Palacio de la Libertad. Desde octubre de 1917, la iglesia en la casa no funcionó, y en 1918 fue liquidada, desapareciendo todos sus objetos histórico-artísticos; presumiblemente, en ese momento también se demolió el campanario. Posteriormente, en el edificio se ubicaron nuevos órganos de poder gubernamental. Desde 1992, en la antigua casa del gobernador se encuentra la exposición del Museo Estatal de Bellas Artes de Nizhni Nóvgorod.