La Casa del Gobernador, construida en 1790, sirvió como residencia permanente del gobernador de la restaurada provincia de Penza desde 1801 hasta 1917.
Después de la Revolución de Octubre de 1917, en este edificio se alojaron diversas instituciones, incluyendo la escuela de arte infantil n.º 1 en nombre de V. E. Tatlin desde 1997.

En 2007 y 2010 se llevó a cabo la restauración del edificio, para la cual se destinaron 100 millones de rublos.

Actualmente, aquí se encuentra el segundo edificio de la Galería de Arte de la Provincia de Penza en nombre de K. A. Savitsky.