Губернаторский дом, построенный в 1790 году, с 1801 по 1917 год служил постоянной резиденцией губернатора восстановленной Пензенской губернии. После Октябрьской революции 1917 года в этом здании размещались различные учреждения, включая детскую художественную школу № 1 имени В. Е. Татлина с 1997 года.

В 2007 и 2010 годах была проведена реставрация здания, на которую выделили 100 миллионов рублей.

В настоящее время здесь находится второй корпус Пензенской областной картинной галереи имени К. А. Савицкого.