Здание было возведено в 1786-1787 годах пензенским купцом Герасимом Шабониным по проекту архитектора Якова Ананьевича Ананьина из Нижнего Новгорода. Проект был утвержден Екатериной II 6 февраля 1786 года. В этом здании размещались наместническое (губернское) правление и казенная палата, которая являлась губернским органом Министерства финансов. В период с 1791 по 1797 годы председателем был поэт и драматург, а также организатор первого театра в Пензе, вице-губернатор князь Иван Михайлович Долгоруков. В 1865-1866 годах эту должность занимал писатель-сатирик Михаил Евграфович Салтыков-Щедрин.

В этом здании работали мемуаристы, такие как Иван Иванович Мешков, который в 1832 году создал одни из первых воспоминаний о Пензенском крае, описывающих события 1774 года, связанные с пугачевцами. Его сын, Григорий Иванович Мешков, оставил "Записки о городе Пензе", а Василий Антонович Инсарский написал шесть томов своих "Записок", опубликованных в разных журналах. С этим зданием также связано имя вице-губернатора Александра Михайловича Жемчужникова, который был соавтором нескольких произведений Козьмы Пруткова, коллективного псевдонима группы писателей, в которую входили его брат В. М. Жемчужников и поэт А. К. Толстой.

В 1853-1854 годах здание было перестроено по проекту пензенского губернского инженера Александра Конрадовича Шторха.