Здание было построено в 1791-1794 годах пензенским купцом первой гильдии К. П. Алферовым по проекту архитектора Я. А. Ананьина из Нижнего Новгорода. В нем находились губернские и уездные учреждения, в основном судебные. В 1853-1854 годах здание было перестроено по проекту инженера А. К. Шторха из Пензы. В 1871 году, с открытием Пензенского окружного суда, здание расширили, добавив мезонин в средней части по проекту архитектора Серебрякова из Петербурга. Работы выполнял подрядчик И. Е. Мурзин, губернский секретарь и временный купец второй гильдии.

В этом здании работали мемуаристы В. А. Инсарский (1823-1824), И. И. Мешков (1828-1831) и Г. И. Мешков (1860-е), а также писатель В. А. Волжин (1880-1904). С 1803 по 1918 год здесь находилась типография Пензенского губернского правления, первая в регионе. Она играла важную роль в культурной жизни губернии, выпуская "Пензенские губернские ведомости" (1838-1917), адрес-календари, памятные книжки, "Сборники Пензенского губернского статистического комитета", "Труды Пензенской ученой архивной комиссии" и другие издания с краеведческими материалами. В 1917-1918 годах здесь издавалась газета "Известия", которая позже стала "Пензенской правдой". С 1918 года в здании разместился отдел юстиции губисполкома.