El edificio fue construido entre 1791 y 1794 por el comerciante de primera guilda K. P. Alferov, según el proyecto del arquitecto Y. A. Ananín de Nizhni Nóvgorod. En él se encontraban las instituciones gubernamentales y de distrito, principalmente judiciales. En 1853-1854, el edificio fue remodelado según el proyecto del ingeniero A. K. Shtorkh de Penza. En 1871, con la apertura del Tribunal de Distrito de Penza, el edificio fue ampliado, añadiendo un entresuelo en la parte central según el proyecto del arquitecto Serebryakov de Petersburgo. Los trabajos fueron realizados por el contratista I. E. Murzin, secretario gubernamental y comerciante temporal de segunda guilda.

En este edificio trabajaron los memoristas V. A. Insarsky (1823-1824), I. I. Meshkov (1828-1831) y G. I. Meshkov (década de 1860), así como el escritor V. A. Volzhin (1880-1904). Desde 1803 hasta 1918, aquí se encontraba la imprenta del gobierno provincial de Penza, la primera en la región. Desempeñó un papel importante en la vida cultural de la provincia, publicando "Los boletines provinciales de Penza" (1838-1917), calendarios de direcciones, libros conmemorativos, "Colecciones del Comité Estadístico Provincial de Penza", "Trabajos de la Comisión Científica Archivística de Penza" y otras publicaciones con materiales sobre la región. En 1917-1918, aquí se publicaba el periódico "Izvestia", que más tarde se convirtió en "La verdad de Penza". Desde 1918, el edificio alberga el departamento de justicia del comité ejecutivo provincial.