El edificio fue construido entre 1791 y 1794 por el comerciante de primera guilda de Penza, K. P. Alferov, según el proyecto del arquitecto Y. A. Ananín de Nizhni Nóvgorod. En él se ubicaban las instituciones provinciales y de distrito, principalmente judiciales. En 1853-1854, el edificio fue remodelado según el proyecto del ingeniero penzense A. K. Shtorkh. En 1871, con la apertura del Tribunal de Distrito de Penza, el edificio fue ampliado y sobre su parte central se construyó un entrepiso según el proyecto del arquitecto Serebryakov de San Petersburgo. Los trabajos fueron realizados por el contratista I. E. Murzin, secretario provincial y comerciante temporal de segunda guilda.

En este edificio trabajaron los memoristas V. A. Insarsky (1823-1824), I. I. Meshkov (1828-1831) y G. I. Meshkov (década de 1860), así como el escritor V. A. Volzhin (1880-1904). Desde 1803 hasta 1918, aquí se encontraba la imprenta del gobierno provincial de Penza, la primera en la región. Desempeñó un papel importante en la vida cultural de la provincia, imprimiendo "Los boletines provinciales de Penza" (1838-1917), calendarios de direcciones, libros conmemorativos de la provincia de Penza, "Colecciones del Comité Estadístico Provincial de Penza", "Trabajos de la Comisión Científica Archivística de Penza" y otras publicaciones con rico material local. En 1917-1918, aquí se publicaba el periódico "Izvestia" del Consejo Provincial de Penza, que se convirtió en el precursor de la actual "Verdad de Penza". Desde 1918, el edificio alberga el departamento de justicia del comité ejecutivo provincial.