Le bâtiment a été construit entre 1791 et 1794 par le marchand de la première guilde K. P. Alferov selon le projet de l'architecte Y. A. Anan'in de Nizhny Novgorod. Il abritait des institutions gouvernementales et de district, principalement judiciaires. En 1853-1854, le bâtiment a été reconstruit selon le projet de l'ingénieur A. K. Shtorkh de Penza. En 1871, avec l'ouverture de la cour d'appel de Penza, le bâtiment a été agrandi en ajoutant un mezzanine au centre selon le projet de l'architecte Serebryakov de Saint-Pétersbourg. Les travaux ont été réalisés par l'entrepreneur I. E. Murzin, secrétaire de la province et marchand temporaire de la deuxième guilde.

Dans ce bâtiment ont travaillé les mémorialistes V. A. Insarsky (1823-1824), I. I. Meshkov (1828-1831) et G. I. Meshkov (années 1860), ainsi que l'écrivain V. A. Volzhin (1880-1904). De 1803 à 1918, il abritait l'imprimerie du gouvernement provincial de Penza, la première de la région. Elle a joué un rôle important dans la vie culturelle de la province, publiant les "Bulletins provinciaux de Penza" (1838-1917), des calendriers d'adresses, des livres commémoratifs, les "Recueils du comité statistique provincial de Penza", les "Travaux de la commission archivistique scientifique de Penza" et d'autres publications avec des matériaux sur l'histoire locale. En 1917-1918, le journal "Izvestia" y était publié, qui est devenu plus tard "La Vérité de Penza". Depuis 1918, le bâtiment abrite le département de la justice du comité exécutif provincial.