Le bâtiment a été construit entre 1791 et 1794 par le marchand de la première guilde de Penza, K. P. Alferov, selon le projet de l'architecte I. A. Anan'in de Nizhny Novgorod. Il abritait des institutions provinciales et de district, principalement judiciaires. En 1853-1854, le bâtiment a été reconstruit selon le projet de l'ingénieur penzois A. K. Shtorkh. En 1871, avec l'ouverture du tribunal de district de Penza, le bâtiment a été agrandi et un mezzanine a été construit au-dessus de sa partie centrale selon le projet de l'architecte Serebryakov de Saint-Pétersbourg. Les travaux ont été réalisés par le contractant I. E. Murzin, secrétaire provincial et marchand temporaire de la deuxième guilde.

Dans ce bâtiment ont travaillé des mémorialistes tels que V. A. Insarsky (1823-1824), I. I. Meshkov (1828-1831) et G. I. Meshkov (années 1860), ainsi que l'écrivain V. A. Volzhin (1880-1904). De 1803 à 1918, il abritait l'imprimerie de l'administration provinciale de Penza, la première de la région. Elle a joué un rôle important dans la vie culturelle de la province, en imprimant les "Bulletins provinciaux de Penza" (1838-1917), des adresses-calendriers, des livres commémoratifs de la province de Penza, les "Recueils du comité statistique provincial de Penza", les "Travaux de la commission archivistique scientifique de Penza" et d'autres publications riches en matériel local. En 1917-1918, y était publiée le journal "Izvestia" du Conseil provincial de Penza, qui est devenu le précurseur de l'actuelle "Penzenskaya Pravda". Depuis 1918, le bâtiment abrite le département de la justice de l'exécutif provincial.