Das Gebäude wurde in den Jahren 1791-1794 vom penzischen Kaufmann der ersten Gilde K. P. Alferow nach einem Entwurf des Architekten J. A. Ananins aus Nischni Nowgorod erbaut. Darin befanden sich die gubernialen und ujezdlichen Institutionen, hauptsächlich gerichtliche. In den Jahren 1853-1854 wurde das Gebäude nach einem Entwurf des Ingenieurs A. K. Shtorkh aus Pensa umgebaut. Im Jahr 1871, mit der Eröffnung des Penzenschen Bezirksgerichts, wurde das Gebäude erweitert, indem ein Mezzanin in der Mittelpartie nach einem Entwurf des Architekten Serebryakov aus Petersburg hinzugefügt wurde. Die Arbeiten wurden vom Auftragnehmer I. E. Murzin, gubernialen Sekretär und vorübergehenden Kaufmann der zweiten Gilde, ausgeführt.

In diesem Gebäude arbeiteten die Memoiristen W. A. Insarsky (1823-1824), I. I. Meshkov (1828-1831) und G. I. Meshkov (1860er Jahre) sowie der Schriftsteller W. A. Volzhin (1880-1904). Von 1803 bis 1918 befand sich hier die Druckerei der Penzenschen gubernialen Verwaltung, die erste in der Region. Sie spielte eine wichtige Rolle im kulturellen Leben der Provinz, indem sie die "Penzenschen gubernialen Nachrichten" (1838-1917), Adresskalender, Erinnerungsbücher, "Sammlungen des Penzenschen gubernialen statistischen Komitees", "Arbeiten der Penzenschen wissenschaftlichen Archivkommission" und andere Publikationen mit heimatkundlichen Materialien herausgab. In den Jahren 1917-1918 wurde hier die Zeitung "Izvestia" herausgegeben, die später zur "Penzenschen Wahrheit" wurde. Seit 1918 befindet sich in dem Gebäude die Abteilung für Justiz des Gubispolkoms.