Das Gebäude wurde in den Jahren 1791-1794 vom penzener Kaufmann der ersten Gilde K. P. Alferow nach einem Entwurf des Architekten J. A. Anan'in aus Nischni Nowgorod erbaut. Darin befanden sich die gubernialen und ujezdlichen Institutionen, hauptsächlich gerichtliche. In den Jahren 1853-1854 wurde das Gebäude nach einem Entwurf des penzener Ingenieurs A. K. Shtorkh umgebaut. Im Jahr 1871, mit der Eröffnung des Penzener Bezirksgerichts, wurde das Gebäude erweitert und über seinem zentralen Teil wurde ein Mezzanin nach einem Entwurf des Architekten Serebryakov aus Petersburg errichtet. Die Arbeiten wurden von dem Auftragnehmer I. E. Murzin, gubernialen Sekretär und vorübergehenden Kaufmann der zweiten Gilde, ausgeführt.

In diesem Gebäude arbeiteten die Memoiristen V. A. Insarsky (1823-1824), I. I. Meshkov (1828-1831) und G. I. Meshkov (1860er Jahre) sowie der Schriftsteller V. A. Volzhin (1880-1904). Von 1803 bis 1918 befand sich hier die Druckerei der Penzener gubernialen Verwaltung, die erste in der Region. Sie spielte eine wichtige Rolle im kulturellen Leben der Gubernia, indem sie die „Penzener gubernialen Nachrichten“ (1838-1917), Adresskalender, Erinnerungsbücher der Penzener Gubernia, „Sammlungen des Penzener gubernialen statistischen Komitees“, „Arbeiten der Penzener wissenschaftlichen Archivkommission“ und andere Publikationen mit reichhaltigem heimatkundlichem Material druckte. In den Jahren 1917-1918 wurde hier die Zeitung „Izvestia“ des Penzener Gubernialrats herausgegeben, die der modernen „Penzener Wahrheit“ vorausging. Seit 1918 befindet sich im Gebäude die Abteilung für Justiz des Gubispolkoms.