Das Haus Gorstkin, gelegen an der Kreuzung der Straßen Pescha und Sadovaya, wurde 1838 von Ivan Nikolayevich Gorstkin, einem bekannten Dekabristen und Theatermacher, erbaut. Er errichtete es anstelle eines alten Holzhauses, das Peter Andreyevich Gabbe gehörte, einem Teilnehmer des Vaterländischen Krieges von 1812 und einem engen Bekannten des Dichters P. A. Vyazemsky. 1846 wurde das Gebäude von Yelizaveta Ivanovna Arapova, der Frau des Majors Andrey Nikolayevich Arapov, erworben. 1874 ging das Haus an ihre Söhne, Ivan und Nikolai Arapov, die mit den Töchtern von Natalia Nikolaevna Pushkina-Lanskaya, Alexandra und Elizaveta, verheiratet waren. In der Penzenskaya Kunstgalerie sind die Porträts des Majors A. N. Arapov zu sehen, die der Künstler D. I. Antonelli angefertigt hat, sowie die Porträts seiner Töchter und Enkelinnen, gemalt von dem Akademiker der Malerei I. K. Makarov. Am 5. Mai 1875 wurde das Gebäude von der Staatsbank für die Penzaner Filiale erworben. 1913 spielte in der Wohnung des Bankdirektors M. N. Rudzevich, einem bekannten Schachspieler, der herausragende russische Schachmeister und Weltmeister A. A. Alekhine. Nach der Revolution befand sich hier das Arbeitsamt, und in den letzten Jahren wurde das Gebäude vom Ersten Mai ROVD der Stadt Penza genutzt.