La maison Gorstkine, située à l'intersection des rues Peshaya et Sadovaya, a été construite en 1838 par Ivan Nikolaïevitch Gorstkine, un décembriste connu et un homme de théâtre. Il l'a érigée à l'emplacement d'une ancienne maison en bois, qui appartenait à Piotr Andreïevitch Gabbe, participant à la guerre patriotique de 1812 et proche ami du poète P. A. Viazemski. En 1846, le bâtiment a été acquis par Elizaveta Ivanovna Arapova, épouse du major Andreï Nikolaïevitch Arapov. En 1874, la maison est passée à leurs fils, Ivan et Nikolai Arapov, qui étaient mariés aux filles de Natalia Nikolaïevna Pouchkine-Lanskaïa, Alexandra et Elizaveta. À la galerie d'art de Penza, on peut voir des portraits du major A. N. Arapov, réalisés par l'artiste D. I. Antonelli, ainsi que des portraits de ses filles et petites-filles, peints par l'académicien de peinture I. K. Makarov. Le 5 mai 1875, le bâtiment a été acquis par la Banque d'État pour la succursale de Penza. En 1913, dans l'appartement du directeur de la banque M. N. Rudzévitch, un célèbre joueur d'échecs, jouait le grand joueur d'échecs russe et champion du monde A. A. Alekhine. Après la révolution, il y avait une bourse du travail ici, et ces dernières années, le bâtiment était occupé par le ROVD de la ville de Penza.