La casa Gorstkin, ubicada en la intersección de las calles Pesheya y Sadovaya, fue construida en 1838 por Ivan Nikolayevich Gorstkin, conocido decembrista y figura teatral. La levantó en el lugar de una antigua casa de madera que pertenecía a Pyotr Andreyevich Gabbe, participante de la Guerra Patriótica de 1812 y amigo cercano del poeta P. A. Vyazemsky. En 1846, el edificio fue adquirido por Elizaveta Ivanovna Arapova, esposa del mayor Andrey Nikolayevich Arapov. En 1874, la casa pasó a sus hijos, Ivan y Nikolai Arapov, quienes estaban casados con las hijas de Natalia Nikolayevna Pushkina-Lanskaya, Alexandra y Elizaveta. En la galería de arte de Penza se pueden ver retratos del mayor A. N. Arapov, realizados por el artista D. I. Antonelli, así como retratos de sus hijas y nietas, pintados por el académico de pintura I. K. Makarov. El 5 de mayo de 1875, el edificio fue adquirido por el Banco del Estado para la sucursal de Penza. En 1913, en el apartamento del gerente del banco M. N. Rudzevich, conocido ajedrecista, jugó el destacado ajedrecista ruso y campeón mundial A. A. Alekhine. Después de la revolución, aquí se ubicó la bolsa de trabajo, y en los últimos años, el edificio fue ocupado por el ROVD de Primero de Mayo de la ciudad de Penza.