Дом Горсткина, расположенный на перекрестке улиц Пешей и Садовой, был построен в 1838 году Иваном Николаевичем Горсткиным, известным декабристом и театральным деятелем. Он возвел его на месте старого деревянного дома, который принадлежал Петру Андреевичу Габбе, участнику Отечественной войны 1812 года и близкому знакомому поэта П. А. Вяземского. В 1846 году здание приобрела Елизавета Ивановна Арапова, супруга майора Андрея Николаевича Арапова. В 1874 году дом перешел к их сыновьям, Ивану и Николаю Араповым, которые были женаты на дочерях Натальи Николаевны Пушкиной-Ланской, Александре и Елизавете. В Пензенской картинной галерее можно увидеть портреты майора А. Н. Арапова, выполненные художником Д. И. Антонелли, а также портреты его дочерей и внучек, написанные академиком живописи И. К. Макаровым. 5 мая 1875 года здание было приобретено Государственным банком для пензенского отделения. В 1913 году в квартире управляющего банком М. Н. Рудзевича, известного шахматиста, играл выдающийся русский шахматист и чемпион мира А. А. Алехин. После революции здесь располагалась биржа труда, а в последние годы здание занимал Первомайский РОВД города Пензы.