Церковь, посвященная Смоленской иконе Божией Матери, была возведена в 1703 году благодаря арзамасскому купцу Ивану Васильевичу Масленкову. Этот человек пользовался уважением в Арзамасе и был духовным другом иеромонаха Иоанна, основателя Саровской пустыни. Иеромонах отмечал, что Иван Васильевич был «мужем в разуме зело искусным и по премногу рассудительным и во всем полезным, особенно в духовных».

В 1797 году на месте старого Смоленского храма была построена и освящена новая просторная каменная церковь с тем же именем, имеющая два придела. Один из них посвящен апостолу и евангелисту Иоанну Богослову, а второй, святому благоверному князю Александру Невскому и преподобному Александру Свирскому. Строительство храма велось на средства «благочестивых богачей» Масленковых, Корниловых и Быстровых.

В 1932 году церковь была закрыта и впоследствии разрушена. Восстановление Смоленской церкви началось в 2011 году.