Первый приходской храм в честь иконы Божией Матери «Смоленская» изначально располагался на Авиловской улице, которая сейчас известна как улица Горького. В 1801 году его перенесли в район завода Арсенал. В 1875 году участок, на котором стоял храм, был приобретен казной для создания сборочной мастерской Брянского арсенала. Храм был снесен, и богослужения стали проводить в временно обустроенном молитвенном доме. В 1881 году началось строительство нового каменного храма в честь иконы Божией Матери «Смоленская», который включал два теплых придела: в честь Архистратига Михаила и прочих Небесных Сил бесплотных, а также Святой Великомученицы Варвары. Теплую часть храма завершили и освятили в 1886 году, но работы в холодной части затянулись из-за нехватки средств. Храм иногда называли Архангельским или Смоленско-Архангельским.

26 мая 1927 года брянский горсовет обратился в губисполком с просьбой о закрытии и сносе храма, чтобы освободить место для расширения мехартзавода (Арсенала). Губисполком поддержал это ходатайство постановлением № 43 от того же дня, и храм был разрушен.