Храм находится на территории, где ранее располагалось городское кладбище, часть бывшей Ярмарочной площади, ныне это парк имени А.К. Толстого и стадион «Динамо». Он был построен в 1827-1831 годах по инициативе местного купца А.А. Бабаева в память о визитах в Брянск императоров Петра I в 1709 году и Александра I в 1823 году. В октябре 1709 года на Ярмарочной площади Петр I провел смотр войск Брянского гарнизона и войск, направлявшихся на фронт. Здесь же располагался лагерь Преображенского полка, для которого была построена часовня. 29 ноября 1791 года Синод издал указ, запрещающий хоронить умерших прихожан у церквей, после чего часть площади была отведена под кладбище, а на месте часовни возвели деревянную церковь. В 1798 году ее отремонтировали и перекрыли. После визита Александра I в Брянск купец Афанасий Бабаев, у которого останавливался император, начал строительство каменной церкви на месте деревянного храма. После 1840 года по проекту архитектора Богданова западный притвор был перестроен в двухэтажную трапезную, связавшую храм с отдельно стоявшей колокольней, которая не сохранилась. Постановлением Брянского губисполкома № 39 от 28 апреля 1927 года храм был закрыт для использования под морг. Последний священник Симеон Васильевич Комягинский был арестован и в 1930 году приговорен к пяти годам ссылки. В 1933-1934 годах кладбище было снесено, и на его месте началось строительство парка и стадиона. Здание храма использовалось как спортзал. В 1947 году часть оконных проемов была заложена, а фасады частично изменены; в 1955 году архитектор А.Е. Певцов заменил главу купола на бельведер с пятиконечными звездами. С начала 1990-х годов верующие добивались возвращения храма. 19 сентября 2005 года храм был возвращен Брянской Епархии администрацией области. 21 сентября 2005 года Епископ Брянский и Севский Феофилакт провел в храме первую Божественную Литургию в день престольного праздника Рождества Пресвятой Богородицы, что стало началом возрождения еще одного городского прихода.