История прихода храма во имя Всех Святых начинается с марта 1998 года, когда на приходском собрании было решено собрать средства для строительства храмового комплекса около центрального кладбища города. Комплекс должен включать в себя храм, часовню и вспомогательные здания.

17 августа 1999 года было получено разрешение на выделение земельного участка для строительства. Постановлением главы Брянска от 25 ноября 1999 года приходу храма во имя Святого Великомученика Георгия Победоносца было разрешено разработать проект. 2 декабря главный архитектор Брянска утвердил архитектурно-планировочное задание для проектирования храмового комплекса, включая храм, часовню, вспомогательные помещения и автостоянку.

Строительство началось в 1999 году, и уже в мае 2000 года храм-часовня начал функционировать. Богослужения в нем стал проводить назначенный настоятелем иеромонах Серафим (Павлов). 22 января 2003 года настоятелем храма во имя Великомученика Георгия Победоносца стал протоиерей Петр Пономарев.

В 2009 году на территории храмового комплекса заложили храм во имя Всех Святых, и приход был перерегистрирован под новым названием.

Храм будет освящен во имя Всех Святых, так как рядом расположено центральное городское кладбище. По древней русской традиции, храмы, находящиеся возле кладбищ, освящались либо в честь Воскресения Христова, либо во имя Всех Святых.