В 1781 году на святых вратах была построена деревянная церковь в честь пророка Илии. В 1856 году, при игумене Амфилохии, вместо обветшавшей деревянной церкви возвели кирпичный храм в неорусском стиле. Это был двухэтажный пятиглавый четырёхпрестольный Ильинский храм, расположенный над воротами. Он имел угловые пилястры кубической формы и завершался массивной центральной и небольшими угловыми луковичными главами на барабанах, без трапезной и колокольни. На верхнем этаже находились холодные престолы Ильинский и Владимирский, а на нижнем, тёплые Сретенский и Екатерининский. В период с 1830 по 1833 и с 1918 по 1923 годы храм функционировал как приходская церковь. В 1923 году его закрыли, разорили и использовали как клуб, а затем как кинотеатр. В 1976 году храм был взорван. На его месте построили многоэтажную гостиницу "Брянск", рядом с которой сейчас установлен памятный деревянный крест.