Двухэтажное кирпичное здание второй половины XIX века, ранее принадлежавшее купцу Авраамову, находится на крутом склоне Покровской горы, рядом с церковью Горне-Никольской. Оно было построено в 1870 году и представляет собой типичный для эклектики двухэтажный особняк в псевдоготическом стиле. Это выражается в стрельчатых окнах второго этажа и двух шестигранных башенках с шатровыми крышами. Первый этаж имеет сводчатую конструкцию и включает две большие парадные комнаты вдоль уличного фасада. Внутренние помещения многократно переделывались. Во время Великой Отечественной войны здание было частично разрушено, но восстановлено в 1948 году. В 1960-х годах изменилась форма крыши, были убраны металлические ограждения, ворота и калитка. С 1994 года здесь размещалось Брянское епархиальное управление, а с 2004 года, архиерейский дом, где находились личные покои первых двух епископов восстановленной Брянской епархии. В 2008 году здание капитально отремонтировали. Домовая церковь во имя Преподобного Сергия Радонежского была освящена 17 декабря 2010 года.