Домовая церковь, расположенная в кирпичном здании Архиерейских покоев, была создана по инициативе епископа Калужского и Боровского Филарета. По одним источникам, это произошло в 1823 году, а по другим, в 1825 году. Церковь находилась в юго-западной части здания.

В 1918 году большевики закрыли храм, и он стал использоваться для хозяйственных нужд. Церковь преподобного Сергия Радонежского вновь открыли после передачи части здания бывших архиерейских покоев Калужской епархии в 1994 году. В настоящее время храм выделяется тремя главками на фронтоне входной пристройки и служит духовным центром для жителей окрестных улиц.