В 1870 году епархия приобрела дом на Богоявленской улице для зимней резиденции калужских архиереев. Этот дом был построен семьей Торубаевых в середине XVIII века. В 1875 году при архиерейском доме была возведена школа певчих с храмом, посвященным Калужской иконе Божией Матери. Иконостас для храма создал калужский иконописец Н. Л. Панов. С 1918 года на первом этаже архиерейского дома разместился Епархиальный совет, который заменил упраздненную духовную консисторию.

В 1922 году епископ Феофан (Туляков), проживавший здесь, был переселен во флигель, где ранее находилась певческая школа. В здании архиерейского дома разместился детский дом № 4. На заседании президиума Калужского губисполкома обсуждалось предложение губернского управления народного образования о выселении архиерея и церковного совета из флигеля при детском доме № 4. Это было связано с тем, что церковь и флигель имели общий вход с детским домом, что создавало неудобства и нежелательно влияло на детей. В результате было принято решение о выселении архиерея и церковного совета из флигеля и закрытии домового храма. С 1925 по 1955 год в архиерейском доме находилась глазная лечебница. После войны здесь также разместилось Калужское областное медицинское училище. 1 сентября 1944 года в здании школы певчих и храме открылось Калужское музыкальное училище. Оба училища продолжают занимать эти здания и по сей день. Храм в честь Калужской иконы Божией Матери при архиерейском доме также действует.