Im Jahr 1870 erwarb die Diözese ein Haus in der Bogojawlenskaja-Straße als Winterresidenz für die kalugischen Bischöfe. Dieses Haus wurde im Mittel des 18. Jahrhunderts von der Familie Torubajew erbaut. 1875 wurde neben dem bischöflichen Haus eine Schule für Sänger mit einer Kirche, die der Kaluger Ikone der Gottesmutter gewidmet ist, errichtet. Den Ikonostasen für die Kirche schuf der kalugische Ikonenmaler N. L. Panow. Seit 1918 befand sich im Erdgeschoss des bischöflichen Hauses der Diözesanrat, der die aufgelöste geistliche Konsistenz ersetzte.

Im Jahr 1922 wurde Bischof Theofan (Tuljakow), der hier wohnte, in einen Anbau umgesiedelt, wo sich zuvor die Sänger-Schule befand. Im Gebäude des bischöflichen Hauses wurde das Kinderheim Nr. 4 untergebracht. In einer Sitzung des Präsidiums des Kaluger Gubispolkoms wurde der Vorschlag der Provinzverwaltung für Volksbildung diskutiert, den Bischof und den Kirchenrat aus dem Anbau des Kinderheims Nr. 4 zu vertreiben. Dies war damit verbunden, dass die Kirche und der Anbau einen gemeinsamen Eingang mit dem Kinderheim hatten, was Unannehmlichkeiten verursachte und sich negativ auf die Kinder auswirkte. Infolgedessen wurde beschlossen, den Bischof und den Kirchenrat aus dem Anbau zu vertreiben und die Hauskirche zu schließen. Von 1925 bis 1955 befand sich im bischöflichen Haus eine Augenheilanstalt. Nach dem Krieg wurde hier auch die Kaluger medizinische Fachschule untergebracht. Am 1. September 1944 wurde im Gebäude der Sänger-Schule und der Kirche das Kaluger Musikcollege eröffnet. Beide Schulen belegen diese Gebäude bis heute. Die Kirche zu Ehren der Kaluger Ikone der Gottesmutter im bischöflichen Haus ist ebenfalls aktiv.