На протяжении почти трех веков на месте, где позже было основано Филаретовское училище, находилось Заборовское подворье Чудова монастыря. Этот монастырь, один из древнейших в Москве, располагался в Кремле, но был уничтожен большевиками в начале 1930-х годов. Малый Харитоньевский переулок до XIX века назывался Заборовским, а переулок, ведущий к подворью, носил название Чудовского. В советское время его переименовали, а в новейшие времена он стал называться Огородная слобода, в память о слободе огородников, существовавшей здесь до XVIII века.

Монастырское подворье, основанное в 1670-х годах, просуществовало до середины XIX века. После его упразднения здесь разместилось Филаретовское епархиальное училище. Деревянные строения были разобраны, и в 1861 году на их месте построили двухэтажный дом по проекту архитектора А.О. Вивьена. Это было здание с простой архитектурой и скромным фасадом. Училище переехало сюда в 1865 году. В 1878 году архитектор М.Г. Пиотрович добавил третий этаж. Внутри была устроена домовая церковь Филарета Милостивого, которая действовала до 1919 года, когда ее закрыли большевики.

Филаретовское женское епархиальное училище было основано в 1832 году по инициативе митрополита Московского и Коломенского Филарета для воспитания девиц духовного звания. Изначально оно существовало как воспитательное отделение при Доме призрения Горихвостова в усадьбе Гагариных-Тютчевых в Армянском переулке. Училище находилось под управлением Московского попечительства о бедных духовного звания. Здесь училась Мария Павловна Чехова, младшая сестра писателя, хотя ее обучение оплатил таганрогский купец Сабинников, так как у семьи Чеховых не было средств.

После революции 1917 года Филаретовское училище было закрыто. В его здании разместилось Управление внутренней охраны ЧК-ОГПУ, а в 1925 году оно перешло в ведение Военно-морского флота СССР. На рубеже 1920-1930-х годов здание было перестроено по проекту архитектора П.А. Голосова, и тогда появился парадный портик.

В настоящее время владение принадлежит Министерству обороны, и здесь находится Штаб тыла Вооруженных сил РФ.