Pendant près de trois siècles, à l'endroit où l'école Filaret a ensuite été fondée, se trouvait le monastère de Zabory, dépendance du monastère de Tchoudov. Ce monastère, l'un des plus anciens de Moscou, était situé dans le Kremlin, mais a été détruit par les bolcheviks au début des années 1930. Le petit passage Kharitonievsky était appelé Zabory jusqu'au XIXe siècle, et le passage menant à la dépendance était nommé Tchoudovsky. À l'époque soviétique, il a été renommé, et dans les temps modernes, il est devenu connu sous le nom de Sloboda des jardiniers, en mémoire de la sloboda des jardiniers qui existait ici jusqu'au XVIIIe siècle.

La dépendance monastique, fondée dans les années 1670, a existé jusqu'au milieu du XIXe siècle. Après sa suppression, l'école épiscopale Filaret y a été installée. Les bâtiments en bois ont été démontés, et en 1861, un immeuble de deux étages a été construit à leur place selon le projet de l'architecte A.O. Vivien. C'était un bâtiment à l'architecture simple et à la façade modeste. L'école a déménagé ici en 1865. En 1878, l'architecte M.G. Piotrovich a ajouté un troisième étage. À l'intérieur, une église domestique dédiée à Filaret le Miséricordieux a été aménagée, qui a fonctionné jusqu'en 1919, lorsqu'elle a été fermée par les bolcheviks.

L'école épiscopale féminine Filaret a été fondée en 1832 à l'initiative de l'archevêque de Moscou et Kolomna Filaret pour l'éducation des jeunes filles de la vocation spirituelle. À l'origine, elle existait comme section éducative au sein de la Maison de bienfaisance Gorikhvostov dans le domaine des Gagarins-Tiouchtchevs dans le passage arménien. L'école était sous la direction de la bienfaisance de Moscou pour les pauvres de la vocation spirituelle. Maria Pavlovna Tchekhova, la sœur cadette de l'écrivain, y a étudié, bien que sa formation ait été financée par le marchand de Taganrog Sabinnikov, car la famille Tchekhova n'avait pas de moyens.

Après la révolution de 1917, l'école Filaret a été fermée. Dans son bâtiment, le Département de la sécurité intérieure de la Tchéka-OGPU a été installé, et en 1925, il est passé sous la direction de la Marine soviétique. À la fin des années 1920 et au début des années 1930, le bâtiment a été reconstruit selon le projet de l'architecte P.A. Golosov, et un portique d'entrée a alors été ajouté.

Actuellement, la propriété appartient au ministère de la Défense, et le quartier général de l'arrière des Forces armées de la Fédération de Russie s'y trouve.