В конце XVIII века на этом месте находилась усадьба штабс-капитана П.Н. Дмитрова, которая позже перешла к князю А.Н. Вяземскому. В 1840-х годах владение было разделено: одну часть получил Даниловский сахарный завод и ресторатор И.Я. Тестов, а другую купил купец Яков Яковлевич Ермаков. Бывший крепостной графов Шереметевых, он создал ткацкое производство в своем родном селе Мещерино Коломенского уезда, которое вскоре стало самым крупным в округе. В 1838 году Ермаков выкупился на волю вместе с семьей, переехал в Москву, стал купцом и открыл ситценабивную и красильную фабрику за Трехгорной заставой. Его сын, Фрол Яковлевич, развил дело отца, сделав фирму «Яков Ермаков с сыновьями» одной из самых успешных в Москве.

Однако в начале 1880-х годов фабрика за Трехгорной заставой была закрыта. Причины этого неизвестны, но, вероятно, на Фрола Яковлевича повлияла смерть близких: его жены Марии, сыновей Андрея и Павла, брата и дяди. В последние десять лет своей жизни Ермаков посвятил себя благотворительности. На месте фабрики появилась богадельня на 500 человек с церковью, здание имело Г-образную форму с колокольней и алтарной апсидой. Храм Филарета Милостивого и богадельня были освящены в 1889 году, позже появился нижний храм во имя Успения Праведной Анны. Церковь была возведена в память о митрополите Московском Филарете (Дроздове). По распоряжению Фрола Яковлевича рядом была высажена роща, названная в его честь Ермаковской, сейчас о ней напоминает улица Ермаковская роща.

У богадельни было второе отделение в Сокольниках, рассчитанное на 500 человек. Ермаков также жертвовал на другие благотворительные учреждения Московской губернии, кормил бедных бесплатными обедами, раздавал деньги нуждающимся и выделял средства на строительство храмов и монастырей.

Около 1922 года домовый храм Филарета Милостивого был закрыт, а богадельня ликвидирована. Часть здания Ермаковской богадельни была снесена, но церковь Филарета сохранилась. Позже на месте снесенной части и вокруг оставшейся был построен новый инфекционный корпус ДГКБ № 9 им. Г.Н. Сперанского.

По предложению Патриарха Московского и всея Руси Алексия II в церкви Филарета начались реставрационные работы. По проекту М.В. Исаевой (ЦТРК «Преображенское») зданию вернули исторический облик: восстановили двусветный зал церкви, разделенный арками с алтарем, колокольню с входом со второго этажа и парадную лестницу, объединяющую три этажа. Реставраторы сохранили своды Монье, уделив особое внимание отделке металлических балок.

В 2012 году объект стал лауреатом конкурса Правительства Москвы на лучший проект в области сохранения и популяризации объектов культурного наследия «Московская реставрация».