В 1803 году Дмитрий и Александр Грачевы приобрели владения Михневой и Карнауховых для создания ситцевой мануфактуры. А. Д. Грачев построил жилой усадебный комплекс, который включал сохранившийся до наших дней дом и два флигеля.

В 1812 году дом Грачевых не пострадал от пожара. Жилая часть владения была отделена от фабричной. Она состояла из двухэтажного главного дома с мезонином и двух одинаковых одноэтажных флигелей, расположенных симметрично по сторонам парадного двора и выходивших торцами на улицу. Флигели были построены в 1816 и 1817 годах. В 1834, 1843, 1849 и 1850 годах жилая часть была расширена: добавлены пристройки к дому, увеличен западный флигель и возведена каменная ограда вдоль улицы. В 1846 году участок перешел к купцу С. Шушарину, который переоборудовал здания под химический завод с красильными и сушильными цехами. Фабричную часть в 1847 году выкупили братья Ганешины, зарегистрировав в 1871 году заведение как Товарищество суконной и прядильной фабрик братьев В. и Н. Ганешиных и Ко. Через четыре года они приобрели жилую часть усадьбы, восстановив ее прежние границы. При Ганешиных жилые здания стали использоваться для хозяйственных нужд: в 1875 году оба флигеля были реконструированы, восточный стал конторой, а в главном доме разместили склад шерсти.

В 1879 и 1880 годах главный дом был перепланирован под квартиры для работников фабрики, и был надстроен третий этаж. В конце XIX века участок приобрела кружевная фабрика, которая после 1917 года была национализирована. На базе старого производства сначала появилась Кружевная фабрика «Ливерс» треста «Мострикотаж», а затем, с 1940 года, Гардинно-кружевная и тюлевая фабрика имени Э. Тельмана. В главном доме сначала располагались общежития для рабочих, затем детский сад и фабричная контора.

В 2003 и 2007 годах в восточном флигеле укрепили фундамент, провели ремонт кирпичной и белокаменной кладки, а также сводов подвала, заменили кровлю и отреставрировали фасады. Были восстановлены интерьеры: воссоздан паркет, карнизы и двери.