Северный служебный флигель усадьбы «Воронцово» был восстановлен семьей Репниных-Волконских после разрушений и пожара 1812 года. Большая семья Мухановых нуждалась в просторном и хорошо обустроенном доме. Нет сомнений в его достойном внешнем виде и богатом оформлении интерьеров, так как С.И. Муханов обладал не только средствами, но и высоким художественным вкусом. Одна из его дочерей в своих воспоминаниях особенно подчеркивала его «эстетический вкус в архитектуре и живописи».

Согласно планам конца 1830-х годов, дом представлял собой внушительное строение с двумя ризалитами, обращенными к прудам и регулярному саду. Архивные документы указывают, что в начале 1860-х годов он был описан как «неотделанный». Учитывая обстоятельства жизни семьи Мухановых, можно предположить, что усадьбе Воронцова уделялось недостаточно внимания. В то время старинные каменные постройки обычно содержались в порядке, их регулярно ремонтировали. Вероятно, сестры Мухановы мало заботились о своей усадьбе, так как, будучи фрейлинами, они должны были часто находиться при императорском дворе в Петербурге.

В 1849 году благочинный отец Алексей Синайский сообщал в Консисторию, что в усадьбе Мухановых проживали «дворовые крепостные люди, московские мещане и военные чины». В то время Мухановы превратили Воронцово в дачное место, которое позже стало популярным в ближнем Подмосковье.

В 2021 году началась комплексная реставрация здания.