Несмотря на официальное название объекта культурного наследия федерального значения "Усадьба Воронцова-Дашкова: дом, XVIII, XIX вв. с росписью плафона, белокаменные ворота, конец XVIII в.", некоторые исследователи полагают, что информация о существовании здесь усадьбы графов Воронцовых в конце XVIII века является лишь легендой. Согласно архивным данным, в XVIII и XIX веках городская усадьба принадлежала различным купцам и мещанам, не имевшим широкой известности.

Архитектура этой усадьбы высоко ценится специалистами. Ее владельцы стремились соперничать с лучшими дворянскими особняками Москвы и добились успеха. Первое, что привлекает внимание в ансамбле усадьбы, это уникальная для Москвы уличная ограда парадного двора в стиле классицизма конца XVIII века. Ворота имеют редкую форму с двойными колоннами по бокам и декоративными вазами наверху.

Каменные дома на Воронцовской улице, 4 и 6, были построены примерно в конце XVIII века. В основе правого, главного дома, находятся палаты XVII века, которые сохранились в подвале и частично на первом этаже. В первой половине XVIII века дом был перестроен и оформлен в стиле барокко, а на западном фасаде реставраторы восстановили барочные наличники.

Планировка усадьбы сформировалась к 1774 году, когда хозяйкой была жена фабриканта Алексея Иванова. Главный дом был расширен до линии улицы, напротив него построили двухэтажный каменный флигель, а между ними разместили деревянный сарай с конюшней и погребом. Усадебный сад доходил до улицы Большие Каменщики. Такая планировка сохранялась до 1816 года, когда флигель и главный дом получили одинаковые мезонины.

В 1830-е годы главный дом был полностью перестроен, но декоративная отделка фасада сохранилась до наших дней. Сегодня можно увидеть шесть пилястр ионического ордера и восстановленную лестницу XVIII века. В парадной анфиладе сохранились лепные карнизы и росписи плафонов того времени. Внешний вид здания имеет ампирный стиль с тяжелыми веерными замками над окнами нижнего рустованного этажа, сложными сандриками и обильным лепным декором.

Усадебный флигель, расположенный слева от главного дома, претерпел значительные изменения: в 1912 году его перестроили для городского училища по проекту архитектора Н.Д. Струкова.