Первый известный генеральный план усадьбы относится к 1802 году, когда её владелицей была А.А. Долгорукова. На плане 1809 года на месте современного дома № 57 (строение 1) обозначен двухэтажный особняк Т-образной формы. Этот дом сгорел в пожаре 1812 года, но был восстановлен в 1817 году новым владельцем, секунд-майором Алексеем Кондратьевичем Коптевым. К тому времени территория дома выделилась из усадьбы в отдельное владение, выходившее на Поварскую и Большую Никитскую улицы, а также на Кудринскую площадь.

Дом представлял собой двухэтажное здание с одноэтажными крыльями по бокам. Согласно архивному чертежу 1834 года, фасады были выполнены в стиле ампир.

Впоследствии здание неоднократно перестраивалось, меняя как объемно-пространственное решение, так и внешний облик. При владельце П.Б. Голицыне в 1842-1843 годах фасад особняка был полностью переделан в стиле, близком к неоклассицизму К. Шинкеля. Этот этап истории здания сохранился на дворовом фасаде, в дизайне столярных элементов, паркета и других деталях.

В 1862 году генерал-майор Александр Борисович Казаков провел реконструкцию здания, увеличив его длину за счет каменных пристроек. В остальном дом сохранил формы 1840-х годов. На генеральном плане 1862 года показан предполагаемый эркер по центру дворового фасада. Анализ интерьеров позволяет отнести к этому периоду плафон Большой гостиной и фрагменты других парадных залов.

Последняя дореволюционная реконструкция была проведена в 1899-1900 годах дочерью Казакова, Надеждой Александровной Мейендорф, по проекту архитектора А.В. Флодина. В результате была изменена отделка главного фасада, который приобрел современный вид.

Изменения облика здания в разные периоды, с использованием стилей ампир, неоклассика, эклектика и модерн, создали типичный московский особняк с разнообразием стилей и решений.

В 2011 году началась реставрация главного дома. Работы, проведенные в 2011-2015 годах, максимально приблизили внешний вид и внутреннее пространство дома к периоду 1900-х годов. Была выполнена чистовая отделка фасадов и интерьеров, включая характерную для рубежа XIX-XX веков бронзовую «выбликовку» лепнины. Отремонтированы дверные заполнения и витражи, заменены паркетные полы, восстановлены изразцовые печи. Очищена и обновлена живопись плафонов и трафаретная отделка стен Большой гостиной. В кессонированных плафонах элементы из ДСП заменены на деревянные. Заново выполнена отделка парадной лестницы, воссозданы утраченные чугунные лестницы. Пол вестибюля, изначально выложенный мозаикой из мрамора, восстановлен в полном соответствии с оригиналом. Также воссозданы обои в нескольких парадных комнатах.

В 2015 году главный дом городской усадьбы стал лауреатом конкурса "Московская реставрация" в номинациях "За лучший проект реставрации" и "За высокое качество ремонтно-реставрационных работ".