Когда-то на этом месте стояли деревянные строения, а затем здесь появился каменный дом, принадлежавший сыну купца Михаилу Ивановичу Пригодину. Перед войной 1812 года хозяйкой стала Варвара Дмитриевна Полуэктова. В конце 1830-х годов она продала это владение надворному советнику Ивану Даниловичу Лорис-Меликову, который решил перестроить дом. Для этого он пригласил архитектора Михаила Доримедонтовича Быковского, который учился в семье итальянских архитекторов Жилярди. Среди его соучеников был итальянец Константин Львович Минелли, чья сестра Эмилия стала женой Быковского.

Семейное счастье принесло успех в карьере. В 1836 году Быковский возглавил архитектурное училище и активно работал в Москве. Его любовь к жене оставалась неизменной, но в 1841 году Эмилия скончалась при родах сына Константина. В её память Быковский построил придел Святой Эмилии в католической церкви Петра и Павла. В это время он также получил заказ на дом Лорис-Меликова в том же переулке, где находилась церковь.

Этот двухэтажный дом в стиле позднего классицизма должен был стать достойным памятником его жене. Первый этаж украшен рустом и почти квадратными окнами, что придаёт зданию монументальность. Второй этаж, парадный, выделяется высокими полуциркульными окнами с резными деревянными рамами, которые почти единственные сохранились в Москве.

Интерьеры дома роскошны и изящны, как настоящий дворец: лепные и расписные потолки, резные двери, мраморные колонны и полы, скульптуры и рельефные фризы. На второй этаж ведет лестница из каслинского литья. За домом расположено полукруглое здание конюшен, формирующее уютный двор усадьбы.

Дом в Милютинском переулке, созданный Быковским, сочетает в себе камерность и пышность, нарядность и уют.

В 1870-х годах дом перешёл к другим владельцам, и тогда появился антресольный этаж. В 1891 году усадьбу приобрела Софья Ивановна Экизлер, которая сдавала помещения в аренду.

В 1928 году в доме устроили коммунальные квартиры, которые позже сменились конторскими помещениями и общежитием института. Здание разрушалось, и почти весь интерьер был уничтожен. В 1988 году дом передали Всероссийскому фонду культуры, который провёл тщательную реставрацию, восстановив архитектуру и декор интерьеров.