В 1810 году генерал-майор А.А. Тучков построил на углу Пречистенки и Мансуровского переулка усадебный комплекс, состоящий из трех зданий: главного дома, возведенного на месте старых палат, флигеля и служебных построек в глубине двора. Пожар 1812 года не повредил главный дом, и около 1817 года граф С.П. Потемкин приобрел это владение. Впоследствии владельцы неоднократно менялись, и в 1871-1872 годах по заказу новой хозяйки А.П. Мартыновой архитектор П.С. Кампиони перестроил главный дом, добавив пристройку со стороны переулка и оформив фасад в эклектичном стиле.

В 1889 году усадьбу купил известный промышленник и меценат Иван Абрамович Морозов. При нем был перестроен служебный корпус (сейчас это здание Института истории искусств), а также появилась каменная ограда, отделяющая усадьбу от Александро-Мариинского училища благородных девиц. В 1905 году архитектор Л.Н. Кекушев реконструировал главный дом для размещения коллекции Морозова, состоящей из западноевропейской и русской живописи конца XIX, начала XX века. В особняке была создана так называемая несгораемая комната с толстыми каменными стенами, бетонированным сводчатым потолком, двумя маленькими окнами и двустворчатой дверью, где можно было спрятать всю коллекцию. В 1920-е годы музей Л.Н. Толстого использовал эту комнату для хранения рукописей писателя. Архитектор также убрал обильную лепнину в анфиладных комнатах, выходящих на Пречистенку, оставив столовую в готическом стиле. Декоративные панно и скульптуры для концертного зала и парадной лестницы были созданы французскими художниками М. Дени, А. Майолем и П. Боннаром.

Коллекция Морозова была почти недоступна для осмотра, и он планировал передать ее Москве, но революция изменила его планы. Галерея была национализирована и стала основой для Музея новой западной живописи, а бывший владелец стал заместителем директора этого музея. В конце 1918 года Морозов эмигрировал.

Музей нового западного искусства часто посещал Осип Мандельштам, который мог видеть работы импрессионистов, Ван Гога, Сезанна и других художников. Эти посещения вдохновили его на создание стихотворения «Импрессионизм» и главы «Французы» из «Путешествия в Армению».

В 1929 году была проведена частичная реконструкция главного дома по проекту архитектора С. Калугина, в ходе которой был создан новый выставочный зал. С 1947 года в усадьбе располагается Президиум Академии художеств СССР, ныне Российская академия художеств, совместно с НИИ теории и истории изобразительных искусств.

Дом является объектом культурного наследия федерального значения.