К 1750-м годам это владение находилось у обер-президента Главного магистрата Степана Степановича Зиновьева, затем перешло к его брату, а в 1798 году князь Федор Барятинский приобрел его у камергера В.С. Васильчикова. К 1806 году на территории усадьбы уже стоял большой деревянный дом с антресолями на каменном фундаменте и двухэтажное каменное здание вдоль переулка.

В 1814 году усадьбу купил гвардии прапорщик А.П. Хрущев. Подклет главного дома, жилой флигель и старые палаты начала XVIII века, уцелевшие после пожара 1812 года, стали основой для новой усадьбы, за строительством которой следила Комиссия для строений под руководством О.И. Бове. Хрущевы были зажиточными помещиками и вели широкий московский образ жизни. У А.П. Хрущева было 14 детей, и семья оставалась дружной, даже когда дети покидали родительский дом. Стоит отметить, что А.П. Хрущев породнился с Нарышкиными через дочь Елизавету. Ее муж, Алексей Иванович Нарышкин, был сыном тайного советника и сенатора Ивана Александровича Нарышкина, дяди Н.Н. Гончаровой. Иван Александрович был посаженным отцом на свадьбе Натальи Николаевны с А.С. Пушкиным. Пушкин был знаком с его детьми, включая зятя А.П. Хрущева, Алексея Ивановича. Нарышкины жили по соседству на Пречистенке, 16.

В 1860-х годах дом на Пречистенке перешел к отставному штабс-капитану Д.С. Селезневу. Д. Никифоров в своей книге «Из прошлого Москвы. Записки старожила» упоминает, что дом от Хрущева перешел со всей обстановкой к купцу Рудакову, а затем был продан в начале 60-х годов Д.С. Селезневу. Дом сохранялся в том же виде, как и при Хрущевых, даже старинные картины оставались на своих местах. Семья Селезневых владела усадьбой до 1906 года, когда последняя владелица, дочь Е.Д. Матвеева, передала ее для приюта, школы Московского дворянства имени Д.С. и А.А. Селезневых.

К тому времени усадьба была хорошо обустроена. Администрация приюта сдавала некоторые помещения и постройки в аренду. Согласно переписи 1908 года, в подвале главного дома находился склад ящиков и вин, на первом этаже располагался сам приют с квартирой начальницы. В мезонине были комнаты классной дамы и лазаретной фельдшерицы. В большом флигеле по Хрущевскому переулку находились кухня приюта, комната обслуживающего персонала и лазарет. На втором этаже располагалась квартира общежития Мариинского института. В музыкальном павильоне усадьбы находились зонтичная мастерская и парикмахерская. Несмотря на разнообразное использование, усадьба сохраняла свой первоначальный облик до 1935 года, когда была снесена церковь Пятницы Божедомской и на ее месте построена средняя школа, частично занявшая территорию усадьбы. В ходе строительства была разрушена каменная полуротонда в саду, а в 1960-е годы снесли до белокаменного цоколя деревянный музыкальный павильон на углу Чертольского переулка, который был восстановлен в 1986-1987 годах.

После 1917 года все строения усадьбы, кроме главного дома, использовались под жилье. В главном доме с 1924 по 1931 годы находился Музей игрушки, библиотека и факультет игрушки Московского техникума кустарной промышленности.

Современное назначение

В октябре 1957 года было принято решение о создании в Москве музея, посвященного жизни и творчеству А.С. Пушкина. Для этого выделили бывшую усадьбу Хрущевых-Селезневых, где в течение четырех лет проводились масштабные реставрационные работы. 6 июня 1961 года музей на Пречистенке был открыт.

Все строения усадьбы, включая главный дом, имеют статус памятников архитектуры федерального значения.