В XVIII веке это здание было частью старинной усадьбы рода Олсуфьевых. За большим палисадником располагался барский дом, окружённый флигелями. За домом находились хозяйственные постройки и сад, выходивший на Малую Молчановку.

После пожара 1812 года усадьбу восстанавливали новые владельцы, Черновы. В 1829 и 1830 годах её арендовала на зимние сезоны Екатерина Апраксеевна Столыпина, невестка бабушки М.Ю. Лермонтова. Арсеньева с внуком в 1829 году жила неподалёку, на Поварской, напротив дома майорской жены Костомаровой. У Столыпиных на Поварской часто собиралась молодёжь. На уроки танцевального учителя Иогеля приходили дети из семьи Столыпиных, а также московские знакомые и соседи: Сушковы, Лопухины, Мартыновы. Здесь завязывались романы и писались стихи, которые переходили из рук в руки, в том числе и Лермонтова.

В середине XIX века дом был разделён на квартиры и сдавался в аренду, принимая многих известных деятелей русской культуры. С 1867 года здесь жил и в 1869 году умер писатель И.И. Лажечников. В 1875 и 1876 годах квартиру снимал писатель и этнограф П.И. Мельников-Печерский, который здесь написал роман «В лесах». В 1870-е годы в доме также жили композитор и дирижёр М.М. Ипполитов-Иванов, которого навещал Н.А. Римский-Корсаков, и врач-невропатолог, профессор А.Я. Кожевников.

В конце XIX века усадьбу приобрела семья Александры Тимофеевны Назаровой, дочери Тимофея Саввича Морозова. Она была замужем за Александром Александровичем Назаровым, управляющим морозовских заводов. Александра Тимофеевна страдала наследственным душевным заболеванием. Не выдержав этого, её муж в 1900 году покончил с собой, а в 1903 году умерла и она. После её смерти домом владела их дочь Юлия Александровна Стукен, которая в 1900 и 1903 годах перестроила владение. Архитектор М.Ф. Бугровский снес флигели, надстроил главный дом и пристроил правый корпус. Балкон второго этажа украсили полуколонны, гермы с женскими масками и декоративные лепные филёнки. Появилась готическая металлическая ограда с въездными воротами. Рустовка и форма наличников второго этажа, возможно, сохранились от первоначального оформления фасада.

Во время революции Юлия Стукен уехала во Францию, а в доме разместился 6-й Дом Советов. С 1918 по 1925 годы здесь жили Л.Б. Красин и Н. Нариманов. Также здесь находился Наркомат рабоче-крестьянской инспекции с кабинетом И.В. Сталина. В 1932 году главный дом усадьбы был надстроен двумя этажами. В настоящее время здесь обустраивается офисный центр.