В начале XIX века на углу Смоленского бульвара и Глазовского переулка располагалась усадьба генеральши Глазовой. В 1879 году на её месте был построен новый особняк по проекту архитектора Александра Ивановича Резанова, известного своими работами в Санкт-Петербурге и Москве. Особняк был возведён для чаеторговца К.С. Попова, который первым заложил чайные плантации на Кавказе. Здание и его интерьеры выполнены в стиле "неогрек", включая помпейскую гостиную и зал в стиле ампир.

В 1894 году особняк был перестроен архитектором Виктором Александровичем Мазыриным для нового владельца, фабриканта Михаила Абрамовича Морозова. Дом, расположенный в глубине двора, соединён с двухэтажными флигелями. Интерьеры представляют собой смесь различных стилей: египетская парадная с сфинксами и восточные узоры в гостиной. Здесь также была коллекция живописи Морозова.

В 2019 году завершилась реставрация фасадов особняка. Были очищены фасады и лепной декор, восстановлены скульптуры и архитектурные элементы. На западном фасаде воссоздали утраченный декор мезонина с головами львов. Исторический облик был возвращён водосточным трубам и карнизам. Фасад выкрасили в бирюзовый цвет. Особняк стал лауреатом конкурса "Московская реставрация-2020".

В особняке часто бывал художник В.А. Серов, написавший портрет хозяина дома. После смерти Морозова дом перешёл к его вдове Маргарите Кирилловне, у которой собиралась московская интеллигенция. Здесь бывали Александр Скрябин, Леонид Собинов и Андрей Белый. В начале XX века особняк принадлежал фабрикантам Ушковым, а после национализации в нём разместился клуб Октябрьской революции, затем райком партии и филиал Дома пионеров.