История усадьбы начинается с начала XIX века, когда она принадлежала московской купчихе Елизавете Ивановне Вандышниковой. Главный дом усадьбы, построенный в конце XVIII века, был каменным, одноэтажным с мезонином в центре и имел классический облик. Он располагался на некотором расстоянии от улицы, за ним находились большой сад и хозяйственные постройки. Усадьба не пострадала во время пожара 1812 года. В 1817 году она перешла к губернской секретарше Марии Семеновне Алексеевой, которая продала её в 1823 году князю Кириллу Александровичу Багратиону. Новый владелец принадлежал к известному княжескому роду Багратионов; его племянником был знаменитый полководец Петр Иванович Багратион. Кирилл Александрович также сделал военную карьеру, дослужился до генерал-майора и стал сенатором. После его смерти усадьбу унаследовала его вдова Александра Ивановна Багратион.

В начале 1860-х годов усадьба перешла к Софье Францевне де Монси, жене французского купца, а затем в 1868 году к её сестре Эмилии Францевне фон Вогау и её мужу Филиппу Максимилиану фон Вогау. Фон Вогау, представитель обедневшего немецкого дворянства, приехал в Россию в 1827 году и основал фирму по торговле чаем и колониальными товарами. Со временем фирма стала крупным концерном, занимающимся торговлей и промышленностью.

При Вогау усадьба была перестроена: главный дом расширили и добавили второй этаж. В 1880-х годах фасады дома были переделаны по проекту архитектора Виктора Коссова в стиле эклектики с элементами классики. Коссов также проектировал другие здания для семьи Вогау.

В 1892 году усадьба перешла к дочери Филиппа Максимилиана фон Вогау, Эмме Максимовне Банза, и её мужу Конраду Банза. Семья Банза была последними владельцами усадьбы до её национализации после 1917 года.

С начала 2014 года по июнь 2015-го в усадьбе проводилась масштабная реставрация. Были отремонтированы фасады, кровля и водосточная система, восстановлены архитектурные элементы. В интерьерах обновили стены, потолки, лестницы и паркет, использовали сусальное золото для декора. Усадьба стала лауреатом конкурса "Московская реставрация" в 2015 году за лучшую организацию ремонтно-реставрационных работ.