Небольшая усадьба в московском Староваганьковском переулке сохранилась с середины XIX века. Хотя хозяйственные постройки были утрачены, главный дом, обращённый фасадом с семью окнами в переулок, остался.

В 1514 году на месте усадьбы была построена церковь по проекту итальянского архитектора Алевиза, освящённая в честь Благовещения Пресвятой Богородицы. Переулок часто называли Благовещенским по имени этой церкви.

Храм стоял до 1812 года, но сильно пострадал во время пожара, и его долго не восстанавливали. 9 сентября 1816 года по резолюции архиепископа Августина церковь была разобрана, а кирпичи использованы для строительства дома соборян на Воздвиженке, 7.

В 1820-х годах землёй владел М.А. Устинов, хозяин дома 5 на Воздвиженке, где сейчас находится Музей архитектуры имени Щусева. С 1840-х годов владельцем усадьбы был московский купец Василий Васильевич Семенов, затем его жена и сын Федор. В 1842 году по проекту архитектора Михайлова был построен двухэтажный дом, который сохранился до наших дней. Тогда же со стороны двора к дому был пристроен двухэтажный флигель по проекту архитектора Н.И. Козловского.

В 1909 году владение приобрёл М.В. Клюкин, который планировал преобразовать участок в доходное владение, но проект не был реализован.

Дом примечателен тем, что с осени 1908 по 1911 год здесь жил известный русский художник В.А. Серов. В этот период он создал множество портретов современников и исторический цикл картин. 22 ноября 1911 года художник скончался в своём доме от сердечного приступа.