Усадьба была возведена в 1790 году по заказу бригадира Алексея Николаевича Дурасова, который обогатился после брака с Аграфеной Ивановной Мясниковой, наследницей уральских землевладельцев. Её отец, Иван Мясников, владел 15 металлургическими предприятиями, а дед, Борис Осипович Твердушев, был бургомистром Купеческой палаты Симбирска. Переулок, где находился дом, стал известен как Дурасовский.

Эта усадьба считается одним из лучших примеров зрелого классицизма в Москве. Дом был построен по проекту архитектора Матвея Федоровича Казакова. Карниз выполнен из традиционного московского белого камня. Помимо основного здания, к концу XVIII века были возведены дополнительные постройки, вестибюль с восьмиколонной ротондой на первом этаже и двусветный зал со сценой. Главное здание соединялось с хозяйственными постройками длинной галереей.

В 1812 году усадьба стала штаб-квартирой генерала французской армии Вендемена и пострадала в пожаре при отступлении французов. В 1825 году дом приобрёл генерал-майор, граф Матвей Александрович Дмитриев-Мамонов, участник тайных обществ, который отказался присягать Николаю I и был объявлен сумасшедшим. Остаток жизни он провёл под опекой в усадьбе Васильевское.

В 1839 году дом был куплен Практической академией коммерческих наук, которая переехала туда в 1847 году. Академия предназначалась для обучения сыновей купцов, предоставляя им общее и специальное образование. В этот период усадьбу реконструировали для удобства обучения: расширили оконные проёмы третьего этажа, подняли уровень пола. На втором и третьем этажах появилась коридорная система, из-за чего анфилада помещений утратила своё жилое назначение. Между этажами установили чугунную лестницу, а в двусветном зале обустроили церковь для учащихся.

В 1918 году академия была закрыта. Год спустя в усадьбе разместили Институт гражданских инженеров и инженерные курсы для подготовки Красной Армии. В 1932 году сюда из Санкт-Петербурга перевели Военно-инженерную академию, основанную в 1819 году.