Дом на Тверской улице, принадлежавший купцу первой гильдии Симонову, известен с 1767 года. В 1778 году для Д.И. Нарышкина к нему добавили третий этаж, сохранив оформление в стиле раннего классицизма. В 1787 году здание приобрел Матвей Васильевич Дмитриев-Мамонов, президент Вотчинной коллегии. Его сын Александр был фаворитом Екатерины II. В 1812 году дом принадлежал графу Матвею Александровичу Дмитриеву-Мамонову, единственному сыну фаворита.

Матвей Александрович (1790, 1863) участвовал в Московском ополчении, сражениях при Бородино, Тарутино и Малоярославце. Он создал на свои средства добровольческий полк и в 1813 году стал его шефом в звании генерал-майора. Во время французской оккупации в его доме проживал принц Евгений Богарне, пасынок Наполеона.

Итальянский корпус принца Евгения вошел в Москву по Тверской дороге, и дом Мамонова стал первым значительным зданием на их пути. Итальянцы разместились в окрестностях и, вероятно, спасли от пожара несколько кварталов от Тверской до Патриарших прудов. Дом Мамоновых также не пострадал от огня.

После войны судьба графа Мамонова сложилась трагично: он основал преддекабристский кружок «Орден русских рыцарей», отказался присягать Николаю I и был объявлен умалишенным. В 1830 году его опекуны продали усадьбу казенной Глазной больнице, которая до сих пор находится в этом здании. Переулок, на который выходила усадьба, сохранил название Мамоновского.

В 1880-е годы угловые части дома были надстроены до уровня центральной части. В 1941 году здание повернули на 90 градусов и переместили в переулок на новый фундамент с цокольным этажом, в результате чего арка центрального входа стала двухэтажной.