Небольшой деревянный особняк был возведен в 1815 году для корнета А. В. Толстого. Изначально дом отличался скромным фасадом, характерным для московского классицизма, и, вероятно, был облицован крашеными досками с простыми наличниками. В 1880-х годах его приобрел почетный гражданин Михаил Грачев, который, следуя моде того времени, преобразил фасад, сделав его более пышным и оштукатуренным. Появились обильная лепнина, скульптуры и сложный орнаментальный карниз, а инициалы владельца сохранились на фронтоне.

Семья Грачевых основала фабрику, производившую золотые, серебряные и гальванические изделия, с годовым оборотом в 125 тысяч рублей и 87 рабочими. С 1892 года они стали придворными поставщиками. Фирма была основана в 1866 году Гавриилом Грачевым, а дело продолжили его сыновья: Михаил, Симеон и Григорий. Михаил Гаврилович Грачев с 1892 года был оценщиком Кабинета Его Императорского Величества и в 1889 году получил золотую медаль на Станиславовской ленте. В 1897 году ему было присвоено звание потомственного почетного гражданина.

Позднее в здании на Денежном переулке, д. 11, размещались ведомства Министерства иностранных дел и различные государственные учреждения. Однако здание сохранило большую часть парадной отделки, созданной при Грачеве.