В середине XVIII века здание располагалось на территории Семёновского монастыря. В 1793 году его адрес был указан как приход девяти мучеников на Большой улице по Земляному валу, XII часть Москвы, 1 квартал, № 1. Владельцем была прокурорша Анна Алексеевна Волынская (Грибоедова). После её смерти дом перешел к племяннику Алексею Фёдоровичу Грибоедову, а затем к его сестре Настасье Фёдоровне, матери Александра Сергеевича Грибоедова. Позже здесь проживала семья С. И. и А. Ф. Грибоедовых.

Дом неоднократно перестраивался и горел, менялись его владельцы. На стене здания установлен барельеф с изображением писателя Александра Сергеевича Грибоедова. Дом, где Грибоедов провел детство, сильно пострадал от пожара 1812 года и был перестроен, но мать драматурга продолжала жить в нем до 1834 года. В 1818 году Грибоедов писал: «Отечество, сродство и дом мой в Москве».

В 1970-х годах предпринимались попытки реставрации здания, но оно сильно пострадало от пожара, и верхний этаж сгорел. Впоследствии его отделали камнем.