В угловой комнате на втором этаже этого дома 25 марта 1812 года родился Александр Иванович Герцен, незаконнорожденный сын московского дворянина Ивана Алексеевича Яковлева и Генриетты Вильгельмины Луизы Гааг из Штутгарта. Он жил здесь до сентября того же года, а позже приезжал в гости к своему двоюродному брату Алексею Александровичу Яковлеву.

Основой нынешнего дома Герцена служат палаты первой половины XVIII века. В те времена на месте Тверского бульвара находилась крепостная стена Белого города, и фасад палат выходил на Большую Бронную улицу. В 1796 году был создан Тверской бульвар, и дом перестроили в классическом стиле, развернув фасад к бульвару. Между 1806 и 1812 годами владение приобрел Александр Алексеевич Яковлев, дядя Герцена.

В 1840-е годы дом арендовал Дмитрий Николаевич Свербеев. По пятницам с октября до весны к нему приезжали известные москвичи и гости города, преимущественно литераторы. Среди них были Герцен, Чаадаев, Гоголь, Боратынский и Хомяковы, обсуждавшие здесь новости и формировавшие общественное мнение.

До 1917 года в доме размещались арендаторы, такие как Товарищество А. Гюбнера, контора А. И. Бутикова и Губернское акцизное управление. До 1930-х годов здесь находилось Товарищество А. и И. Гранат и Ко, издававшее знаменитый энциклопедический словарь Гранат.

В 1920 году в доме разместился Всероссийский союз писателей и различные литературные объединения. Тогда появилось название «Дом Герцена», а на усадьбе установили мемориальную доску с профилем писателя работы Н. А. Андреева.

Этот дом стал прообразом дома Грибоедова в романе М.А. Булгакова «Мастер и Маргарита». Литературные организации, находившиеся здесь в 1920-е годы, были выведены в романе как объединение «МАССОЛИТ» под руководством Михаила Александровича Берлиоза. В доме также находился ресторан, ставший прототипом ресторана Грибоедов, где разворачиваются события романа.

К счастью, реальный дом не пострадал от пожара и сохранился до наших дней. В декабре 1933 года здесь открылся Литературный институт, где преподавали и учились такие известные писатели, как М. Шолохов, К. Паустовский и другие. Здесь временно жили Андрей Платонов, В. Иванов, М. Пришвин и О. Мандельштам, который жил в правом флигеле дома в 1932-33 годах. Весной 1932 года сюда переехали и Пастернаки, которым была выделена небольшая квартира благодаря помощи писателей И.В. Евдокимова и В.В. Слетова.

В 1959 году в усадьбе был установлен памятник А. И. Герцену, созданный скульптором М. И. Мильбергером и архитектором К. М. Сапегиным.