В начале XIX века особняком владела графиня Е.П. Ростопчина. В 1840-х годах этот дом стал известен всей литературной Москве благодаря "павловским четвергам", которые посещали такие знаменитости, как Н.В. Гоголь, Е.А. Баратынский, Я.П. Полонский, А.А. Фет, А.И. Герцен, Н.П. Огарев, Т.Н. Грановский, П.Я. Чаадаев, К.С. Аксаков, братья Киреевские, А.С. Хомяков и С.П. Шевырев. Именно здесь в 1840 году М.Ю. Лермонтов попрощался с московскими литераторами перед отправкой на Кавказ. Ю.Ф. Самарин вспоминал: "Он уехал грустный. Ночь была сырая. Мы простились на крыльце".

Дом принадлежал известному литератору Николаю Филипповичу Павлову, поэтому литературный салон называли "павловским". Однако истинной хозяйкой особняка и салона была его жена Каролина Карловна (в девичестве Яниш). Каролина, дочь профессора Карла Ивановича Яниша, получила отличное домашнее образование, знала несколько иностранных языков и была известна в Москве как девушка с разнообразными и необычными талантами. В восемнадцать лет она встретила польского поэта Адама Мицкевича, который был сослан в Москву за участие в патриотических кружках. Между ними вспыхнула любовь, но семья Каролины была против брака с поэтом без капитала и постоянного дохода. Вскоре Мицкевич покинул Москву, оставив Каролину в страданиях. Она начала заниматься литературой, сначала переводами, которые одобрил Гете, а затем и собственными стихами, сотрудничая с журналами и альманахами.

В 1836 году Каролина, ставшая богатой невестой благодаря наследству от дяди, вышла замуж за Павлова. Николай Филиппович, будучи азартным игроком, за пятнадцать лет растратил все приданое жены. В 1852 году они расстались, и вскоре Каролина уехала из России. Пожив в разных европейских городах, она обосновалась в Дрездене, где и умерла в 1893 году. Второе рождение Каролины Павловой как поэтессы произошло благодаря Валерию Брюсову, издавшему в 1915 году собрание ее сочинений.

Особняк на Рождественском бульваре приобрел Э.Ф. Маттерн, а затем его сыновья Евгений, Эдуард и Эмилий. В 1870 году здание было перестроено по проекту архитектора А.Н. Стратилатова, получив богатую лепную отделку в стиле рококо. Последним дореволюционным владельцем дома было Московское общество кредита под заклад движимости. Сейчас дом охраняется государством как объект культурного наследия регионального значения.