A principios del siglo XIX, la mansión pertenecía a la condesa E.P. Rostopchina. En la década de 1840, esta casa se hizo conocida en toda la Moscú literaria gracias a los "jueves pavlovianos", que fueron visitados por celebridades como N.V. Gogol, E.A. Baratynski, Y.P. Polonski, A.A. Fet, A.I. Herzen, N.P. Ogarev, T.N. Granovski, P.Y. Chaadaev, K.S. Aksakov, los hermanos Kireevski, A.S. Jomiakov y S.P. Shevyrev. Fue aquí donde en 1840 M.Y. Lermontov se despidió de los literatos moscovitas antes de partir hacia el Cáucaso. Y.F. Samarin recordó: "Se fue triste. La noche estaba húmeda. Nos despedimos en el umbral".

La casa pertenecía al conocido literato Nikolai Filippovich Pavlov, por lo que el salón literario se llamaba "pavloviano". Sin embargo, la verdadera dueña de la mansión y del salón era su esposa Karolina Karlovna (de soltera Yanisch). Karolina, hija del profesor Karl Ivanovich Yanisch, recibió una excelente educación en casa, hablaba varios idiomas extranjeros y era conocida en Moscú como una joven con talentos diversos y poco comunes. A los dieciocho años conoció al poeta polaco Adam Mickiewicz, quien había sido exiliado a Moscú por participar en círculos patrióticos. Entre ellos surgió el amor, pero la familia de Karolina se opuso al matrimonio con el poeta sin capital y un ingreso constante. Pronto, Mickiewicz dejó Moscú, dejando a Karolina en sufrimiento. Comenzó a dedicarse a la literatura, primero con traducciones que fueron aprobadas por Goethe, y luego con sus propios poemas, colaborando con revistas y almanaques.

En 1836, Karolina, convertida en una rica novia gracias a una herencia de su tío, se casó con Pavlov. Nikolai Filippovich, siendo un jugador empedernido, malgastó en quince años toda la dote de su esposa. En 1852 se separaron, y pronto Karolina dejó Rusia. Después de vivir en varias ciudades europeas, se estableció en Dresde, donde murió en 1893. El segundo nacimiento de Karolina Pavlova como poetisa ocurrió gracias a Valery Bryusov, quien publicó en 1915 una colección de sus obras.

La mansión en el bulevar de Navidad fue adquirida por E.F. Mattern, y luego por sus hijos Evgeny, Eduard y Emili. En 1870, el edificio fue remodelado según el proyecto del arquitecto A.N. Stratilatov, recibiendo una rica decoración en yeso en estilo rococó. El último propietario del edificio antes de la revolución fue la Sociedad de Crédito de Moscú bajo la hipoteca de bienes muebles. Actualmente, la casa está protegida por el estado como un objeto de patrimonio cultural de importancia regional.