En el siglo XVIII, este edificio era parte de la antigua mansión de la familia Olsufiev. Detrás de un gran palisado se encontraba la casa señorial, rodeada de alas. Detrás de la casa había edificios de servicio y un jardín que daba a la Pequeña Molchanovka.

Después del incendio de 1812, la mansión fue restaurada por los nuevos propietarios, los Chernov. En 1829 y 1830, fue alquilada para las temporadas de invierno por Ekaterina Apraxeievna Stolypina, nuera de la abuela de M.Yu. Lermontov. Arsenieva con su nieto vivía cerca, en Povarская, frente a la casa de la esposa del mayor Kostomarova. En casa de los Stolypin en Povarская, a menudo se reunía la juventud. Los niños de la familia Stolypin asistían a las lecciones del profesor de baile Iogel, así como conocidos y vecinos de Moscú: Sushkov, Lopukhin, Martynov. Aquí se iniciaban romances y se escribían poemas, que pasaban de mano en mano, incluido el de Lermontov.

A mediados del siglo XIX, la casa fue dividida en apartamentos y se alquilaba, recibiendo a muchos conocidos de la cultura rusa. Desde 1867, vivió aquí y murió en 1869 el escritor I.I. Lazhechnikov. En 1875 y 1876, el escritor y etnógrafo P.I. Melnikov-Pechersky alquiló un apartamento aquí, donde escribió la novela "En los bosques". En la década de 1870, también vivieron en la casa el compositor y director M.M. Ippolitov-Ivanov, quien fue visitado por N.A. Rimsky-Korsakov, y el médico-neurólogo, profesor A.Ya. Kozhevnikov.

A finales del siglo XIX, la mansión fue adquirida por la familia de Alexandra Timofeevna Nazarova, hija de Timofey Savvich Morozov. Estaba casada con Alexander Alexandrovich Nazarov, gerente de las fábricas Morozov. Alexandra Timofeevna sufría de una enfermedad mental hereditaria. No soportando esto, su esposo se suicidó en 1900, y ella murió en 1903. Tras su muerte, la casa fue heredada por su hija Yulia Alexandrovna Stuken, quien en 1900 y 1903 remodeló la propiedad. El arquitecto M.F. Bugrovski demolió las alas, amplió la casa principal y añadió el cuerpo derecho. El balcón del segundo piso fue adornado con semicolumnas, hermas con máscaras femeninas y paneles decorativos de yeso. Apareció una reja metálica gótica con puertas de entrada. La rustificación y la forma de los marcos del segundo piso, posiblemente, se conservaron del diseño original de la fachada.

Durante la revolución, Yulia Stuken se fue a Francia, y en la casa se instaló la 6ª Casa de los Consejos. Desde 1918 hasta 1925, vivieron aquí L.B. Krasin y N. Narimanov. También se encontraba aquí el Comisariado de Inspección de Trabajadores y Campesinos con la oficina de I.V. Stalin. En 1932, la casa principal de la mansión fue ampliada con dos pisos. Actualmente, se está acondicionando un centro de oficinas.