A finales del siglo XVII, en este lugar había una gran propiedad que pertenecía al abuelo de Pedro I, Kiril Poluektovich Naryshkin. Pasó a su hijo Lev Kirilovich y luego a sus hijos. A mediados del siglo XVIII, tras casarse con E.I. Naryshkina, el propietario se convirtió en Kiril Grigorievich Razumovsky. En 1800, sus hijos dividieron la mansión en varias partes. Los planos muestran que en ese momento la mansión se estaba desarrollando: se construían casas, aparecían invernaderos para cultivar verduras y frutas raras. Tras casarse con Razumovskaya, la mansión fue propiedad de Sergey Semenovich Uvarov, presidente de la Academia de Ciencias y ministro de educación pública.

En la década de 1860, el propietario se convirtió en Alexey Sergeevich Uvarov, fundador de la Sociedad Arqueológica de Moscú y uno de los fundadores del Museo Histórico. En 1874, vendió la propiedad en partes. Parte de la tierra fue adquirida por los Ivanenko, quienes dividieron el territorio en nueve parcelas y las pusieron a la venta. En 1887, el arquitecto Roman Ivanovich Klein compró seis parcelas, tres de las cuales vendió al ex campesino de la provincia de Vladimir A.A. Panteleev, contratista de obras de piedra y construcción. Para él, Klein construyó dos casas de alquiler en 1896 y 1897, y unió tres parcelas en una sola propiedad. En 1889, Roman Ivanovich construyó una casa de madera sobre un cimiento de piedra con un entrepiso y un sótano para la caldera de calefacción. En 1896, la casa fue ampliada con un segundo piso, donde se ubicaron un taller de arquitectura y una biblioteca. La casa perteneció a Klein hasta 1918.

En 1900, a lo largo de la línea roja del callejón Olsufyevsky, R.I. Klein construyó un edificio de tres pisos y dos edificios de servicio. La mayor parte del territorio estaba ocupada por un jardín que daba a la mansión del propietario. La planificación y la construcción permanecieron sin cambios hasta la década de 1950, cuando el edificio de alquiler fue ampliado con un piso adicional.

En la década de 1990, la casa del arquitecto fue restaurada, aunque esto se asemejaba más a una reconstrucción con adaptación. Se modificaron los volúmenes originales: apareció un sótano con un fuerte hundimiento, la parte de un piso del edificio con entrada principal se convirtió en de dos pisos, se cerraron algunas ventanas y se elevó el techo. Además, la casa recibió un ático que antes no tenía.

Actualmente, en la casa se encuentra el museo 'Nuestra época'.