El gran callejón Rzhevsky se encuentra entre el Nuevo Arbat y la calle Povarskaya. A principios del siglo XVIII, aquí comenzaron a establecerse nobles, funcionarios y militares. Se formaron dos tipos de construcción: grandes mansiones nobiliarias de tipo rural, que poco a poco se convirtieron en conjuntos neoclásicos, y pequeñas casas urbanas con construcciones predominantemente de madera para la nobleza servil.

En el lugar de la actual casa número 5, en la primera mitad del siglo XVIII, había dos patios de diferentes propietarios. En 1749, el canciller Andrei Alexeyevich Zhukov, propietario del patio sur, compró la propiedad vecina y las unió. Tras su muerte, el terreno fue vendido al vecino, el noble Vasily Dmitrievich Bereznikov, quien lo incorporó a su propiedad. Así se formó una gran mansión, que ocupaba una posición central en la manzana y daba a los callejones Borisoglebsky y Rzhevsky. Las construcciones de madera de la mansión fueron destruidas en el incendio de 1812.

En 1817, el nuevo propietario, el comisionado de 8ª clase M.N. Orlov, dividió el terreno en dos partes y construyó una casa de madera de un piso sobre un cimiento de piedra con un rizalito en el lado del patio, que se ha conservado hasta nuestros días. En 1829, la casa fue ampliada con adiciones, y la parte occidental del terreno permaneció vacía durante mucho tiempo.

Los primeros planos de la fachada principal datan de 1837 y están realizados en el estilo del imperio moscovita. El principal adorno de la casa era un pórtico jónico de cuatro columnas sobre un podio rústico, conectado por rejas metálicas y rematado con un cornisa y un ático.

En 1864, la fachada fue reconstruida, el pórtico fue reemplazado por pilastras paneladas, y las ventanas fueron enmarcadas con molduras.

La estructura volumétrica y planificada de la casa se mantuvo hasta 1880, cuando apareció una nueva adición en el patio. En 1888, el arquitecto Adolf Nikolaevich Knabe construyó para la esposa del secretario de la gobernación A.T. Nazarova un cuerpo de piedra de dos pisos, que daba su fachada al callejón. Este cuerpo fue adosado a la fachada norte de la mansión en el lugar de los pabellones demolidos. A lo largo del límite occidental apareció un cuerpo de servicio de piedra, que en la década de 1920 fue ampliado y adaptado para vivienda, y en la década de 1970 fue desmantelado.

La fachada de la casa principal adquirió una exuberante decoración, característica del eclecticismo de mediados del siglo XIX, pero se ha conservado con pérdidas. El pórtico de pilastras se remataba con un ático y un frontón, sobre el cual se elevaban jarrones decorativos y una linterna adornada con pilastras y arquerías. Las paredes estaban suavemente enlucidas y terminadas con un cornisa con friso, en algunos lugares decorado con triglifos y metopas. Las ventanas estaban enmarcadas con molduras con "orejas" y con sándwiches de diferentes formas, y sobre dos ventanas centrales había una roseta.

En 1904, Nazarova donó el edificio a la escuela Simonov de la Sociedad Benéfica de Moscú, lo que le añade un valor histórico.