Ende des 17. Jahrhunderts befand sich an dieser Stelle ein großes Anwesen, das dem Großvater von Peter I, Kirill Poluektovich Naryshkin, gehörte. Es ging an seinen Sohn Lev Kirillovich über und dann an dessen Kinder. Mitte des 18. Jahrhunderts, nach der Heirat mit E.I. Naryshkina, wurde Kirill Grigorievich Razumovsky Eigentümer. Im Jahr 1800 teilten ihre Kinder das Anwesen in mehrere Teile. Aus den Plänen geht hervor, dass das Anwesen zu dieser Zeit entwickelt wurde: Es wurden Hütten gebaut, Gewächshäuser für den Anbau seltener Gemüse- und Obstsorten entstanden. Nach der Heirat mit Razumovskaya gehörte das Anwesen Sergei Semenovich Uvarov, Präsident der Akademie der Wissenschaften und Minister für Volksbildung.

In den 1860er Jahren wurde Alexei Sergeevich Uvarov, Gründer der Moskauer Archäologischen Gesellschaft und einer der Gründer des Historischen Museums, Eigentümer. Im Jahr 1874 verkaufte er das Anwesen in Teilen. Ein Teil des Landes wurde von den Ivanenko erworben, die das Gebiet in neun Parzellen unterteilten und zum Verkauf anboten. Im Jahr 1887 kaufte der Architekt Roman Ivanovich Klein sechs Parzellen, von denen er drei an den ehemaligen Bauern der Wladimirer Provinz A.A. Panteleev, einen Auftragnehmer für Stein- und Bauarbeiten, verkaufte. Für ihn baute Klein 1896 und 1897 zwei Mietshäuser und vereinte drei Parzellen in ein einheitliches Eigentum. Im Jahr 1889 errichtete Roman Ivanovich ein Holzhaus auf einem steinernen Fundament mit einem Mezzanin und einem Keller für die Wasserheizung. Im Jahr 1896 wurde das Haus um ein zweites Stockwerk aufgestockt, in dem sich ein architektonisches Atelier und eine Bibliothek befanden. Das Haus gehörte Klein bis 1918.

Im Jahr 1900 baute R.I. Klein entlang der roten Linie der Olshufyevsky-Gasse ein dreistöckiges Mietshaus und zwei Nebengebäude. Den Großteil des Geländes nahm ein Garten ein, der zum Herrenhaus des Eigentümers führte. Die Planung und Bebauung blieben bis in die 1950er Jahre unverändert, als das Mietshaus um ein weiteres Stockwerk aufgestockt wurde.

In den 1990er Jahren wurde das Haus des Architekten restauriert, obwohl dies eher einer Rekonstruktion mit Anpassungen ähnelte. Die ursprünglichen Volumen wurden verändert: Unter dem Haus entstand ein stark vertiefter Keller, der einstöckige Teil des Gebäudes mit dem Haupteingang wurde zweistöckig, einige Fenster wurden zugemauert und das Dach wurde angehoben. Darüber hinaus erhielt das Haus ein Dachgeschoss, das es zuvor nicht hatte.

Heute befindet sich im Haus das Museum „Unsere Epoche“.