В конце XVII века на этом месте находилось большое владение, принадлежавшее деду Петра I, Кириллу Полуэктовичу Нарышкину. Оно перешло к его сыну Льву Кирилловичу, а затем к его детям. В середине XVIII века, после женитьбы на Е.И. Нарышкиной, владельцем стал Кирилл Григорьевич Разумовский. В 1800 году их дети разделили усадьбу на несколько частей. Из планов видно, что в то время усадьба развивалась: строились избы, появлялись теплицы для выращивания редких овощей и фруктов. После женитьбы на Разумовской усадьбой владел Сергей Семенович Уваров, президент Академии наук и министр народного образования.

В 1860-е годы владельцем стал Алексей Сергеевич Уваров, основатель Московского археологического общества и один из учредителей Исторического музея. В 1874 году он распродал имение по частям. Часть земель приобрели Иваненко, которые разделили территорию на девять участков и выставили их на продажу. В 1887 году шесть участков купил архитектор Роман Иванович Клейн, три из которых продал бывшему крестьянину Владимирской губернии А.А. Пантелееву, подрядчику каменных и строительных работ. Для него Клейн в 1896 и 1897 годах построил два доходных дома, а три участка объединил в единое владение. В 1889 году Роман Иванович построил деревянный дом на каменном фундаменте с мезонином и полуподвалом для котла водяного отопления. В 1896 году дом был надстроен вторым этажом, где разместились архитектурная мастерская и библиотека. Дом принадлежал Клейну до 1918 года.

В 1900 году по красной линии Олсуфьевского переулка Р.И. Клейн построил трехэтажный доходный дом и два служебных здания. Большую часть территории занимал сад, выходящий к особняку владельца. Планировка и застройка оставались неизменными до 1950-х годов, когда доходный дом был надстроен еще одним этажом.

В 1990-х годах дом архитектора был реставрирован, хотя это больше напоминало реконструкцию с адаптацией. Были изменены первоначальные объемы: под домом появился подвал с сильным заглублением, одноэтажная часть здания с парадным входом стала двухэтажной, часть окон заложили, а кровлю приподняли. Кроме того, дом получил мансарду, которой ранее не имел.

Сейчас в доме находится музей «Наша эпоха».