В XVIII веке на этом месте находилась крупная усадьба, которая сначала принадлежала купцу Борису Сысоеву, а в конце столетия перешла к надворному советнику Петру Леонтьевичу Ермолову, представителю младшей ветви известного дворянского рода. Его сын, Александр Петрович Ермолов, в течение двух лет (с 1785 по 1786 годы) был фаворитом императрицы Екатерины II и пользовался поддержкой князя Г.А. Потемкина. Он приходился двоюродным племянником знаменитому генералу Алексею Петровичу Ермолову.

На рубеже XVIII и XIX веков усадьбой владел рижский купец Карл Фридрих Ратхен, который, как считается, построил сохранившийся до наших дней усадебный дом (д. 4, стр. 1), хотя возможно, он лишь перестроил уже существующее здание. Под скромным обликом дома могут скрываться старинные палаты XVIII века. Современный вид дом приобрел в середине XIX века, когда был надстроен вторым этажом. Лаконичный декор фасадов дома и флигеля (д. 4, стр. 2) характерен для второй половины XIX века. Главный фасад дома обращен во двор, его ризалит украшен треугольным фронтоном, а углы дома и флигеля оформлены декоративным рустом.

В XIX веке усадьба, оформившаяся в нынешних границах в 1823 году, неоднократно переходила из рук в руки. Она принадлежала петербургскому купцу С. фон Бринену, затем купцу Е.А. Лютеру. Владение использовалось как доходное, в главном доме и флигеле были устроены квартиры для сдачи в аренду.

С конца XIX века усадьбой владел купец-хлеботорговец Иван Михайлович Саргин, затем она перешла к его сыну Давыду Ивановичу. Д.И. Саргин стал известен как исследователь и популяризатор шашек и шахмат. Он начинал как банковский служащий, но увлекшись шашками и шахматами, посвятил себя этой сфере, издавал журнал “Шашечница” (“Шахматное обозрение”), разрабатывал дебюты и этюды, писал статьи по истории шахмат. В 1916 году он выпустил научный труд “Древность игр в шашки и шахматы”, результат многолетних исследований.

В своей усадьбе в Архангельском переулке Д.И. Саргин в 1912 году построил гараж (д. 4, стр. 3), который сдавал автовладельцам. В главном доме он жил с детьми, Константином и Ольгой. После 1917 года усадьба Саргиных была национализирована, гараж передан Мосгорбанку, а позже здесь разместился гараж особого назначения.