Особняк Абрикосовых находится на угловом юго-западном участке квартала, где пересекаются улица Остоженка и Турчанинов переулок. Границы этого участка менялись на протяжении времени.

В середине XVIII века территория была ограничена с запада Остоженкой, с юга Стадным переулком, а с севера тупиком, ведущим к обывательским дворам. Здесь находилось пять владений: два маленьких выходили на улицу, два были немного больше, а самое восточное представляло собой обширный двор. На этом участке, принадлежавшем титулярному советнику И. Т. Колокольцеву, после пожара 1752 года уцелело одно каменное строение.

К 1762 году количество участков сократилось до четырех, а к 1764 году, до двух. Северная граница оставалась на линии тупика, который частично поглотили дворы. После пожара застройка была восстановлена в основном деревянными строениями.

К началу 1790-х годов здесь было одно владение площадью более 850 кв. сажен, включившее тупик и имевшее неправильную форму. В 1796-1797 годах застройка, принадлежавшая графу П. А. Ефимову, была преимущественно деревянной. Единственное каменное строение оставалось на месте прежней "палатки".

С 1798 по 1809 год усадьба принадлежала князю П. Н. Оболенскому, отцу декабриста Е. П. Оболенского. В этот период застройка обновилась: в 1800 году к деревянному главному дому была пристроена часть, а к 1806 году построен двухэтажный каменный корпус. Старое каменное строение разобрали, а на его месте возвели новые конюшни и каретный сарай.

В 1809 году владение перешло к дворянам Безобразовым и оставалось у них до 1830 года. После пожара 1812 года застройка выгорела, и до 1816 года участок числился пустым. В 1817 году на линии переулка построили деревянные дома, а в 1822 году увеличили размеры господского дома.

В 1830 году усадьбу купила Н. О. Скосырева, при которой границы участка изменились. В 1849 году восточная часть была продана А. И. Виноградову, образовав новое домовладение.

Западная часть с главным домом в 1850 году перешла к Е. И. Кудрявцевой. Она перепланировала участок, построив новый деревянный дом и два каменных корпуса. В середине 1850-х годов к дому добавили две деревянные постройки.

В начале 1870-х годов, когда усадьба принадлежала М. И. Ганешиной, главный дом был деревянным с каменным подвалом. В 1873 году проведен ремонт, обновлен фасад и пристроено крыльцо. В 1875 году появилась каменная сторожка.

До 1914 года застройка оставалась почти без изменений. В 1913 году владение купила М. Ф. Абрикосова. В 1914 году она получила разрешение на ремонт и переустройство террасы. В 1915-1916 годах провели внутренний ремонт и перестроили дворовые корпуса.

В 1926-1927 годах в доме располагался Педагогический музей. Особняк был отреставрирован в 2000-х годах и сейчас здесь находится приемная Службы внешней разведки России.