В основе нынешнего здания лежат каменные палаты, возведенные в последней трети XVII века, когда это владение принадлежало братьям Михаилу и Ивану Гурьевым, богатым купцам, имевшим статус гостей. Этот статус освобождал их от уплаты пошлин и городских налогов, а также давал право на свободные выезды за границу для торговли. Род Гурьевых происходил из Ярославля, где они занимались торговлей. В 1640-х годах они построили острог на реке Яик (ныне Урал), который стал важным русским форпостом в северном Прикаспии, позже город Гурьев, теперь Атырау. Тогда же они начали развивать рыбные промыслы на реке Яик.

В 1671 году братья Гурьевы стали владельцами усадьбы в Потаповском переулке, где, вероятно, и возвели каменные палаты. Эти одноэтажные здания на высоком подклете располагались в глубине владения и выходили торцевым фасадом в переулок. В "Росписи дворов" 1688 года дом описывался как "двор гостей Гурьевых, у них на дворе полаты, половина крыта дерном, а другая тесом, да чердак шатровой высокой, крыт тесом".

В 1728 году Алексей Гурьев продал усадьбу Родиону Кошелеву, шталмейстеру Дворцового конюшенного ведомства. Новый владелец добавил каменную пристройку и обновил фасады в соответствии с барочной модой: окна украсили барочными наличниками, между ними установили полуколонны, а стены оформили рустом.

Кошелевы владели усадьбой до 1780-х годов, когда продали ее купцу Михаилу Колосову, который затем передал ее английскому купцу Доути. Колосов расширил дом, а Доути в конце 1790-х годов построил новый флигель вдоль переулка, который позже объединили с главным домом. Усадьба не пострадала в пожаре 1812 года.

В 1821 году калужский купец Петр Золотарев приобрел усадьбу и сделал ее доходным владением: дом и флигеля сдавались в аренду. В разные годы здесь размещались частные учебные заведения, где преподавали известные профессора Московского университета. Среди воспитанников были такие выдающиеся личности, как врач Сергей Боткин и историк Владимир Герье.

С 1870 года усадьба ненадолго перешла к купцу и меценату Василию Кокореву, который использовал ее как доходное владение. При нем была надстроена часть дома, устроена арка для проезда во двор, а фасады приобрели современный вид.

В 1881 году усадьбу приобрели купцы Абрикосовы, владельцы известной кондитерской фабрики в Москве. Большая семья Алексея Ивановича Абрикосова занимала две большие квартиры, а остальные сдавались в аренду. Интерьеры квартиры Абрикосовых были оформлены изысканно: лепнина, мраморные подоконники и наборный паркет.

Усадьба оставалась в собственности Абрикосовых до революции 1917 года, после чего была национализирована и превращена в коммунальные квартиры. В 1930-е годы дом надстроили двумя этажами из недолговечных материалов.

Интерьеры квартиры Абрикосовых сохранялись почти в первоначальном виде до пожара 2009 года, когда пострадала советская надстройка, а пожарные залили водой все этажи. Помещения нуждались в срочной реставрации. По данным на 2018 год, на объекте были проведены противоаварийные работы.