En la base del actual edificio se encuentran las cámaras de piedra, construidas en la última tercera parte del siglo XVII, cuando esta propiedad pertenecía a los hermanos Mikhail e Ivan Guriyev, ricos comerciantes que tenían el estatus de huéspedes. Este estatus los eximía del pago de aranceles e impuestos municipales, así como les otorgaba el derecho a salir al extranjero para comerciar. La familia Guriyev provenía de Yaroslavl, donde se dedicaban al comercio. En la década de 1640, construyeron un fuerte en el río Yaik (hoy Ural), que se convirtió en un importante puesto ruso en el norte del Caspio, más tarde la ciudad de Guriyev, ahora Atyrau. En ese momento, también comenzaron a desarrollar la pesca en el río Yaik.

En 1671, los hermanos Guriyev se convirtieron en propietarios de una mansión en el callejón Potapovsky, donde, probablemente, levantaron las cámaras de piedra. Estos edificios de una planta, situados en un alto sótano, se encontraban en el fondo de la propiedad y daban su fachada lateral al callejón. En el "Registro de patios" de 1688, la casa se describía como "patio de los huéspedes Guriyev, en su patio hay cámaras, la mitad cubierta de césped, y la otra de tablones, y un ático de alta cúpula, cubierto de tablones".

En 1728, Alexei Guriyev vendió la mansión a Rodion Koshelev, maestro de establos del Departamento de Caballería del Palacio. El nuevo propietario añadió una extensión de piedra y renovó las fachadas de acuerdo con la moda barroca: las ventanas fueron adornadas con marcos barrocos, entre ellas se instalaron semicolumnas, y las paredes fueron decoradas con rústico.

Los Koshelev poseyeron la mansión hasta la década de 1780, cuando la vendieron al comerciante Mikhail Kolosov, quien luego la transfirió al comerciante inglés Doughty. Kolosov amplió la casa, y Doughty, a finales de la década de 1790, construyó un nuevo ala a lo largo del callejón, que luego se unió a la casa principal. La mansión no sufrió daños en el incendio de 1812.

En 1821, el comerciante de Kaluga Pyotr Zolotarev adquirió la mansión y la convirtió en una propiedad rentable: la casa y las alas se alquilaban. A lo largo de los años, aquí se establecieron instituciones educativas privadas, donde enseñaron conocidos profesores de la Universidad de Moscú. Entre los alumnos se encontraban personalidades destacadas como el médico Sergey Botkin y el historiador Vladimir Gerye.

Desde 1870, la mansión pasó brevemente al comerciante y mecenas Vasily Kokorev, quien la utilizó como propiedad rentable. Durante su tiempo, se amplió parte de la casa, se construyó un arco para el paso al patio, y las fachadas adquirieron un aspecto moderno.

En 1881, la mansión fue adquirida por los comerciantes Abrikosov, propietarios de una famosa fábrica de confitería en Moscú. La gran familia de Alexei Ivanovich Abrikosov ocupaba dos grandes apartamentos, mientras que los demás se alquilaban. Los interiores del apartamento de los Abrikosov estaban decorados de manera exquisita: estuco, alféizares de mármol y parquet de mosaico.

La mansión permaneció en posesión de los Abrikosov hasta la revolución de 1917, después de lo cual fue nacionalizada y convertida en apartamentos comunales. En la década de 1930, la casa fue ampliada con dos pisos de materiales poco duraderos.

Los interiores del apartamento de los Abrikosov se mantuvieron casi en su forma original hasta el incendio de 2009, cuando la ampliación soviética resultó dañada y los bomberos inundaron todos los pisos con agua. Las habitaciones necesitaban una restauración urgente. Según datos de 2018, se realizaron trabajos de prevención de emergencias en el sitio.