En los años 1700, la propiedad pertenecía al escribano de la aldea Povarская, Iván Riabinkin. Alrededor de 1818, fue comprada por el príncipe S. Gagarin, quien inició la construcción. Durante mucho tiempo, se atribuyó la autoría a O. Bové, pero en 1975, durante una restauración científica bajo la dirección del arquitecto O. Cherevata, se estableció que el autor es D. Zhilyardi.

En la construcción de la casa principal, inusualmente grande para su época, se incluyó una edificación más antigua, por lo que el edificio está ubicado en el fondo del patio principal. La singularidad también se manifiesta en la decoración de la fachada, donde en lugar de una columnata de estilo imperio se utilizaron tres nichos arqueados al nivel del segundo piso. La casa está adornada con inserciones ornamentales en relieve que representan águilas y coronas de laurel, así como un friso ricamente decorado bajo el frontón central. Las dovelas del primer piso están decoradas con mascarones en forma de máscaras de león, realizadas según el modelo de G. Zamarayev.

En el interior, el edificio también es inusual. El lugar central lo ocupa la escalera principal bajo una linterna, que conduce al segundo piso, donde se encuentran un gran salón de baile, un vestíbulo y una serie de salones abiertos, un gabinete de recepción y otras habitaciones. Las habitaciones están decoradas con columnas de mármol artificial con elegantes capiteles, rica moldura y composiciones escultóricas, incluidas obras de I. Vitali y S. Campioni. En el gabinete de recepción se ha conservado una chimenea de mármol blanco con un gran espejo, adornada con relieves de figuras femeninas aladas sobre una esfera y con una corona de laurel en la mano, simbolizando la Victoria.

Simultáneamente con la casa principal, se construyó un edificio de una planta para un picadero en el fondo del patio.

Según los planos de principios del siglo XIX, la mansión contaba con invernaderos, instalaciones de servicio y pérgolas, ubicadas en el jardín detrás de la casa.

Después de completar la construcción, Gagarin vendió la mansión al criador de caballos y mecenas Okhotnikov, quien en 1843 la transfirió a la Administración del Criadero Estatal de Caballos de Moscú. Aquí se llevaban a cabo frecuentemente exposiciones-ventas de caballos, y en la casa principal se alojaron apartamentos para empleados. En uno de ellos, en 1875, se instaló el administrador de los criaderos imperiales de caballos en Tula y Moscú, el general mayor L. Hartung, con su esposa y su hija mayor, A.S. Pushkin. En 1877 ocurrió una tragedia: acusado de robo, el general se suicidó en el edificio del tribunal de distrito. María Hartung nunca volvió a casarse, pero vivió una larga vida y murió en 1919 en Moscú, sin haber recibido la pensión que le había asignado Lunacharski.

Después de la revolución, aquí se establecieron cursos militares, una base de caballos del Sovnarkom y la Escuela Internacional Leninista. En la década de 1930, aquí se encontraba la Escuela de Caballería Budyonny, donde estudiaron Vasili Stalin y los hijos de Anastas Mikoyan.

En 1937, la casa fue entregada al Instituto de Literatura Mundial Gorki de la Academia de Ciencias de la URSS, que se encuentra aquí hasta el día de hoy. En 1957, se instaló una estatua de Gorki, obra de V. Mukhina y A. Zavarzin, frente a la entrada central.