В 1700-х годах владение находилось у подьячего Поварской слободы Ивана Рябинкина. Около 1818 года его купил князь С. Гагарин, который и начал строительство. Долгое время авторство приписывалось О. Бове, но в 1975 году во время научной реставрации под руководством архитектора О. Череватой было установлено, что автором является Д. Жилярди.

При строительстве главного дома, необычно крупного для своего времени, в его объем была включена более старая постройка, поэтому здание расположено в глубине парадного двора. Нетипичность проявляется и в оформлении фасада, где вместо колоннады ампира использованы три арочные ниши на уровне второго этажа. Дом украшен орнаментальными вставками-горельефами с изображением орлов и лавровых венков, а также богато декорированным фризом под центральным фронтоном. Замковые камни первого этажа украшены маскаронами в виде львиных масок, выполненными по образцу Г. Замараева.

Внутри здание также необычно. Центральное место занимает парадная лестница под световым фонарем, ведущая на второй этаж, где находятся большой танцевальный зал, аванзал и анфилада открытых гостиных, парадного кабинета и других помещений. Комнаты оформлены колоннами из искусственного мрамора с изысканными капителями, богатой лепниной и скульптурными композициями, в том числе работ И. Витали и С. Кампиони. В парадном кабинете сохранился беломраморный камин с высоким зеркалом, украшенный барельефами крылатых женских фигур на шаре и с лавровым венком в руке, символизирующими Победу.

Одновременно с главным домом было построено одноэтажное каменное здание манежа в глубине двора.

Согласно чертежам начала XIX века, усадьба имела оранжереи, хозяйственные помещения и беседки, расположенные в саду за домом.

После завершения строительства Гагарин продал усадьбу конезаводчику и меценату Охотникову, который в 1843 году передал ее Управлению Московского государственного коннозаводства. Здесь часто проводились выставки-продажи лошадей, а в главном доме разместились квартиры служащих. В одной из них в 1875 году поселился управляющий Императорскими конными заводами в Туле и Москве генерал-майор Л. Гартунг с женой, старшей дочерью А.С. Пушкина. В 1877 году произошла трагедия: обвиненный в хищении, генерал застрелился в здании окружного суда. Мария Гартунг больше не вышла замуж, но прожила долгую жизнь и умерла в 1919 году в Москве, так и не получив назначенную ей Луначарским пенсию.

После революции здесь разместились военные курсы, конная база Совнаркома и Интернациональная ленинская школа. В 1930-е годы здесь находилось Кавалерийское училище им. Буденного, где учились Василий Сталин и сыновья Анастаса Микояна.

В 1937 году дом передали Институту мировой литературы им. Горького АН СССР, который находится здесь и по сей день. В 1957 году перед центральным входом установили памятник Горькому работы В. Мухиной и А. Заварзина.