Im 18. Jahrhundert befand sich das Anwesen im Besitz des Schreibers der Povar-Sloboda, Ivan Ryabinkin. Um 1818 kaufte es Fürst S. Gagarin, der mit dem Bau begann. Lange Zeit wurde die Urheberschaft O. Bove zugeschrieben, doch 1975 wurde während einer wissenschaftlichen Restaurierung unter der Leitung des Architekten O. Cherevata festgestellt, dass der Autor D. Zhilyardi ist.

Beim Bau des Hauptgebäudes, das für seine Zeit ungewöhnlich groß war, wurde ein älteres Gebäude einbezogen, weshalb das Gebäude im hinteren Teil des Ehrenhofs liegt. Die Ungewöhnlichkeit zeigt sich auch in der Gestaltung der Fassade, wo anstelle einer Kolonnade im Empire-Stil drei gewölbte Nischen auf Höhe des zweiten Stocks verwendet wurden. Das Haus ist mit ornamentalen Einlagen in Form von Reliefs mit Darstellungen von Adlern und Lorbeerkränzen sowie einem reich dekorierten Fries unter dem zentralen Giebel geschmückt. Die Schlusssteine des ersten Stocks sind mit Maskarons in Form von Löwenmasken verziert, die nach dem Vorbild von G. Zamarayev gefertigt wurden.

Auch im Inneren ist das Gebäude ungewöhnlich. Im Mittelpunkt steht die repräsentative Treppe unter einem Lichtkranz, die in den zweiten Stock führt, wo sich ein großer Tanzsaal, ein Vorraum und eine Reihe von offenen Salons, einem Empfangszimmer und anderen Räumen befinden. Die Zimmer sind mit Säulen aus Kunstmarmor mit eleganten Kapitellen, reichem Stuck und Skulpturen, darunter Arbeiten von I. Vitali und S. Campioni, gestaltet. Im Empfangszimmer ist ein Kamin aus weißem Marmor mit einem hohen Spiegel erhalten, der mit Reliefs von geflügelten Frauenfiguren auf einer Kugel und mit einem Lorbeerkranz in der Hand geschmückt ist, die den Sieg symbolisieren.

Gleichzeitig mit dem Hauptgebäude wurde ein einstöckiges Steingebäude für die Reithalle im hinteren Teil des Hofes errichtet.

Laut den Zeichnungen zu Beginn des 19. Jahrhunderts hatte das Anwesen Gewächshäuser, Wirtschaftsgebäude und Pavillons, die im Garten hinter dem Haus lagen.

Nach Abschluss des Baus verkaufte Gagarin das Anwesen an den Pferdezüchter und Mäzen Okhotnikov, der es 1843 an die Verwaltung des Moskauer Staatsgestüts übergab. Hier fanden häufig Pferdeausstellungen und -verkäufe statt, und im Hauptgebäude wurden Wohnungen für Angestellte eingerichtet. In einer dieser Wohnungen lebte 1875 der Direktor der Kaiserlichen Gestüte in Tula und Moskau, Generalmajor L. Hartung, mit seiner Frau und der ältesten Tochter von A.S. Puschkin. 1877 ereignete sich eine Tragödie: Der General, der des Diebstahls beschuldigt wurde, erschoss sich im Gebäude des Bezirksgerichts. Maria Hartung heiratete nie wieder, lebte jedoch ein langes Leben und starb 1919 in Moskau, ohne die ihr von Lunatscharskij zugesprochene Rente zu erhalten.

Nach der Revolution wurden hier Militärkurse, eine Reitbasis des Sowjetministeriums und die Internationale Lenin-Schule untergebracht. In den 1930er Jahren befand sich hier die Kavallerieschule benannt nach Budenny, wo Wasilij Stalin und die Söhne von Anastas Mikojan studierten.

1937 wurde das Haus dem Gorki-Institut für Weltliteratur der Akademie der Wissenschaften der UdSSR übergeben, das bis heute hier ansässig ist. 1957 wurde vor dem Haupteingang ein Denkmal für Gorki, geschaffen von V. Mukhina und A. Zavarzin, aufgestellt.