Im Jahr 1796 schuf der Architekt des Grafen Alexei Grigorjewitsch Orlow einen "englischen Garten" und errichtete am Rand eines hohen Hügels über dem Fluss einen kleinen Pavillon, der später als Sommerhaus bezeichnet wurde. Eine seiner Fassaden bildete den oberen Teil des Parks, während von dem Balkon einer anderen der Blick auf die südlichen Weiten Moskaus, vom Kreml bis zu den Sperlingsbergen, frei war. Vor dem Häuschen fiel der Park steil ab, wo ein Teich ausgehoben und der "Bade"-Pavillon, die romantische "Geheime" Grotte und andere Parkattraktionen gebaut wurden. Nicht alle von ihnen sind erhalten geblieben. Am bekanntesten war das "Lufttheater", das 1830 geschaffen wurde und bis 1834 bestand. Es war eine überdachte Galerie in Form eines Halbkreises, in der die Bühne so angelegt war, dass die Dekorationen durch Bäume und Sträucher ersetzt wurden.

Das Sommerhaus war aus Holz und im klassischen Stil gehalten, mit einem einfachen symmetrischen Grundriss. Jede der großen Fassaden wurde von sechs korinthischen Säulen geschmückt, während an den kleinen Fassaden einstöckige Pavillons mit Fensterläden in Gitterform angeordnet waren.

Die Engländerin Catherine Wilmot, die den Garten 1807 besuchte, bemerkte: "Er ist von unzähligen Wegen, Hügeln, Wiesen und Abhängen durchzogen; die Vielfalt der Pavillons und Badehäuser erfreut das Auge. In der Parkarchitektur wird Birkenrinde verwendet, was großartig aussieht, als wären die Sommerhäuser und Pavillons von der Natur selbst geschaffen worden."

Seit 1831 geht der Neskuchny-Garten in den Besitz von Nikolaus I. über, obwohl zunächst nur teilweise. Das Anwesen Neskuchno wurde im November 1826 vom Schachowskij-Palastamt erworben, während der Besitz der Golizyns der Zar erst 1842 erwerben konnte. N. P. Golizyna, bekannt als "Die Dame mit dem Pik", weigerte sich, das Grundstück zu verkaufen, und wies in ihrem Testament an, dass es erst 5 Jahre nach ihrem Tod verkauft werden könne. Erst dann wurden alle drei Teile zum heutigen Neskuchny-Garten vereint. Während des Aufenthalts der kaiserlichen Familie in Moskau wurde der benachbarte Alexandrinsky-Palast zu ihrer Residenz, während das Sommerhaus bis 1917 für Teepausen im Freien von Mitgliedern der kaiserlichen Familie genutzt wurde.

Nach der Revolution wurde das Häuschen unterschiedlich genutzt, am längsten diente es als Kreativhaus des Schriftstellerverbands der UdSSR. Vor der Umgestaltung des Gorki-Parks gab es dort eine Bibliothek. Heute befindet sich an diesem Ort ein Fotostudio.